A IA escreveu o erro e depois formatou o relatório que o legitimou

Aviões militares americanos já estavam no ar e militares armados se preparavam para abordar um navio chinês quando alguém voltou a conferir a informação que sustentava a operação. A informação era falsa. Tinha sido fabricada por um chatbot. A missão foi abortada de última hora.

O episódio aconteceu na primavera do hemisfério norte deste ano, durante a guerra com o Irã, e foi revelado em 18 de setembro por uma reportagem exclusiva da CNN, baseada em fontes não identificadas e repercutida no mesmo dia pela TechCrunch.

A sequência apurada é curta e vale ser lida devagar. Um analista do comando de operações especiais pediu a um chatbot que revisasse informações sobre a carga de uma embarcação chinesa. A ferramenta combinou dados de fonte aberta com inteligência de sinais classificada e concluiu que o navio transportava componentes de um programa de armas nucleares. O analista então usou a mesma ferramenta uma segunda vez, agora para empacotar o achado em um relatório de inteligência no formato padrão. O documento circulou pelos canais de comando.

O que não se sabe também importa. A reportagem não identifica qual chatbot foi usado e, segundo o Engadget, a CNN não conseguiu determinar se a ferramenta era comercial ou desenvolvida pelo governo. A cadeia de aprovação que levou o relatório adiante não foi detalhada. O comando de operações especiais no Pacífico e o Pentágono não responderam aos pedidos de comentário da CNN.

O segundo uso é a parte nova

A alucinação virou a manchete. É a parte menos nova da história.

Que um modelo de linguagem produza afirmações plausíveis e falsas não é surpresa: é característica conhecida, documentada, e qualquer política séria de uso parte dela. O que o caso traz de inédito é outra coisa, e é um registro raro. Uma saída de modelo atravessou um processo de decisão real, com verificação insuficiente, até o ponto de mobilizar ativos.

E o detalhe mais revelador não está no primeiro uso da ferramenta. Está no segundo.

Entre uma síntese e uma decisão costuma existir uma etapa que funciona como filtro: transformar o achado em documento oficial. Essa etapa sempre foi chata e lenta, e filtrava justamente por isso. Escrever um relatório no formato da casa obrigava alguém a reler, organizar, procurar a referência que faltava, cortar o trecho que não se sustentava e, no fim, assinar.

Quando a mesma ferramenta que produziu o conteúdo também produz o documento, essa etapa deixa de ser filtro e vira acelerador.

Há uma consequência menos óbvia aí. Todo leitor experiente calibra confiança por sinais indiretos antes de avaliar o mérito: um texto desorganizado, uma fonte que não aparece, um parágrafo vago no meio de uma análise levantam a sobrancelha. A formatação profissional sempre custou trabalho humano, e por isso funcionava como pista de que houve trabalho humano. Esse custo caiu para perto de zero.

A fluência deixou de ser sinal de apuração. Boa parte dos processos de revisão ainda trata como se fosse.

A falha está na fronteira, não no modelo

Existe um ponto, em qualquer operação, onde uma informação deixa de ser insumo e passa a ser base de decisão. Esse ponto quase sempre tem um documento: um parecer, um laudo, uma nota técnica, um relatório.

É ali que a verificação precisa estar. E é ali que alguém precisa assinar.

No caso militar esse ponto existia, e foi ocupado pela mesma ferramenta que gerou o erro. O que falhou não foi o modelo se comportando fora do esperado. Foi um desenho de processo que não previu nenhuma etapa independente entre a síntese produzida por máquina e o documento que sustenta a ação.

Isso não é um assunto militar

A tentação, ao ler uma história com avião no ar, é classificá-la como caso extremo. É o contrário. Ela é a versão com consequência visível de um desenho bastante comum.

Vale a pergunta direta: na sua empresa, quantos documentos que sustentam decisão hoje começam como uma síntese feita por um modelo de linguagem?

Alguns candidatos previsíveis. O resumo de due diligence antes de uma aquisição. A análise de crédito de um cliente novo. A avaliação de risco de um fornecedor. O parecer técnico que embasa a escolha de uma tecnologia. O relatório mensal que vai ao conselho. A ata que vira decisão registrada. A minuta de contrato revisada às pressas.

Em todos eles a pergunta não é se a IA participa. É se ela participa das duas pontas, gerando o conteúdo e produzindo o documento que o legitima, sem ninguém independente no meio.

Quando isso acontece, a empresa perde exatamente o atrito que servia de controle. E perde sem perceber, porque o efeito visível é positivo: o relatório saiu mais rápido e ficou mais bem escrito.

O contraponto honesto

A leitura fácil desse caso é que inteligência artificial não serve para decisão crítica. Ela é fraca por dois motivos.

O primeiro é que o controle humano funcionou. Alguém conferiu, o erro apareceu e a operação foi abortada. A história é sobre uma falha contida, não sobre uma catástrofe consumada.

O segundo é que um caso não permite estimar frequência. Não se sabe quantas vezes o mesmo desenho produziu sínteses corretas e úteis no mesmo período, e é plausível que a maior parte tenha sido isso. Comparar o custo de um erro com o benefício acumulado exige um denominador que não é público.

Ainda assim, há um limite nessa defesa, e aqui a leitura é minha, não da reportagem. A verificação chegou no último minuto possível. Um processo cuja conferência acontece com aviões no ar não tem controle. Tem margem. E margem é o tipo de coisa que um dia acaba.

A pressa tem origem institucional

Nada disso acontece no vácuo. Em 9 de janeiro deste ano o Pentágono publicou uma estratégia de inteligência artificial que define a instituição como uma força "AI-first" e organiza projetos para empurrar IA para inteligência, decisão e processamento de dados em meses, não em anos, segundo o resumo dos memorandos feito pelo escritório Holland & Knight. O texto fala em abordagem de tempo de guerra para remover obstáculos.

Velocidade de adoção e desenho de verificação são duas decisões diferentes, tomadas por pessoas diferentes, em ritmos diferentes. É nessa defasagem que casos como esse aparecem.

Jake Steckler, pesquisador do GovAI e ex-oficial do Exército americano, resume o ponto à TechCrunch: é importante que quem opera essas ferramentas entenda a incerteza inerente aos modelos de linguagem, especialmente em decisões que podem levar ao uso da força, onde as consequências são de vida ou morte.

A mesma frase, com outras consequências, vale para quem aprova um crédito ou assina um contrato.

Cinco perguntas para encontrar seus pontos de conversão

Não é auditoria de tecnologia. É levantamento de processo, e dá para fazer em uma tarde com quem conhece a operação por dentro.

1. Inventário. Quais documentos da empresa sustentam decisão, e quais deles hoje começam com uma saída de modelo de linguagem?

2. Dupla ponta. Em quais desses documentos a mesma ferramenta gerou o conteúdo e também produziu a versão final formatada?

3. Verificação independente. Entre a síntese e a assinatura, existe uma etapa executada por alguém que não participou da geração?

4. Rastreabilidade. Dá para reconstruir de onde veio cada afirmação do documento, ou só o texto final sobreviveu?

5. Assinatura. Existe um nome responsável por aquele documento, explícito, com autoridade para devolvê-lo?

Quem responde as cinco com honestidade costuma encontrar dois ou três pontos que nunca foram desenhados. Ninguém decidiu deixá-los assim: eles se formaram sozinhos, quando a ferramenta ficou boa o suficiente para cobrir o percurso inteiro. Já tratei de problemas vizinhos em outros dois textos, sobre por que um validador de IA não cumpre o papel de segregação de função e sobre por que supervisão inteligente não substitui controle determinístico.

Na sua empresa ninguém coloca avião no ar. O que muda é o tamanho da consequência, não o desenho.

O caso militar teve a sorte de ter alguém conferindo no último minuto. A maior parte dos relatórios corporativos não tem esse minuto. Eles chegam à mesa já formatados, já bem escritos, já aceitos.

Um documento bem-acabado sempre foi evidência de que alguém trabalhou nele. Deixou de ser.

Lincoln, Arquiteto de Negócios