A ONU olhou para 21,2% de acerto e foi arrumar o dado, não o modelo

Seis modelos de linguagem. Mais de 133 mil respostas sobre indicadores de desenvolvimento. Acurácia média de 21,2%.

O número veio de um benchmark conduzido pela UNICEF e divulgado nesta quinta-feira (17), no mesmo dia em que a ONU e o Google anunciaram o UN System Data Commons, plataforma aberta que reúne estatísticas do sistema ONU em um endereço único, o data.un.org. O lançamento foi apresentado pelo Google em seu blog oficial e detalhado pela reportagem do TechCrunch.

A leitura preguiçosa desse anúncio é a de sempre: mais um produto de dados com selo de inteligência artificial. Mas a ordem dos acontecimentos importa mais do que o produto. Alguém mediu o erro em escala, com pergunta verificável e resposta objetivamente certa ou errada. E, diante do resultado, a resposta institucional não foi esperar a próxima geração de modelos.

Foi reescrever a fonte.

Essa inversão é o que interessa aqui. Porque é exatamente a etapa que quase nenhuma empresa cumpre antes de colocar um agente em cima dos próprios dados.

O que é o UN System Data Commons

O UN System Data Commons é construído sobre o Data Commons, projeto open source do Google, e substitui o antigo portal UNData. Segundo o TechCrunch, 26 entidades da ONU se comprometeram com a plataforma e dados de quase 20 delas já estavam disponíveis no lançamento. A meta declarada é chegar a 80% dos conjuntos estatísticos do sistema ONU até 2027.

O Google.org aportou 2 milhões de dólares em capacitação e suporte técnico, de acordo com a mesma reportagem. A instância é hospedada sob governança da ONU, com a intenção declarada de ser mantida, operada e escalada de forma independente pela própria organização.

A parte tecnicamente relevante para quem constrói sistemas é outra: a plataforma suporta o Model Context Protocol (MCP), um padrão que permite que sistemas de IA se conectem diretamente a fontes externas de dados. Na prática, o objetivo declarado é que um agente consiga buscar o número autoritativo na origem, em vez de tentar lembrar dele.

Shantanu Mukherjee, diretor interino da Divisão de Estatística da ONU, resumiu a intenção como aproveitar o momento para também tornar os dados da organização legíveis por IA.

O que o teste mediu, e o que ele não mediu

O benchmark foi conduzido por João Pedro Azevedo, estatístico-chefe da UNICEF. Seis modelos foram submetidos a perguntas sobre indicadores globais de desenvolvimento: GPT-4o e GPT-4o-mini, da OpenAI; Claude Sonnet 4.5 e Claude Haiku 4.5, da Anthropic; Gemini 2.5 Flash e Gemini 2.0 Flash, do Google. O conjunto somou mais de 133 mil respostas, com acurácia média de 21,2%.

Dois achados secundários dizem mais do que a média.

O primeiro: cerca de três em cada cinco respostas não trouxeram número utilizável nenhum, em boa parte porque os modelos hedgearam, ou seja, contornaram a pergunta em vez de arriscar um valor.

O segundo: ao repetir as mesmas perguntas cerca de dois dias depois, nas mesmas versões dos modelos, aqueles que devolveram um número nas duas execuções repetiram o valor idêntico em apenas cerca de metade dos casos.

Vale marcar o limite do recorte antes de seguir. Esses 21,2% não dizem que a IA erra 79% de tudo. O teste mede uma tarefa específica e bastante desfavorável a modelos de linguagem: recuperar de memória um valor estatístico exato, com país, indicador, unidade e período corretos. É uma tarefa de banco de dados sendo feita por um sistema probabilístico. Generalizar esse número para redação, classificação, apoio à decisão ou geração de código seria uma leitura errada da evidência.

Reprodutibilidade é um problema pior do que acurácia

De todos os números da rodada, o mais transferível para a realidade das empresas é o da segunda execução.

Um erro estável é administrável. Se um sistema erra sempre para o mesmo lado, você mede o viés, aplica uma correção e segue. É trabalhoso, mas é um problema de engenharia com solução conhecida.

Uma resposta que muda entre execuções é outra categoria de problema. Ela quebra qualquer processo que dependa de a mesma pergunta produzir o mesmo resultado: relatório gerencial comparável mês a mês, cálculo de comissão, indicador contratual de nível de serviço, apuração de bônus. Nesses casos não existe margem de erro tolerável, existe obrigação de reprodutibilidade. Um número que oscila entre terça e quinta-feira não é impreciso. Ele é inauditável.

É uma distinção que raramente aparece nos critérios de aceite de projetos de automação, e que já apareceu em outro recorte recente: quando o agente parece acertar na interface mas grava valor errado na base, como discutimos na análise do ERPBench.

Por que a expectativa dentro da sua empresa deveria ser pior

Aqui está o raciocínio que vale o artigo inteiro.

Os indicadores testados pela UNICEF são o cenário mais favorável possível. São dados públicos, documentados, padronizados internacionalmente, com definição metodológica escrita, unidade declarada e série histórica estável. Se modelos de fronteira entregam 21,2% de acurácia nesse cenário, a expectativa realista para perguntas feitas aos dados internos de uma empresa de porte médio deveria ser pior, não melhor.

E o motivo não é técnico, é organizacional. Na maioria das empresas que atendemos, receita significa três coisas diferentes em três sistemas diferentes: uma no ERP, uma na planilha do comercial, uma no relatório que o dono usa na reunião. Cliente ativo tem uma definição no CRM e outra no financeiro. O mesmo indicador aparece com nomes distintos em dois relatórios que ninguém nunca conciliou, porque cada um nasceu para responder a uma pergunta diferente e nenhum dos dois estava errado no momento em que foi criado.

Nenhum modelo resolve ambiguidade de definição. Ele apenas escolhe uma das versões, com confiança, e devolve. E, como a escolha é probabilística, pode escolher outra na próxima execução.

A tese, então, é direta: não existe agente confiável sobre dado ambíguo. Não porque o agente seja ruim, mas porque a pergunta não tem resposta única antes de alguém decidir qual é.

O contraponto que precisa ficar registrado

Três ressalvas sustentam a leitura acima em vez de enfraquecê-la, e omiti-las seria desonesto.

O estudo da UNICEF ainda não passou por revisão por pares. É um working paper em preparação para submissão a periódico, e a organização informou que pretende liberar metodologia, código e dados junto com a publicação. Até lá, o número é uma medição divulgada pela instituição que a conduziu, não um resultado validado de forma independente.

Os modelos testados não são necessariamente as versões mais recentes de cada fornecedor. Isso pode subestimar o estado atual da tecnologia, sobretudo em modelos com busca integrada, que não dependem de memória para recuperar um valor.

E há o conflito evidente: o Google financia a iniciativa, presta o suporte técnico e fornece o produto que resolve o problema medido, enquanto dois dos seis modelos avaliados são dele. Isso não invalida o benchmark, mas exige que ele seja lido como o que é, uma medição com parte interessada envolvida, até que os dados abertos permitam replicação.

O próprio Azevedo recomendou que uma pessoa sempre revise as saídas antes de citá-las ou publicá-las, justamente porque os modelos podem interpretar mal nuances. É uma ressalva que vale para a plataforma nova também.

O que arrumar antes de confiar em uma resposta gerada

A ONU está fazendo, em escala global e com prazo até 2027, o trabalho que a maioria das empresas pula. Traduzido para uma operação de porte médio, esse trabalho tem quatro etapas, e nenhuma delas é comprar ferramenta.

1. Definição única de métrica. Escolher, para cada indicador que importa, uma definição oficial, escrita, com regra de cálculo, filtro e período. Não a melhor definição possível, a definição que passa a valer.

2. Fonte consultável, não fonte lembrada. O agente precisa buscar o valor em uma base com interface de consulta, do jeito que o MCP faz na plataforma da ONU, e não recuperar de treinamento. Isso muda o projeto de lugar: sai de engenharia de prompt, entra em engenharia de dados.

3. Versionamento e data de corte. Todo número precisa carregar quando foi apurado. Metade das discussões de reunião sobre divergência de relatório é diferença de data de extração, não erro de cálculo.

4. Caminho de verificação na resposta. A saída precisa dizer de onde veio o número, para que qualquer pessoa consiga conferir em menos de um minuto. Resposta que não pode ser rastreada não pode ser usada em decisão com consequência.

Só depois disso a pergunta sobre qual modelo usar passa a ser relevante. Antes disso, ela é a pergunta errada, e é uma discussão de controle, não de capacidade, como já apareceu no caso dos validadores de IA em pipelines multiagente.

O sinal mais útil do anúncio desta semana não é a plataforma. É a admissão implícita de que, para a IA responder direito, alguém precisou primeiro arrumar a resposta.

Quem organiza a fonte controla o que o agente pode dizer. Quem não organiza descobre o que ele inventou depois, na reunião.