Benchmarks públicos de IA estão sendo manipulados, e empresas constroem silenciosamente seus próprios sistemas de avaliação privados

Um modelo que lidera o leaderboard público neste mês pode perder para um modelo dez posições abaixo quando ambos são testados contra o tráfego real de produção. Essa diferença não é mais um caso isolado — equipes internas de benchmarking em diversas empresas compradoras de IA reportam uma divergência de cerca de 37% entre as pontuações publicadas e o desempenho medido em suas próprias cargas de trabalho agentic. O leaderboard público deixou de ser um sinal confiável de compra, e as equipes de procurement já sabem disso.

O resultado é uma construção silenciosa de infraestrutura privada de avaliação. Em vez de confiar cegamente em pontuações de MMLU, HumanEval ou GPQA, as equipes de IA corporativas estão montando suites de avaliação internas que testam modelos com seus próprios dados, suas próprias ferramentas e seus próprios modos de falha — e tratam os números públicos como, no melhor caso, um filtro inicial.

Por que os números públicos deixaram de ser confiáveis

Parte do problema é a contaminação: Benchmarks amplamente usados existem há tempo suficiente para que suas perguntas, ou paráfrases próximas delas, vazem plausavelmente para os dados de treinamento. Mas um problema mais sutil surgiu mesmo para Benchmarks executados de forma limpa — a fragilidade da medição. Pesquisadores demonstraram que simplesmente reordenar as alternativas de resposta nas questões de múltipla escolha do MMLU, sem alterar uma única palavra do conteúdo, pode deslocar a precisão medida de um modelo em até 13 pontos percentuais. Um Benchmark tão sensível à formatação não está realmente medindo capacidade; está medindo a robustez do modelo a uma convenção específica de gabarito.

O custo adiciona uma segunda camada de ruído. Equipes que comparam modelos apenas com base em precisão encontraram variações de até 50x no custo de inferência entre modelos que ficam a menos de um ponto percentual uns dos outros no mesmo Benchmark. Um leaderboard que classifica puramente por precisão esconde o fato de que o segundo melhor modelo pode estar rodando a uma fração do custo — ou que o modelo no topo alcançou sua pontuação usando um orçamento de computação em tempo de inferência que nenhum sistema de produção real utilizaria.

Como é uma suite de avaliação privada na prática

As equipes que constroem essa infraestrutura não estão começando do zero. O ferramental amadureceu rapidamente: a OpenAI lançou o Evals 2.0 em junho de 2026 com suporte nativo para graders personalizados e tarefas agentic de múltiplos turnos, e o Inspect AI chegou à versão 0.3.12 em julho com melhor suporte para avaliação de uso de ferramentas e pontuação de execução de código em sandbox. Plataformas comerciais — Patronus AI, Braintrust e Galileo, entre elas — já vendem Pipelines de avaliação privada gerenciados, voltados especificamente para empresas que não querem construir infraestrutura de avaliação internamente.

Uma suite privada típica tem três camadas. Primeiro, um dataset golden extraído dos próprios tickets de suporte históricos da empresa, comentários de Code Review ou fluxos de trabalho com documentos — nunca dados públicos, precisamente porque dados públicos são os que sofrem manipulação. Segundo, graders específicos por tarefa: para um assistente de código, isso pode significar realmente executar o código gerado contra uma suite de testes, em vez de pedir a outro LLM que julgue a correção visualmente. Terceiro, um harness de regressão que re-executa a suite completa a cada novo lançamento de modelo ou Fine-tuning, para que uma atualização do modelo de um fornecedor não possa degradar silenciosamente o desempenho nas tarefas que realmente importam para aquele negócio específico.

O problema de incentivos que isso não resolve

As avaliações privadas resolvem os problemas de contaminação e sensibilidade à formatação, mas introduzem um novo: são caras de construir e manter, o que significa que apenas compradores bem estruturados obtêm uma visão precisa do desempenho dos modelos. Uma startup avaliando qual API usar como base ainda precisa recorrer a leaderboards públicos, threads no Twitter e marketing de fornecedores — exatamente os sinais que ficaram ruidosos para começo de conversa. Os provedores de modelos, por sua vez, têm todo incentivo para continuar otimizando para os Benchmarks em que os compradores menores ainda confiam, mesmo enquanto seus melhores clientes corporativos silenciosamente param de olhar para esses números.

O que fazer a respeito

Se você está avaliando modelos para uma carga de trabalho em produção, trate a classificação pública em Benchmarks como um filtro de shortlist, não como uma resposta definitiva. Monte ao menos uma avaliação privada mínima — de 50 a 100 exemplos reais do seu próprio caso de uso, avaliados por um rubrica acordada pela sua equipe — antes de se comprometer com um modelo para qualquer coisa além de prototipagem. Acompanhe o custo por tarefa junto com a precisão; um modelo 2 pontos melhor na sua avaliação, mas 10x mais caro por chamada de API, raramente é a escolha certa para produção. E re-execute sua suite de avaliação sempre que um provedor lançar uma atualização "silenciosa" de modelo, já que a precisão nas suas tarefas específicas pode variar mesmo quando a pontuação pública no Benchmark permanece estável.