O «context rot» explica por que seu chatbot de IA piora quanto mais longa a conversa

Faça a mesma pergunta duas vezes a um assistente de IA em uma conversa longa — uma vez no início, outra depois de uma hora de troca de mensagens — e muitas vezes você receberá uma resposta pior na segunda vez, mesmo que nada tenha mudado na pergunta e a conversa esteja longe do limite de contexto anunciado do modelo. Pesquisadores têm um nome para isso: context rot, o declínio mensurável na qualidade de saída de um modelo conforme a quantidade de texto em sua janela de contexto aumenta, independentemente de esse texto ser realmente relevante para a tarefa.

Isso importa porque todo o discurso de marketing em torno dos modelos de IA modernos gira em torno do tamanho do contexto. Fornecedores anunciam janelas de 200 mil, 1 milhão, até 10 milhões de tokens, sugerindo que maior significa mais capaz. O context rot mostra o contrário: a capacidade dentro dessa janela não é uniforme, e a maior parte se degrada bem antes de se atingir o teto.

O que a pesquisa realmente mostra

A demonstração mais clara vem do estudo da Chroma em 2025, que testou 18 modelos de ponta — de todos os principais laboratórios — em tarefas idênticas com diferentes comprimentos de entrada. Todos os modelos, sem exceção, pioraram de forma mensurável conforme o comprimento da entrada aumentava, mesmo em tarefas explicitamente projetadas para serem solucionáveis independentemente do tamanho do contexto. A degradação não era por falta de espaço; era porque a atenção do modelo se diluía ao longo de mais texto.

Isso se baseia na descoberta anterior de "perdido no meio" por pesquisadores de Stanford (Liu et al., publicado na TACL em 2024), que mostrou uma curva de confiabilidade em forma de U: modelos lidam bem com informações no início ou no final de uma entrada longa, mas informações enterradas no meio são usadas de forma menos confiável, independentemente de quão claramente estejam expressas. Uma avaliação posterior chamada NoLiMa, realizada em 2025, descobriu que, para muitos modelos, o comprimento de contexto efetivo — o ponto a partir do qual a confiabilidade real começa a cair — era de cerca de 2.000 tokens, uma fração pequena dos mais de 100 mil tokens que a maioria desses modelos afirma suportar.

O problema se agrava para agentes de IA que operam ao longo de muitas etapas em vez de uma única pergunta. Um preprint de junho de 2026 sobre busca de longo horizonte descobriu que, conforme o contexto acumulado de um agente cresce durante uma tarefa de várias etapas, ele tende cada vez mais a desistir precocemente ou dar respostas incertas em vez de concluir a tarefa — o oposto do que se esperaria de uma ferramenta destinada a operar de forma autônoma por períodos mais longos. O mesmo artigo testou sete estratégias de mitigação em três categorias e descobriu que a sumarização periódica e a podagem de contexto — remover ativamente informações obsoletas em vez de deixá-las acumular — superaram simplesmente usar um modelo com uma janela maior.

Por que isso acontece

A explicação mecânica remete a como a atenção funciona nos transformers: cada token no contexto compete por uma parcela limitada do orçamento de atenção do modelo. Adicionar mais tokens significa que, em média, cada um — mesmo tokens importantes — recebe uma parcela menor desse orçamento. Um modelo não lê sua conversa como você lê este artigo, de forma sequencial e com memória perfeita; ele reponderação tudo o que está na janela a cada resposta, e uma janela maior significa apenas mais competição pela mesma capacidade fixa.

Algumas equipes descobriram que a degradação nem sempre é gradual — alguns relatos descrevem modelos mantendo desempenho estável até um limite de comprimento, e então caindo abruptamente, em vez de um declínio suave. A comunidade de pesquisa não resolveu esse ponto, mas ambos os lados concordam com a conclusão central: o tamanho bruto do contexto é um teto, não uma garantia, e muito uso real já opera além do ponto de desempenho confiável, bem antes de atingir esse teto.

O que isso significa se você usa ferramentas de IA diariamente

Para um usuário comum de chatbot, a solução prática é simples e já está sob seu controle: inicie novas conversas com mais frequência. Se você está trocando mensagens com um assistente por 45 minutos ao longo de uma dezena de mudanças de assunto, não assuma que ele ainda tem uma leitura clara da sua pergunta original — é plausível que ele esteja se afogando em seu próprio histórico de conversa. Reformular sua pergunta real claramente, em vez de confiar que o modelo a resgate do histórico, ajuda de forma mensurável.

Para quem constrói sobre esses modelos — chatbots, ferramentas internas, agentes de IA que gerenciam fluxos de trabalho de várias etapas — a conclusão é mais concreta: não trate uma janela de contexto grande como substituta de recuperação e sumarização. Despejar uma base de conhecimento inteira, um repositório de código ou um conjunto de documentos no contexto só porque a janela tecnicamente os acomoda é exatamente o modo de falha que a pesquisa descreve. Compactar o contexto periodicamente, recuperar apenas o que é relevante para a etapa atual, e reformular explicitamente restrições-chave perto do final de um prompt longo — onde os modelos leem de forma mais confiável — tudo isso supera de forma mensurável confiar apenas no tamanho da janela.

A lição mais ampla é que "janela de contexto" e "contexto utilizável" são números diferentes, e a lacuna entre eles costuma ser muito maior do que as fichas técnicas dos fornecedores sugerem. Trate o tamanho da janela como trataria a capacidade anunciada de um disco rígido versus seu espaço real utilizável — real, mas não o número que deveria guiar seu fluxo de trabalho real.