A descodificação especulativa reduz a latência na inferência de LLM até 3x sem perda de precisão

Os grandes modelos de linguagem geram texto um token de cada vez, e cada token requer uma passagem direta completa por milhares de milhões de parâmetros. Esta dependência serial é a razão fundamental pela qual a inferência é dispendiosa. A descodificação especulativa quebra esse estrangulamento — não alterando o modelo, mas mudando a estratégia de geração. A técnica pode reduzir a latência de tempo real em 2x a 3x em tarefas como conclusão de código e conversação, sem degradação na qualidade da saída.

O Mecanismo Central

A descodificação especulativa utiliza dois modelos: um modelo "rascunho" pequeno e o modelo "alvo" grande. O modelo rascunho gera rapidamente vários tokens candidatos. O modelo alvo avalia depois todos esses candidatos numa única passagem direta paralela — aceitando os tokens que ele próprio teria previsto e rejeitando os restantes. Quando um token é rejeitado, a geração recua para a distribuição do modelo alvo para essa posição, e o processo reinicia.

Como a passagem direta do modelo alvo sobre um lote de tokens candidatos é apenas marginalmente mais dispendiosa do que uma passagem direta de token único (graças ao paralelismo da GPU), o resultado líquido é mais tokens gerados por unidade de computação. A matemática funciona quando o modelo rascunho tem um acordo razoável com o alvo — tipicamente taxas de aceitação de token de 70–85% em tarefas factuais e estruturadas como a geração de código.

Porque é que a Taxa de Aceitação é Tudo

A aceleração da descodificação especulativa escala diretamente com o número médio de tokens rascunho aceites antes de uma rejeição. Em benchmarks de codificação comuns como o HumanEval, as taxas de aceitação com um modelo rascunho bem combinado rondam os 75–80%, resultando numa redução de latência de 2,5–3x. Em tarefas criativas de final aberto, as taxas de aceitação caem para 55–65%, e a aceleração diminui para 1,5–2x.

Isto significa que a escolha do modelo rascunho é extremamente importante. Investigação da DeepMind em 2023 (o artigo original sobre descodificação especulativa de Leviathan et al.) mostrou que mesmo uma diferença de tamanho de 3 ordens de magnitude — um rascunho de 7B vs. um alvo de 70B — ainda alcança uma aceleração significativa porque as previsões do modelo mais pequeno estão surpreendentemente alinhadas com as do maior em tarefas estruturadas.

Descodificação Auto-Especulativa: Sem Necessidade de Modelo Rascunho

Uma barreira prática à descodificação especulativa em produção é a sobrecarga de executar e manter um modelo rascunho separado. A descodificação auto-especulativa, introduzida em 2024 por investigadores da CMU e da Microsoft, elimina este requisito. A abordagem utiliza uma saída antecipada das camadas intermédias do próprio modelo alvo como mecanismo de rascunho. Especificamente, encaminha os tokens através de um subconjunto das camadas do modelo para produzir um rascunho rápido, depois valida com o modelo completo.

O método EAGLE-2 (de investigadores da Universidade de Pequim, também em 2024) segue uma abordagem diferente: treina um "cabeçalho de rascunho" leve de camada única que se liga ao modelo alvo e prevê tokens futuros com base em estados ocultos internos. O EAGLE-2 alcançou taxas de aceitação acima de 80% no MT-Bench e superou os métodos especulativos anteriores em 20–40% na capacidade de processamento em GPUs A100. O cabeçalho de rascunho adiciona menos de 1% à contagem de parâmetros do modelo.

Implantações em Produção

A descodificação especulativa já não é apenas uma curiosidade de investigação. A infraestrutura de serviço de produção da Google para o Gemini utiliza-a. A Anthropic descreveu a utilização de abordagens especulativas no serviço Claude. O framework de inferência vLLM (a biblioteca de serviço de LLM de código aberto mais amplamente utilizada, com mais de 30.000 estrelas no GitHub) incluiu suporte para descodificação especulativa na versão 0.3 no início de 2024.

Para organizações que executam as suas próprias pilhas de inferência, as implicações práticas são diretas: o mesmo hardware que serve um modelo de 70B a 20 tokens/segundo pode servir 50–60 tokens/segundo com descodificação especulativa devidamente afinada. Isto representa uma redução de 2,5–3x no custo por token sem quaisquer alterações ao modelo, quantização ou compromissos na precisão.

Limitações e Quando Não Ajuda

A descodificação especulativa ajuda com a latência — o tempo para gerar uma resposta — mas não reduz a computação total. Na verdade, aumenta ligeiramente os FLOPs totais devido aos tokens rascunho rejeitados. Isto significa que não reduz os custos energéticos por pedido; reduz o tempo até à conclusão, o que é importante para a latência voltada para o utilizador, mas não para a capacidade de processamento em lote.

Também tem o pior desempenho em tarefas de alta entropia: escrita criativa, brainstorming, ou qualquer saída onde o modelo tenha alta incerteza em cada passo. Nestes casos, as taxas de aceitação do rascunho caem abaixo de 60% e a sobrecarga de executar o modelo rascunho começa a consumir os ganhos.

Conclusões Práticas

Se está a executar o Llama 3.1 70B ou modelos semelhantes com vLLM: ative a descodificação especulativa com um modelo mais pequeno correspondente (ex: Llama 3.2 3B como rascunho). Espere uma melhoria de latência de 2–2,5x em tarefas de conversação/código com configuração mínima.
Se está a construir sobre APIs alojadas: a descodificação especulativa provavelmente já está a ser executada no *backend*. Concentre o seu esforço de otimização na estrutura do *prompt* e na eficiência de tokens.
Se a latência é o seu estrangulamento, mas não o custo: a descodificação especulativa é a sua melhor alavanca — supera a quantização para tarefas sensíveis à qualidade e não requer retreino do modelo.
Se está a fazer inferência em lote (resumo, classificação em escala): a descodificação especulativa não ajudará. Considere antes o agrupamento em lote contínuo e a quantização.