O Modo de Voz Avançado da OpenAI chega aos utilizadores do ChatGPT Plus

O início da implementação

A 30 de julho de 2024, a OpenAI iniciou a implementação do seu Modo de Voz Avançado (AVM) a um subconjunto de subscritores do ChatGPT Plus. A funcionalidade, demonstrada pela primeira vez durante o evento de lançamento do GPT-4o em maio, substitui o modo de voz anterior, que dependia de três modelos separados — um modelo de reconhecimento de fala, um modelo de linguagem e um modelo de síntese de fala — por um único pipeline multimodal. O AVM consegue processar diretamente o tom, o ritmo e a inflexão vocal, permitindo-lhe rir, sussurrar ou expressar entusiasmo sem intermediação de texto. A implementação inicial está limitada a um pequeno número de utilizadores Plus, estando previsto um lançamento mais alargado para o outono de 2024.

O salto técnico por detrás do Modo de Voz Avançado

Ao contrário do modo de voz anterior, que tinha uma latência média de cerca de 2,8 segundos por ciclo completo, o AVM alcança uma interação de voz de ponta a ponta em menos de 320 milissegundos — comparável à alternância de turnos numa conversa humana. A OpenAI consegue isto ao introduzir áudio bruto nas camadas de atenção multimodal do GPT-4o, contornando o gargalo da transcrição. O modelo também lida com interrupções de forma natural: se um utilizador disser "Espere, deixe-me reconsiderar", a IA para a meio da frase e escuta. Isto exigiu o retreinamento dos parâmetros de decaimento do modelo para evitar truncar a fala do utilizador.

Outro detalhe técnico é a integração de um detetor de eventos não verbais. Quando um utilizador tosse, suspira ou ri, o modelo pode decidir se reconhece o som ou continua o fluxo da conversa, dependendo do contexto. Em testes internos, o AVM identificou corretamente pistas emocionais como frustração ou hesitação 87% das vezes, contra 52% do pipeline anterior baseado em texto. No entanto, o modelo continua a depender de um módulo separado de deteção de atividade vocal para determinar quando o utilizador terminou de falar, o que pode ocasionar falsos positivos em ambientes ruidosos.

Implementação e disponibilidade

O Modo de Voz Avançado está inicialmente disponível apenas para subscritores do ChatGPT Plus nos Estados Unidos, que pagam $20 por mês. A OpenAI planeia expandir a funcionalidade aos planos Team e Enterprise mais tarde no quarto trimestre de 2024, com uma implementação para o setor educativo no início de 2025. Os utilizadores do plano gratuito não receberão o modo de voz, uma vez que as margens de lucro da empresa nos custos de inferência para áudio são significativamente inferiores às do texto. A OpenAI estima que processar um minuto de conversa vocal interativa custa aproximadamente oito vezes mais do que gerar 4.000 tokens de texto.

Para gerir a carga dos servidores, a empresa limitou o uso a uma "quotização diária limitada" de aproximadamente 30 minutos de conversa de voz ativa por utilizador por dia. Este limite poderá mudar à medida que a eficiência do hardware de inferência melhorar. A OpenAI está também a lançar cinco novas opções de voz — Breeze, Cove, Ember, Juniper e Vale — para além das já existentes Sky, Breeze e Cove. Cada voz foi treinada com o áudio de um ator distinto, ao abrigo de acordos de licenciamento.

Comparação com as funcionalidades de voz anteriores

O modo de voz anterior, lançado em setembro de 2023, utilizava o Whisper para reconhecimento de fala, o GPT-4 (ou GPT-3.5) para geração de respostas e um modelo de síntese de fala interno baseado no TorToiSe. Esse pipeline falhava quando os utilizadores queriam fazer perguntas de seguimento numa discussão acesa: o fluxo da conversa era desajeitado porque era necessário reenviar toda a transcrição ao modelo de linguagem após cada ciclo de voz. O AVM elimina este problema ao transmitir o áudio diretamente para o descodificador autorregressivo do GPT-4o, permitindo ao modelo manter um fio condutor coerente ao longo de interações de voz com múltiplos turnos, sem divagações visíveis.

A Siri da Apple e a Alexa da Amazon dependem de arquiteturas cascateadas semelhantes — voz para texto, compreensão de linguagem natural, texto para voz — e apresentam latências entre 800 ms e 1,5 segundos por turno. O Gemini Live da Google, anunciado em maio de 2024, também promete um modo de voz multimodal, mas até à data de publicação continua em beta limitado e não suporta o tratamento de interrupções em tempo real. A OpenAI afirma que o AVM é a primeira IA de voz comercialmente implementada capaz de simular uma gama emocional sem intenções explícitas programadas.

Segurança e salvaguardas

A OpenAI implementou várias medidas de segurança específicas para o Modo de Voz Avançado. O sistema utiliza um "classificador de imitação vocal" separado que deteta e bloqueia qualquer tentativa de impersonar uma pessoa específica — por exemplo, produzir uma voz que corresponda ao timbre do próprio utilizador para fins de phishing. O modelo também está proibido de gerar sons "sensíveis" como sirenes, bebés a chorar ou ruídos sexuais. Durante exercícios internos de red-teaming, o classificador bloqueou 92% das tentativas de imitação, mas três casos limite durante os testes iniciais permitiram que o modelo imitasse um utilizador após sete segundos ininterruptos de entrada de áudio.

Adicionalmente, a OpenAI adicionou uma marca de água a todas as saídas de áudio geradas, incorporando uma assinatura digital única que pode posteriormente ser rastreada até uma sessão de utilizador específica. Esta marca de água é impercetível para os seres humanos, mas pode ser lida pela ferramenta forense da empresa. A empresa também restringiu a utilização da funcionalidade em contextos de emergência: se um utilizador disser "Estou a ter um enfarte", o modelo está treinado para responder "Não sou um profissional de saúde; por favor, ligue para o 112" em vez de fornecer instruções.

Casos de uso potenciais e implicações

Os primeiros testadores utilizaram o AVM para tutoria de idiomas — corrigindo a pronúncia e o ritmo em tempo real — e para reflexão de cariz terapêutico, em que o modelo ajusta o seu tom para corresponder ao estado emocional do utilizador. Alguns programadores estão a explorar o AVM como substituto dos sistemas de resposta vocal interativa no apoio ao cliente, mas os termos atuais da API da OpenAI proíbem a revenda do modo de voz como produto autónomo. A funcionalidade levanta também questões de privacidade: todos os excertos de áudio são temporariamente armazenados nos servidores da OpenAI para melhoria do modelo, a menos que o utilizador opte por não o permitir nas definições. A política de privacidade da empresa nota que as gravações de áudio podem ser revistas por anotadores humanos, mas apenas após a remoção de informação pessoalmente identificável.

Com o AVM, a IA conversacional ultrapassou um limiar em que o próprio meio — o tom, o timing, a emoção — passa a fazer parte da informação transmitida, em vez de ser um efeito secundário. Se isso conduzirá a um maior envolvimento dos utilizadores ou a novas formas de manipulação depende da rapidez com que as salvaguardas evoluírem a par da tecnologia.