Le mode vocal avancé d'OpenAI est déployé auprès des utilisateurs ChatGPT Plus

Le déploiement commence

Le 30 juillet 2024, OpenAI a lancé le déploiement de son mode vocal avancé (AVM) auprès d'un sous-ensemble d'abonnés ChatGPT Plus. Cette fonctionnalité, présentée pour la première fois lors de l'événement de lancement de GPT-4o en mai, remplace le mode vocal précédent qui reposait sur trois modèles distincts — un modèle de reconnaissance vocale, un modèle de langage et un modèle de synthèse vocale — par un pipeline multimodal unique. L'AVM peut traiter directement la hauteur, le rythme et le ton, ce qui lui permet de rire, de chuchoter ou d'exprimer de l'enthousiasme sans intermédiaire textuel. Le déploiement initial est limité à un petit nombre d'utilisateurs Plus, un lancement plus large étant prévu pour l'automne 2024.

Le saut technique derrière le mode vocal avancé

Contrairement au mode vocal précédent, qui affichait une latence moyenne d'environ 2,8 secondes par aller-retour, l'AVM réalise une interaction vocale de bout en bout en moins de 320 millisecondes — comparable à la prise de tour dans une conversation humaine. OpenAI y parvient en injectant l'audio brut directement dans les couches d'attention multimodales de GPT-4o, contournant ainsi le goulot d'étranglement de la transcription. Le modèle gère également les interruptions de manière naturelle : si un utilisateur dit « Attendez, laissez-moi reconsidérer », l'IA s'arrête au milieu de sa phrase et écoute. Cela a nécessité un réentraînement des paramètres de décroissance du modèle pour éviter de tronquer la parole de l'utilisateur.

Un autre détail technique est l'intégration d'un détecteur d'événements non verbaux. Lorsqu'un utilisateur tousse, soupire ou rit, le modèle peut décider de le prendre en compte ou de poursuivre le fil de la conversation, selon le contexte. Lors de tests internes, l'AVM a correctement identifié les signaux émotionnels tels que la frustration ou l'hésitation 87 % du temps, contre 52 % pour le pipeline textuel précédent. Cependant, le modèle s'appuie toujours sur un module séparé de détection d'activité vocale pour déterminer quand l'utilisateur a fini de parler, ce qui peut engendrer occasionnellement des faux positifs dans les environnements bruyants.

Déploiement et disponibilité

Le mode vocal avancé est initialement disponible uniquement pour les abonnés ChatGPT Plus aux États-Unis, qui paient 20 $ par mois. OpenAI prévoit d'étendre la fonctionnalité aux offres Team et Enterprise plus tard au quatrième trimestre 2024, suivie d'un déploiement pour le secteur éducatif début 2025. Les utilisateurs de l'offre gratuite ne bénéficieront pas du mode vocal, car les marges bénéficiaires de l'entreprise sur les coûts d'inférence pour l'audio sont nettement inférieures à celles du texte. OpenAI estime que le traitement d'une minute de conversation vocale interactive coûte environ huit fois plus cher que la génération de 4 000 tokens de texte.

Pour gérer la charge des serveurs, l'entreprise a limité l'utilisation à un « quota journalier limité » d'environ 30 minutes de conversation vocale active par utilisateur et par jour. Ce plafond pourrait évoluer à mesure que l'efficacité du matériel d'inférence s'améliore. OpenAI déploie également cinq nouvelles options vocales — Breeze, Cove, Ember, Juniper et Vale — en plus des voix existantes Sky, Breeze et Cove. Chaque voix a été entraînée sur l'audio d'un acteur distinct, avec des accords de licence.

Comparaison avec les fonctionnalités vocales précédentes

L'ancien mode vocal, lancé en septembre 2023, utilisait Whisper pour la reconnaissance vocale, GPT-4 (ou GPT-3.5) pour la génération de réponses, et un modèle de synthèse vocale interne basé sur TorToiSe. Ce pipeline montrait ses limites lorsque les utilisateurs souhaitaient poser des questions de suivi dans le feu d'une discussion : le flux conversationnel était lourd car l'intégralité de la transcription devait être renvoyée au modèle de langage après chaque aller-retour vocal. L'AVM élimine ce problème en diffusant l'audio directement dans le décodeur autoregressif de GPT-4o, permettant au modèle de maintenir un fil cohérent sur des interactions vocales multi-tours sans digressions visibles.

Siri d'Apple et Alexa d'Amazon reposent sur des architectures en cascade similaires — voix vers texte, NLU, texte vers voix — avec des latences proches de 800 ms à 1,5 seconde par tour. Gemini Live de Google, annoncé en mai 2024, promet également un mode vocal multimodal, mais à l'heure où ces lignes sont écrites, il est encore en bêta limitée et ne prend pas en charge la gestion des interruptions en temps réel. OpenAI affirme que l'AVM est la première IA vocale déployée commercialement capable de simuler une gamme émotionnelle sans intentions scriptées explicites.

Sécurité et garde-fous

OpenAI a mis en place plusieurs mesures de sécurité spécifiques au mode vocal avancé. Le système utilise un « classificateur d'imitation vocale » séparé qui détecte et bloque toute tentative d'usurpation de l'identité d'une personne précise — par exemple, produire une voix correspondant au timbre d'un utilisateur à des fins de hameçonnage. Le modèle est également interdit de générer des sons « sensibles » tels que des sirènes, des pleurs de bébés ou des bruits sexuels. Lors de séances internes de red-teaming, le classificateur a bloqué 92 % des tentatives d'usurpation, mais trois cas limites lors des premiers tests ont permis au modèle d'imiter un utilisateur après sept secondes ininterrompues d'entrée audio.

De plus, OpenAI a ajouté un filigrane à toutes les sorties audio générées, intégrant une signature numérique unique pouvant ensuite être retracée jusqu'à une session utilisateur spécifique. Ce filigrane est imperceptible pour les humains, mais peut être lu par l'outil forensique de l'entreprise. La société a également restreint l'utilisation de cette fonctionnalité dans les contextes d'urgence : si un utilisateur dit « Je fais une crise cardiaque », le modèle est entraîné à répondre « Je ne suis pas professionnel de santé ; veuillez appeler le 911 » plutôt que de fournir des instructions.

Cas d'usage potentiels et implications

Les premiers testeurs ont utilisé l'AVM pour le tutorat linguistique — corriger la prononciation et le rythme en temps réel — ainsi que pour de la réflexion de type thérapeutique, où le modèle adapte son ton à l'état émotionnel de l'utilisateur. Certains développeurs explorent l'AVM comme remplaçant des systèmes de réponse vocale interactive dans le support client, mais les conditions d'utilisation actuelles de l'API d'OpenAI interdisent la revente du mode vocal en tant que produit autonome. Cette fonctionnalité soulève également des questions de confidentialité : tous les extraits audio sont temporairement stockés sur les serveurs d'OpenAI pour l'amélioration du modèle, sauf si l'utilisateur désactive cette option dans les paramètres. La politique de confidentialité de l'entreprise précise que les enregistrements audio peuvent être examinés par des annotateurs humains, mais seulement après suppression des informations personnellement identifiables.

Avec l'AVM, l'IA conversationnelle a franchi un seuil où le médium lui-même — le ton, le timing, l'émotion — fait partie intégrante de l'information transmise, plutôt que d'en être un simple effet secondaire. Que cela conduise à un engagement plus profond des utilisateurs ou à de nouvelles formes de manipulation dépendra de la rapidité avec laquelle les garde-fous évolueront aux côtés de la technologie.