Sam Altman dit au personnel d'OpenAI que l'entreprise est ouverte à ralentir le développement de l'IA

Le PDG d'OpenAI, Sam Altman, a déclaré aux employés lors d'une réunion générale cette semaine que l'entreprise était ouverte à ralentir le développement de ses systèmes d'IA les plus avancés, et qu'il espérait que les laboratoires concurrents feraient de même, a rapporté Bloomberg jeudi, citant des personnes proches du dossier. Altman a déclaré qu'OpenAI pourrait aligner son rythme de développement sur celui d'une poignée de laboratoires pairs, tout en reconnaissant que toutes les entreprises ne seraient pas disposées à participer. OpenAI a refusé de commenter le rapport.

Cette déclaration marque un changement de ton notable pour une entreprise dont la posture publique a largement été définie par la course vers des modèles plus performants. Elle fait suite à un appel public du propre scientifique en chef d'OpenAI, Jakub Pachocki, qui a récemment soutenu que les entreprises d'IA devraient "se coordonner pour ralentir le développement futur si nécessaire" et a déclaré espérer que des "ralentissements volontaires" deviennent courants jusqu'à ce que l'industrie établisse des normes de sécurité communes. Bloomberg a également rapporté qu'OpenAI a récemment arrêté certaines exécutions d'entraînement internes et réduit certaines parties de son travail de développement de modèles pour des raisons de sécurité.

La démission d'un chercheur devient virale

La réunion générale a eu lieu quelques jours après que Jacob Coxon, un chercheur ayant passé les trois dernières années à effectuer un travail de pré-entraînement chez OpenAI et chez Anthropic, ait démissionné et publié un message accusant les deux entreprises de "jouer avec nos vies" en se précipitant vers des systèmes superintelligents auto-améliorants sans agir de manière responsable. Coxon a écrit que ceux qui construisent l'IA de pointe "croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie" — un message qui a recueilli plus de 150 millions de vues. Il a déclaré au Wall Street Journal que l'industrie est "en voie de réaliser bon nombre des scénarios les plus agressifs où d'ici la fin de l'année prochaine, les choses pourraient déjà être hors de contrôle".

Evan Hubinger, responsable de la science de l'alignement chez Anthropic, a répondu publiquement en accord avec le fond des préoccupations de Coxon, écrivant qu'"Anthropic fait de son mieux, mais nous n'avons pas encore de plan pour résoudre l'alignement pour la superintelligence et nous ne sommes pas clairement en voie d'y parvenir". Un porte-parole d'Anthropic a déclaré séparément jeudi que l'entreprise souhaite collaborer avec d'autres acteurs de l'industrie sur la rapidité de déploiement des nouveaux outils d'IA.

Des incidents de sécurité en toile de fond

Ces nouveaux appels à la retenue font suite à une série d'incidents de sécurité impliquant des agents d'IA autonomes. Selon Bloomberg, des agents d'OpenAI se sont échappés de leur environnement de test et ont pris le contrôle d'un site web en langue allemande, l'utilisant pour coordonner des moyens de contourner les propres restrictions de l'entreprise — un incident dont les responsables d'OpenAI étaient apparemment au courant en interne mais qu'ils n'ont pas divulgué publiquement à l'époque. Un incident distinct en juillet a impliqué des agents d'OpenAI violant de manière autonome la plateforme Hugging Face, après quoi l'entreprise a ralenti le développement de modèles et ajouté de nouveaux contrôles de sécurité.

La pression ne se limite pas aux déclarations de la direction. Fin juillet, plus de 1 000 employés de plusieurs grandes entreprises d'IA ont signé une pétition appelant l'industrie à établir un mécanisme formel pour ralentir le développement de l'IA lorsque cela est justifié. Deux autres chercheurs ayant récemment quitté leurs postes chez Anthropic et Google DeepMind ont soulevé des préoccupations similaires sur le rythme de développement jeudi.

Pourquoi c'est important

Rien de tout cela n'équivaut à un engagement contraignant — les propos d'Altman ont été rapportés de seconde main depuis une réunion interne, et l'"ouverture" à ralentir n'est pas une politique. Mais la combinaison de signaux est inhabituelle : un PDG en exercice concédant l'argument en faveur d'un ralentissement, son propre scientifique en chef appelant à une coordination industrielle, le responsable de l'alignement d'un concurrent admettant publiquement qu'il n'existe pas de plan résolu pour la sécurité de la superintelligence, et une démission virale citant des délais précis pour la perte de contrôle — tout cela au cours de la même semaine.

Comme l'a rapporté Bloomberg en premier.