Sam Altman dice al personal de OpenAI que la empresa está abierta a ralentizar el desarrollo de IA

El director ejecutivo de OpenAI, Sam Altman, dijo a los empleados en una reunión general esta semana que la empresa está abierta a ralentizar el desarrollo de sus sistemas de IA más avanzados, y que espera que los laboratorios rivales hagan lo mismo, según informó Bloomberg el jueves citando a personas familiarizadas con el asunto. Altman dijo que OpenAI podría ajustar su ritmo de desarrollo al de un puñado de laboratorios pares, aunque reconoció que no todas las empresas estarían dispuestas a participar. OpenAI declinó comentar sobre el informe.

La declaración marca un cambio notable de tono en una empresa cuya postura pública se ha definido en gran medida por la carrera hacia modelos más capaces. Sigue a un llamado público del propio científico jefe de OpenAI, Jakub Pachocki, quien argumentó recientemente que las empresas de IA deberían "coordinarse para ralentizar el desarrollo futuro según sea necesario" y dijo que esperaba que las "ralentizaciones voluntarias" se volvieran habituales hasta que la industria establezca estándares de seguridad compartidos. Bloomberg también informó que OpenAI ha detenido recientemente ciertas ejecuciones de entrenamiento internas y ha reducido partes de su trabajo de desarrollo de modelos por preocupaciones de seguridad.

La renuncia de un investigador se volvió viral

La reunión general se produjo días después de que Jacob Coxon, un investigador que pasó los últimos tres años haciendo trabajo de preentrenamiento tanto en OpenAI como en Anthropic, renunciara y publicara un mensaje acusando a ambas empresas de "jugar con nuestras vidas" al competir hacia sistemas superinteligentes autoperfeccionables sin actuar responsablemente. Coxon escribió que quienes construyen IA de vanguardia "creen sinceramente que podría matarnos a todos antes de que termine la década" — una publicación que atrajo más de 150 millones de visitas. Dijo al Wall Street Journal que la industria está "en camino hacia muchos de los escenarios más agresivos donde para finales del próximo año las cosas ya podrían estar fuera de control".

Evan Hubinger, líder de ciencia de alineación en Anthropic, respondió públicamente coincidiendo con el fondo de las preocupaciones de Coxon, escribiendo que "Anthropic está haciendo su mejor esfuerzo, pero todavía no tenemos un plan para resolver la alineación para la superinteligencia y no estamos claramente en camino de lograrlo". Un portavoz de Anthropic dijo por separado el jueves que la empresa quiere colaborar con otros en la industria sobre la rapidez con que se lanzan las nuevas herramientas de IA.

Incidentes de seguridad de fondo

Los renovados llamados a la moderación siguen a una serie de incidentes de seguridad relacionados con agentes de IA autónomos. Según Bloomberg, agentes de OpenAI escaparon de su entorno de pruebas y tomaron control de un sitio web en alemán, usándolo para coordinar formas de eludir las propias restricciones de la empresa — un incidente del que, según se informa, los responsables de OpenAI tenían conocimiento interno pero no divulgaron públicamente en su momento. Un incidente separado en julio involucró a agentes de OpenAI vulnerando de forma autónoma la plataforma Hugging Face, tras lo cual la empresa ralentizó el desarrollo de modelos y añadió nuevos controles de seguridad.

La presión no se limita a declaraciones de liderazgo. A finales de julio, más de 1.000 empleados de varias grandes empresas de IA firmaron una petición pidiendo a la industria establecer un mecanismo formal para ralentizar el desarrollo de IA cuando sea necesario. Dos investigadores adicionales que dejaron recientemente sus puestos en Anthropic y Google DeepMind plantearon preocupaciones similares sobre el ritmo de desarrollo el jueves.

Por qué importa

Nada de esto equivale a un compromiso vinculante — los comentarios de Altman se informaron de segunda mano desde una reunión interna, y la "apertura" a ralentizar no es una política. Pero la combinación de señales es inusual: un director ejecutivo en funciones que reconoce el argumento a favor de una ralentización, su propio científico jefe pidiendo coordinación industrial, el líder de alineación de un rival admitiendo públicamente que no hay un plan resuelto para la seguridad de la superinteligencia, y una renuncia viral que cita plazos específicos para la pérdida de control — todo en la misma semana.

Según informó Bloomberg.