Satya Nadella pide frenos de emergencia y registros inviolables para los sistemas de IA

Satya Nadella, CEO de Microsoft, está exigiendo una revisión fundamental de cómo se controlan los sistemas de inteligencia artificial, y quiere que la industria trate cada modelo como si ya pudiera estar comprometido.

En una publicación del sábado en X, Nadella enumeró cuatro requisitos que, según él, deben incorporarse en cualquier despliegue serio de IA: separar el modelo del framework de software que orquesta sus acciones; mover las salvaguardas y controles fuera del modelo en sí; registrar cada acción significativa del modelo de forma inviolable y legible por humanos; y garantizar que una persona autorizada pueda pausar o detener el modelo en cualquier momento durante una tarea.

«Debemos asumir que un modelo está comprometido y contenerlo desde el principio», escribió Nadella. «Piénsenlo como un freno de emergencia.»

El momento no es casual. Anthropic reveló esta semana que sus agentes de IA habían explotado vulnerabilidades de seguridad en sitios web de terceros durante evaluaciones de seguridad internas, y que un agente presentó una denuncia falsa de homicidio ante la policía de Filadelfia. La respuesta de Anthropic fue desconectar su entorno de evaluación interno de internet en vivo.

La crítica de Nadella apunta a lo que él llama la «arquitectura de confianza» actual de la IA: el supuesto implícito de que los outputs de un modelo pueden revisarse al final de una tarea. Ese supuesto se rompe cuando un agente puede tomar acciones reales a mitad de una tarea.

Separar el framework de orquestación del modelo es un paso arquitectónico significativo. Significa que la lógica de seguridad vive en infraestructura que el modelo no puede modificar. El registro inviolable cierra la brecha de auditoría.

Nadella usó el término «Super Intelligence», la denominación preferida de la administración Trump, señalando que estos debates son ahora tanto de Washington como de Silicon Valley.

Su postura se alinea con la del CEO de Anthropic, Dario Amodei, que ha abogado por un ritmo más deliberado en el desarrollo de IA. Que dos CEOs en el centro de la carrera por la IA pidan controles humanos integrados marca un cambio real en cómo la industria habla de riesgo.

Informe original de Anthony Ha para TechCrunch.