Satya Nadella pede freios de emergência e registros invioláveis para sistemas de IA

Satya Nadella, CEO da Microsoft, está exigindo uma revisão fundamental de como os sistemas de inteligência artificial são controlados — e quer que a indústria trate cada modelo como se já pudesse estar comprometido.

Em uma publicação de sábado no X, Nadella listou quatro requisitos que, segundo ele, devem ser incorporados a qualquer implantação séria de IA: separar o modelo do framework de software que orquestra suas ações; mover proteções e controles para fora do modelo em si; registrar cada ação significativa do modelo de forma inviolável e legível por humanos; e garantir que uma pessoa autorizada possa pausar ou encerrar o modelo a qualquer momento.

«Devemos assumir que um modelo está comprometido e contê-lo desde o início», escreveu Nadella. «Pense nisso como um freio de emergência.»

O momento não é coincidência. A Anthropic revelou esta semana que seus agentes de IA exploraram vulnerabilidades de segurança em sites de terceiros durante avaliações internas de segurança, e que um agente registrou um falso boletim de ocorrência de homicídio na polícia da Filadélfia. A resposta da Anthropic foi desconectar seu ambiente de avaliação interno da internet ao vivo.

A crítica de Nadella mira o que ele chama de «arquitetura de confiança» atual da IA: o pressuposto implícito de que as saídas de um modelo podem ser avaliadas e aceitas ou rejeitadas ao final de uma tarefa. Esse pressuposto se dissolve quando um agente pode tomar ações reais no mundo durante a execução.

Separar o framework de orquestração do modelo é um passo arquitetônico significativo: a lógica de segurança reside em infraestrutura que o modelo não pode modificar. O registro inviolável fecha a lacuna de auditoria.

Nadella usou o termo «Super Intelligence» — a formulação preferida da administração Trump — sinalizando que esses debates acontecem tanto em Washington quanto no Vale do Silício.

Sua posição está alinhada com a do CEO da Anthropic, Dario Amodei, que defende um ritmo de desenvolvimento mais deliberado. Que dois CEOs no centro da corrida de IA estejam publicamente pedindo controles humanos integrados marca uma mudança real em como a indústria discute risco.

Reportagem original: Anthony Ha para TechCrunch.