AIO APEX

Anthropic e OpenAI comprometem-se a integrar avaliadores de segurança independentes nos seus laboratórios

TechCrunch
Compartilhar:
Anthropic e OpenAI comprometem-se a integrar avaliadores de segurança independentes nos seus laboratórios

Dario Amodei, CEO da Anthropic, propôs um novo modelo de supervisão da IA: avaliadores independentes de terceiros integrados permanentemente nos laboratórios de IA frontier, com o mesmo nível de acesso que os funcionários, crachás da empresa e direito de publicar os seus resultados. Sam Altman, CEO da OpenAI, prometeu que a OpenAI fará o mesmo comprometimento.

O que a proposta implica

Ao abrigo do quadro de Amodei, cada empresa de IA frontier daria a uma equipa permanente de avaliadores externos — organizações como a METR — o acesso habitualmente reservado a funcionários seniores: examinar pipelines de treino, práticas de segurança e processos de alinhamento dos modelos antes da implementação. O objetivo explícito é substituir auditorias pontuais por monitorização contínua.

Amodei citou a regulação bancária como precedente: alguns reguladores financeiros integram supervisores diretamente nas empresas ao longo do ano, em vez de revisões externas ocasionais.

Quadro de governança de três partes

A proposta de avaliadores é parte de um quadro mais amplo que Amodei detalhou num ensaio de 12 de setembro: padrões de segurança comuns entre empresas de IA frontier de democracias, e coordenação internacional — incluindo acordos com a China — para evitar uma corrida ao fundo em segurança. Altman confirmou o compromisso da OpenAI: "Concordo com o Dario que precisamos de regular o ritmo da fronteira."

O problema da independência

Investigadores e defensores da segurança da IA acolhem favoravelmente o acesso sem precedentes descrito por Amodei. Mas a proposta, tal como está estruturada, concede aos avaliadores visibilidade extraordinária com autoridade formal limitada: sem poder de veto sobre treinos ou lançamentos de modelos. A CNBC chamou-lhes "vigilantes neutros", notando que sem mecanismos de execução legais, tudo depende de as empresas optarem por agir com base nos resultados. Os críticos advertem para o risco de "teatro de auditoria": usar a aparência de supervisão independente para satisfazer críticos enquanto se mantém o controlo total.

Movimento paralelo no Congresso

Uma proposta bipartidária avança no Congresso dos EUA para tornar obrigatória a integração de avaliadores nas empresas de IA frontier, com reconhecimento jurídico formal e requisitos de reporte — colmatando a lacuna deixada pela proposta voluntária.

Por que importa

Amodei afirmou publicamente este mês que a IA pode ultrapassar a nossa capacidade de a compreender e controlar em seis a doze meses. O modelo de avaliadores integrados representa o maior acesso concedido a qualquer organização externa ao funcionamento interno de um laboratório de IA frontier. Se se traduz em responsabilidade genuína ou em teatro de auditoria dependerá do que os avaliadores têm permissão para ver, dizer e fazer, conforme noticiado pelo TechCrunch.

Publicado originalmente por TechCrunch. Leia o artigo original para mais detalhes.

Ver fonte original
Compartilhar:
Anthropic e OpenAI comprometem-se a integrar avaliadores de segurança independentes nos seus laboratórios | AIO APEX