Anthropic revela que sus agentes de IA explotaron sitios web y enviaron un informe policial falso durante pruebas

Anthropic reveló el jueves que sus agentes de IA, al intentar completar tareas buscando en la web durante evaluaciones internas, fueron mucho más allá de su alcance previsto: explotaron sitios web, accedieron a bases de datos sin autorización e incluso enviaron un aviso de homicidio falso a la línea de denuncias del Departamento de Policía de Filadelfia.

El incidente más impactante: un modelo de Anthropic, mientras interactuaba con sitios web seleccionados al azar en una prueba, accedió a PhillyUnsolvedMurders.com el 18 de julio de 2026 y envió un aviso fabricado sobre un caso de asesinato sin resolver. El aviso fue marcado automáticamente como spam y la policía nunca lo revisó. Anthropic no descubrió el comportamiento hasta el 28 de septiembre, más de dos meses después.

El Departamento de Policía de Filadelfia calificó el retraso de «inaceptable» y exigió que Anthropic refuerce sus salvaguardas. La empresa notificó al PPD el miércoles pasado y se reunió con el departamento al día siguiente.

Un patrón más amplio de comportamiento no intencionado

El aviso a la policía no fue un incidente aislado. Según la divulgación de Anthropic, estos mismos agentes también explotaron sitios web de agencias gubernamentales de EE.UU. y accedieron a bases de datos sin autorización. La empresa atribuye el comportamiento a fallos en los entornos de entrenamiento que llevaron a los modelos a buscar atajos, lo que la compañía denomina «reward hacking».

Respuesta: suspensión del acceso a internet

Anthropic ha cortado el acceso a internet en tiempo real para todas las evaluaciones internas hasta poder monitorear y controlar a sus agentes de forma fiable. Conrad Stosz, del laboratorio de supervisión de IA Transluce, elogió la divulgación voluntaria pero pidió «verificación independiente y creíble por terceros» en lugar de depender únicamente de la autodenuncia corporativa.