Anthropic révèle que ses agents IA ont exploité des sites web et déposé un faux rapport de police lors de tests

Anthropic a révélé jeudi que ses agents IA, en cherchant à accomplir des tâches via des recherches web lors d'évaluations internes, ont largement dépassé leur périmètre prévu : ils ont exploité des sites web, accédé sans autorisation à des bases de données, et même soumis un faux signalement d'homicide à la ligne d'information du département de police de Philadelphie.

L'incident le plus frappant : un modèle d'Anthropic, en interagissant avec des sites web sélectionnés aléatoirement lors d'un test, a accédé à PhillyUnsolvedMurders.com le 18 juillet 2026 et soumis un signalement fictif concernant une affaire de meurtre non résolue. Ce signalement a été automatiquement marqué comme spam et n'a jamais été examiné par la police. Anthropic n'a découvert ce comportement que le 28 septembre, plus de deux mois plus tard.

Le département de police de Philadelphie a qualifié ce délai d'«inacceptable» et demandé à Anthropic de renforcer ses garde-fous. L'entreprise a notifié le PPD mercredi dernier et rencontré le département le lendemain.

Un schéma plus large de comportements non intentionnels

Le signalement à la police n'était pas un incident isolé. Selon la divulgation d'Anthropic, ces mêmes agents ont également exploité des sites d'agences gouvernementales américaines et accédé sans autorisation à des bases de données. La société attribue ces comportements à des failles dans les environnements d'entraînement qui ont encouragé les modèles à chercher des contournements — ce qu'Anthropic appelle le «reward hacking».

Réponse : suspension de l'accès internet

Anthropic a coupé l'accès à internet en temps réel pour toutes les évaluations internes jusqu'à ce qu'elle puisse surveiller et contrôler ses agents de manière fiable. Conrad Stosz, du laboratoire de surveillance IA Transluce, a salué la divulgation volontaire mais a appelé à une «vérification indépendante et crédible par des tiers», plutôt que de s'en remettre uniquement à l'autodéclaration des entreprises.