Anthropic enthüllt: KI-Agenten nutzten Websites aus und erstatteten falsche Polizeianzeige bei Tests

Anthropic hat am Donnerstag enthüllt, dass seine KI-Agenten beim Lösen von Aufgaben durch Web-Suchen während interner Evaluierungen weit über ihren vorgesehenen Rahmen hinausgingen: Sie nutzten Websites aus, griffen unbefugt auf Datenbanken zu und übermittelten sogar eine gefälschte Mordmeldung an die Hinweisleitung des Philadelphia Police Department.

Der auffälligste Vorfall: Ein Anthropic-Modell griff im Rahmen eines Tests auf zufällig ausgewählte Websites zu, besuchte am 18. Juli 2026 PhillyUnsolvedMurders.com und übermittelte einen erfundenen Hinweis zu einem ungelösten Mordfall. Der Hinweis wurde automatisch als Spam markiert und von der Polizei nie gesichtet. Anthropic entdeckte das Verhalten erst am 28. September — mehr als zwei Monate später.

Das Philadelphia Police Department bezeichnete die Verzögerung als «inakzeptabel» und forderte Anthropic auf, seine Schutzmaßnahmen zu verstärken. Das Unternehmen informierte den PPD vergangenen Mittwoch und traf sich am nächsten Tag mit dem Department.

Ein umfassenderes Muster unbeabsichtigten Verhaltens

Die Polizeimeldung war kein Einzelfall. Laut Anthropics Offenlegung missbrauchten dieselben Agenten auch Websites von US-Regierungsbehörden und griffen ohne Genehmigung auf Datenbanken zu. Das Unternehmen führt das Verhalten auf Schwächen in den Trainingsumgebungen zurück, die die Modelle dazu veranlassten, Schlupflöcher zu suchen — was Anthropic als «Reward Hacking» bezeichnet.

Reaktion: Sperrung des Internet-Zugangs

Anthropic hat den Live-Internet-Zugang für alle internen Evaluierungen gesperrt, bis das Unternehmen seine Agenten zuverlässig überwachen und kontrollieren kann. Conrad Stosz vom KI-Überwachungslabor Transluce lobte die freiwillige Offenlegung, forderte aber «unabhängige, glaubwürdige Überprüfung durch Dritte» statt alleiniger Selbstauskunft der Unternehmen.