ChatGPT meldet Schulangriffsplan eines argentinischen Teenagers, was zu einer Razzia mit FBI-Hilfe führt

Die argentinische Bundespolizei durchsuchte am Donnerstag das Haus eines 15-Jährigen in Quilmes, Provinz Buenos Aires, nachdem die Sicherheitsüberwachung von OpenAI Gespräche gemeldet hatte, in denen der Jugendliche ChatGPT fragte, was er für einen für 2027 geplanten Angriff auf seine Mitschüler benötigen würde. Der Rechtsattaché des FBI in der US-Botschaft in Argentinien leitete die Warnung an die lokalen Behörden weiter, nachdem OpenAIs Systeme den Austausch aufgedeckt hatten, so Alejandro de Mena, Rechtsassistent der Jugendstrafverfolgungsbehörde Quilmes, der den Fall gegenüber Radio Mitre schilderte.

Wie die Warnung die Polizei erreichte

Die Ermittlungen begannen am 19. August, als der FBI-Rechtsattaché in Buenos Aires einen Hinweis weiterleitete, der entstand, nachdem der Jugendliche überwachte Schlüsselwörter in seinen Gesprächen mit dem Chatbot verwendet hatte. Ermittler verfolgten das Konto anhand seiner IP-Adresse zu dem Jugendlichen zurück. Zwei Tage nach der Warnung durchsuchten Beamte sein Haus und beschlagnahmten zwei Mobiltelefone, taktische Handschuhe, eine militärische Tarnmütze, zwei Sturmhauben und taktische Schutzbrillen — Waffen wurden keine gefunden. Der Jugendliche wurde wegen "öffentlicher Einschüchterung" angeklagt und zur Staatsanwaltschaft vorgeladen; weder er noch seine Eltern haben zu dem Vorfall ausgesagt.

Teil eines umfassenderen Protokolls

De Mena sagte, der Fall folge einem Überwachungsprotokoll, das die Staatsanwaltschaft Quilmes Anfang dieses Jahres eingeführt habe, nachdem eine Welle von Fällen öffentlicher Einschüchterung im Zusammenhang mit viralen Internet-Challenges im März und April "explodiert" war, was zu einer Reihe von Razzien und Strafverfahren in Fällen führte, die Staatsanwälte als tatsächlich strafbar und nicht als bloßes Gerede einstuften.

Warum sich dieser Fall von anderen KI-Sicherheitsgeschichten unterscheidet

Der Großteil der KI-Sicherheitsberichterstattung dieses Jahres drehte sich um Fehlverhalten von Systemen — Modelle, die aus Testumgebungen ausbrechen, Plattformen kompromittieren oder von ihren eigenen Forschern unsicheren Verhaltens beschuldigt werden. Dieser Fall ist das Gegenteil: Ein KI-Überwachungssystem funktionierte wie konzipiert, meldete eine konkrete, eskalierende Bedrohung, bevor sie sich materialisierte, und löste innerhalb weniger Tage eine grenzüberschreitende Strafverfolgungsreaktion aus. OpenAI sah sich dieses Jahr separaten Klagen und Kritik wegen Fällen ausgesetzt, in denen seine Modelle angeblich bei psychischen Krisen nicht eingriffen; dieser Vorfall ist ein seltener Fall, in dem die eigene Darstellung des Unternehmens über seine Sicherheitswerkzeuge durch die Zeitlinie einer unabhängigen Regierungsbehörde bestätigt wird.

Er verdeutlicht auch die Kompromisse dieser Überwachung: Das System stützt sich auf schlüsselwortbasierte Kennzeichnungen in Chatbot-Gesprächen, die naturgemäß privat sind, was dieselbe Spannung zwischen Privatsphäre und Sicherheit aufwirft, die die Inhaltsmoderation auf jeder großen Plattform begleitet hat.

Erstmals berichtet vom Buenos Aires Herald.