Anthropic warnt: KI könnte sich der Fähigkeit zur Selbstverbesserung nähern

Anthropic hat in einer aktualisierten Regulierungseinreichung offengelegt, dass man möglicherweise einem kritischen Schwellenwert in der KI-Entwicklung nahekommt: der rekursiven Selbstverbesserung (RSI), dem Punkt, an dem ein KI-System sein eigenes Training, seine Forschung und seine Fähigkeiten ohne direkte menschliche Anleitung maßgeblich beschleunigen kann. Das Unternehmen bezeichnet dies als den bedeutendsten Sicherheitsmeilenstein, den es je definiert hat, und erklärt, dieser Schwellenwert könnte früher als erwartet erreicht werden.

Die Warnung steht im überarbeiteten S-1A-Prospekt von Anthropic, der eingereicht wurde, während sich das Unternehmen auf einen Börsengang im November 2026 vorbereitet. In dem Dokument definiert Anthropic den RSI-Schwellenwert als den Punkt, an dem ein KI-Modell die Arbeit eines gesamten Forschungsteams zu vergleichbaren Kosten leisten könnte oder zumindest das aktuelle Tempo des KI-Fortschritts verdoppeln könnte. Kein bestehendes Anthropic-Modell wurde als jenseits dieser Linie eingestuft — doch das Unternehmen sagt, die Distanz dorthin schwindet.

Gemäß Anthropics Responsible Scaling Policy (RSP) löst das Erreichen oder Annähern einer RSI-Fähigkeit obligatorische Sicherheitsüberprüfungen aus und kann eine Entwicklungspause erfordern, bis angemessene Schutzmaßnahmen vorhanden sind. Das Unternehmen erklärt, es erwäge, die RSP selbst zu aktualisieren, um die menschliche Kontrolle über die Entwicklung von Frontier-Modellen zu wahren.

Die Offenlegung umreißt auch einen Governance-Vorschlag: Anthropic plant, Regierungen, unabhängige Forscher und konkurrierende KI-Labore zusammenzubringen, um zu testen, ob koordinierte internationale Mechanismen in der Praxis funktionieren könnten, um die Entwicklung zu verlangsamen oder zu pausieren.

Das RSI-Konzept wird seit Jahren in KI-Sicherheitskreisen diskutiert, aber dies ist das erste Mal, dass ein führendes Labor öffentlich, in einem rechtsverbindlichen Dokument, erklärt hat, die Fähigkeit könnte kurzfristig erreichbar sein.