«Context Rot» erklärt, warum Ihr KI-Chatbot bei längeren Gesprächen schlechter wird

Stellen Sie einem KI-Assistenten in einem langen Gespräch zweimal dieselbe Frage — einmal zu Beginn, einmal nach einer Stunde Hin und Her — und Sie erhalten beim zweiten Mal oft eine schlechtere Antwort, obwohl sich an der Frage nichts geändert hat und das Gespräch weit von der angegebenen Kontextgrenze des Modells entfernt ist. Forscher haben dafür einen Namen: Context Rot, der messbare Rückgang der Ausgabequalität eines Modells, während die Textmenge in seinem Kontextfenster wächst — unabhängig davon, ob dieser Text für die Aufgabe tatsächlich relevant ist.

Das ist wichtig, weil sich das gesamte Marketing rund um moderne KI-Modelle um die Kontextgröße dreht. Anbieter werben mit Fenstern von 200.000, einer Million, sogar 10 Millionen Tokens und suggerieren damit, größer bedeute fähiger. Context Rot zeigt das Gegenteil: Die Fähigkeit innerhalb dieses Fensters ist nicht gleichmäßig, und der größte Teil davon verschlechtert sich, lange bevor die Obergrenze erreicht wird.

Was die Forschung tatsächlich zeigt

Den klarsten Beweis liefert die Chroma-Studie aus dem Jahr 2025, die 18 Spitzenmodelle — aus allen großen Labors — bei identischen Aufgaben mit unterschiedlichen Eingabelängen testete. Jedes einzelne Modell wurde mit zunehmender Eingabelänge messbar schlechter, selbst bei Aufgaben, die explizit so gestaltet waren, dass sie unabhängig von der Kontextgröße lösbar sein sollten. Die Verschlechterung lag nicht daran, dass dem Modell der Platz ausging; sie lag daran, dass sich die Aufmerksamkeit des Modells über mehr Text verdünnte.

Dies baut auf der früheren Erkenntnis «Lost in the Middle» von Stanford-Forschern auf (Liu et al., veröffentlicht in TACL 2024), die eine U-förmige Zuverlässigkeitskurve zeigte: Modelle verarbeiten Informationen am Anfang oder Ende einer langen Eingabe gut, aber Informationen, die in der Mitte vergraben sind, werden weniger zuverlässig genutzt, unabhängig davon, wie klar sie formuliert sind. Eine Folgeauswertung namens NoLiMa aus dem Jahr 2025 ergab, dass die effektive Kontextlänge — der Punkt, ab dem die tatsächliche Zuverlässigkeit zu sinken beginnt — bei vielen Modellen bei etwa 2.000 Tokens lag, einem winzigen Bruchteil der über 100.000 Tokens, die die meisten dieser Modelle angeblich bewältigen.

Das Problem verschärft sich bei KI-Agenten, die über viele Schritte statt über eine einzelne Frage arbeiten. Ein Preprint vom Juni 2026 über Suche mit langem Horizont fand heraus, dass ein Agent mit wachsendem angesammeltem Kontext während einer mehrstufigen Aufgabe zunehmend dazu tendiert, vorzeitig aufzugeben oder unsichere Antworten zu geben, statt die Aufgabe abzuschließen — das Gegenteil von dem, was man von einem Werkzeug erwarten würde, das für längere autonome Einsätze gedacht ist. Dieselbe Studie testete sieben Minderungsstrategien in drei Kategorien und stellte fest, dass regelmäßige Zusammenfassung und Kontext-Pruning — aktives Entfernen veralteter Informationen, statt sie sich ansammeln zu lassen — der bloßen Nutzung eines Modells mit größerem Fenster überlegen waren.

Warum das passiert

Die mechanische Erklärung geht auf die Funktionsweise der Transformer-Aufmerksamkeit zurück: Jedes Token im Kontext konkurriert um einen begrenzten Anteil des Aufmerksamkeitsbudgets des Modells. Mehr Tokens hinzuzufügen bedeutet, dass im Durchschnitt jedes Token — auch wichtige — einen geringeren Anteil dieses Budgets erhält. Ein Modell liest Ihr Gespräch nicht so, wie Sie diesen Artikel lesen, sequenziell mit perfekter Erinnerung; es gewichtet bei jeder Antwort alles im Fenster neu, und ein größeres Fenster bedeutet nur mehr Konkurrenz um dieselbe feste Kapazität.

Manche Teams haben festgestellt, dass die Verschlechterung nicht immer graduell verläuft — einige Berichte beschreiben Modelle, die bis zu einer Längenschwelle eine stabile Leistung halten und dann abrupt abfallen, statt eines gleichmäßigen Rückgangs. Die Forschungsgemeinschaft hat diesen Punkt nicht geklärt, aber beide Lager sind sich in der zentralen Schlussfolgerung einig: Die reine Kontextgröße ist eine Obergrenze, keine Garantie, und viel reale Nutzung bewegt sich bereits weit vor dieser Obergrenze jenseits des Punkts zuverlässiger Leistung.

Was das für den täglichen Einsatz von KI-Tools bedeutet

Für alltägliche Chatbot-Nutzer ist die praktische Lösung einfach und bereits in Ihrer Hand: Beginnen Sie häufiger neue Gespräche. Wenn Sie 45 Minuten lang mit einem Assistenten über ein Dutzend Themenwechsel hin und her gegangen sind, gehen Sie nicht davon aus, dass er noch ein klares Bild Ihrer ursprünglichen Frage hat — es ist durchaus möglich, dass er in seinem eigenen Gesprächsverlauf untergeht. Ihre eigentliche Frage klar neu zu formulieren, statt sich darauf zu verlassen, dass das Modell sie aus dem Verlauf herausfischt, hilft messbar.

Für alle, die auf diesen Modellen aufbauen — Chatbots, interne Tools, KI-Agenten, die mehrstufige Workflows verwalten — ist die Schlussfolgerung konkreter: Behandeln Sie ein großes Kontextfenster nicht als Ersatz für Retrieval und Zusammenfassung. Eine gesamte Wissensdatenbank, eine Codebasis oder eine Dokumentensammlung in den Kontext zu kippen, nur weil das Fenster technisch Platz dafür bietet, ist genau das Fehlermuster, das die Forschung beschreibt. Kontext regelmäßig zu verdichten, nur das für den aktuellen Schritt Relevante abzurufen und zentrale Einschränkungen explizit gegen Ende eines langen Prompts erneut zu formulieren — wo Modelle zuverlässiger lesen — all das übertrifft messbar das bloße Verlassen auf die Fenstergröße.

Die umfassendere Lektion lautet: «Kontextfenstergröße» und «nutzbarer Kontext» sind zwei verschiedene Zahlen, und die Lücke zwischen ihnen ist oft viel größer, als die Datenblätter der Anbieter vermuten lassen. Behandeln Sie die Fenstergröße so, wie Sie die angegebene Kapazität einer Festplatte gegenüber ihrem tatsächlich nutzbaren Speicherplatz behandeln würden — real, aber nicht die Zahl, die Ihren tatsächlichen Workflow bestimmen sollte.