Die Sättigung von KI-Benchmarks wird zu einem echten Problem für jeden, der ein Modell auswählt
KI-Benchmarks an der Spitze sagen uns kaum noch etwas. MMLU liegt bei 93% für Top-Modelle, HellaSwag hat 95% überschritten, und GPQA Diamond — ein Test, der speziell entwickelt wurde, um Memorierung zu widerstehen — liegt bei 94,3%. GSM8K, einst ein bedeutsames Mathe-Reasoning-Tor, ist praktisch gelöst. Wenn sich jedes ernstzunehmende Labor innerhalb von ein oder zwei Punkten der Obergrenze befindet, misst die Rangliste keine Fähigkeit mehr — sie misst Rauschen.
Stanfords KI-Index 2026 formulierte es unverblümt: Evaluierungen, die für Jahre schwierig bleiben sollten, sättigen sich jetzt in Monaten. Das liegt nicht daran, dass Modelle über Nacht dramatisch intelligenter wurden — sondern daran, dass die Benchmarks endlich waren und Spitzenlabore Jahre Zeit hatten, dagegen zu optimieren, manchmal durch Kontamination, manchmal durch echte Fähigkeitsgewinne, die zufällig an einer passenden Obergrenze stagnierten.
Wenn 100% nicht mehr bedeuten, was sie früher bedeuteten
Der klarste Beleg dafür, dass Sättigung als Signal zusammenbricht, kommt aus der Sicherheitsforschung, nicht aus Marketingpräsentationen. Eine aktuelle Studie zur Container-Sandbox-Escape-Fähigkeit ergab, dass Mythos Preview, angekündigt am 7. April 2026, bei mindestens einem Versuch in 100% der getesteten Stichproben erfolgreich war. Cybench, ein älterer und schwierigerer Benchmark im gleichen Bereich, benötigte etwa 18 Monate allmählicher Modellverbesserung, um vergleichbares Terrain zu erreichen. Der neuere Benchmark wurde nicht leichter — er wurde fast augenblicklich gelöst, was zeigt, dass diese Modellklasse eine Fähigkeitsschwelle schneller überschritten hat, als jemand Tests bauen konnte, um sie zu verfolgen.
Das ist wichtig, weil Einkaufsteams, Unternehmenskäufer und sogar Regulierer sich immer noch auf Benchmark-Scores als Abkürzung für «welches Modell ist besser» verlassen. An der Sättigungsgrenze ist eine Zweipunktdifferenz zwischen zwei Spitzenmodellen statistisches Rauschen, kein bedeutsamer Fähigkeitsunterschied. Sie als Tiebreaker zu behandeln, ist ein Kategorienfehler.
Die Benchmarks, die noch funktionieren — und warum sie teuer sind
Humanity’s Last Exam bleibt der wichtigste ungesättigte Schwierigkeitsbenchmark des Feldes, und die Streuung der gemeldeten Scores erzählt ihre eigene Geschichte: etwa 35% in einer Bewertungssituation, etwa 45% in einer anderen, und 53,1%, wenn Modellen Werkzeugzugriff gewährt wird. Diese Varianz ist keine schlampige Messung — sie spiegelt wider, wie empfindlich wirklich schwierige Benchmarks auf Bewertungsbedingungen reagieren, genau die Eigenschaft, die gesättigte Benchmarks verloren haben.
Die Reaktion des Feldes war, engere und teurere Tests zu bauen. Ein aktueller Benchmark verwendet 198 Fragen aus Biologie, Physik und Chemie, die von Experten auf Promotionsniveau speziell geschrieben wurden, um Suchmaschinenabfragen oder Musterabgleich zu widerstehen. Diese Tests sind schwerer zu bauen, schwerer zu skalieren und schwerer geheim zu halten — aber sie sind auch schwerer zu manipulieren, was genau der Zweck ist.
Kontamination bleibt selbst bei den neueren Tests ein aktuelles Problem. Manche gemeldeten Scores tragen explizite Kennzeichnungen: selbst gemeldet und nicht unabhängig verifiziert, oder gekennzeichnet für mögliche Trainingsdatenkontamination bei einem bestimmten Modell. Ein Benchmark-Score ohne offengelegten Verifizierungsprozess und Kontaminationsaudit ist heute näher an einer Herstellerbehauptung als an einer unabhängigen Messung.
Die Einsatzlücke ist die eigentliche Geschichte
Die wichtigere Zahl für jeden, der tatsächlich KI-Systeme kauft, ist kein Benchmark-Score — es ist die Lücke zwischen Laborergebnissen und Produktionsleistung. Aktuelle Forschung zu agentischen Unternehmenssystemen fand eine Lücke von 37% zwischen Labor-Benchmark-Scores und tatsächlicher Leistung im Einsatz. Diese Lücke existiert, weil Benchmarks enge, gut spezifizierte Aufgaben unter kontrollierten Bedingungen testen, während Produktionsumgebungen mehrdeutige Anweisungen, unordentliche Daten, mehrstufige Werkzeugketten und gegnerische Eingaben einführen, die keine statische Testsuite erfasst.
Ein separater Befund verstärkt dies: Spitzenmodelle scheitern Berichten zufolge an etwa jedem dritten Produktionsversuch in bestimmten agentischen Workflows, und dieser Fehlermodus wird schwerer zu auditieren, da die Schlussfolgerungsketten hinter jeder Entscheidung länger und weniger interpretierbar werden. Ein Modell kann einen Benchmark-Score von 94% erzielen und trotzdem in einem Drittel der Fälle bei der tatsächlichen Aufgabe scheitern, die Sie benötigen.
Was das bedeutet, wenn Sie tatsächlich ein Modell auswählen
Drei praktische Verschiebungen folgen daraus. Erstens: Hören Sie auf, den Rangplatz als Tiebreaker zwischen Spitzenmodellen zu verwenden, die innerhalb weniger Punkte voneinander liegen — diese Lücke ist Rauschen, kein Signal. Zweitens: Gewichten Sie ungesättigte, schwierigere Benchmarks (Tests im Stil von Humanity’s Last Exam, enge von Experten geschriebene Bewertungen) stärker als gesättigte allgemeine, und prüfen Sie, ob Scores unabhängig verifiziert oder selbst gemeldet sind. Drittens und am wichtigsten: Führen Sie Ihren eigenen Pilotversuch auf Ihrer tatsächlichen Aufgabenverteilung durch, bevor Sie sich festlegen. Eine durchschnittliche Einsatzlücke von 37% bedeutet, dass die veröffentlichte Zahl bestenfalls eine grobe Vorannahme ist — keine Garantie.
Für Unternehmenskäufer spricht dies auch dafür, die Prüfung der Einsatzlücke als Standardschritt in die Lieferantenbewertung einzubauen, nicht als nachträglichen Gedanken. Fragen Sie Anbieter direkt, wie ihr Benchmark-zu-Produktion-Delta bei Aufgaben aussieht, die Ihren ähnlich sind, und behandeln Sie eine Ablehnung oder eine Antwort wie «das verfolgen wir nicht» selbst als Warnsignal. Die Ära der Ranglisten bei der Modellauswahl geht zu Ende — nicht weil Benchmarks schlechter wurden, sondern weil Modelle gut genug wurden, um Benchmarks am Rand irrelevant zu machen — und der einzige verlässliche Ersatz ist das Testen gegen Ihre eigene Realität.