AIO APEX
de

Live-Service-Studios setzen KI-Bots für Regressionstests ein, nicht um herauszufinden, was ein Spiel wirklich unterhaltsam macht

Teilen:
Live-Service-Studios setzen KI-Bots für Regressionstests ein, nicht um herauszufinden, was ein Spiel wirklich unterhaltsam macht

Live-Service-Spiele veröffentlichen wöchentlich oder zweiwöchentlich Content-Updates, und jedes dieser Updates muss gegen das gesamte bestehende Spiel regressionsgetestet werden, bevor es live geht. Diese Rechnung — konstante Content-Geschwindigkeit multipliziert mit einer wachsenden Legacy-Testfläche — hat Studios in den letzten zwei Jahren zu automatisierten Playtesting-Bots getrieben, nicht ein allgemeines Bestreben, menschliche Tester zu ersetzen. Das Ergebnis ist eine QA-Pipeline, die sich aufspaltet: Maschinen übernehmen die repetitive Regressionsarbeit, und Personalkürzungen landen fast vollständig in diesem Eimer.

Was die Bots tatsächlich tun

Die automatisierten Playtesting-Tools, die derzeit in Produktion bei mittelgroßen und großen Studios eingesetzt werden, fallen in zwei grobe Kategorien. Die erste sind geskriptete oder Reinforcement-Learning-Agenten, die einen Build von Anfang bis Ende durchspielen, bekannten Pfaden folgen oder Zustandsräume erkunden und Abstürze, Softlocks, defekte Kollisionen und Framerate-Einbrüche melden, ohne dass ein Mensch dasselbe Level zum vierzigsten Mal ablaufen muss. Sowohl Unitys Automated-QA-Tooling als auch das dänische Start-up Modl.ai verkaufen Versionen davon an Studios, die das nicht intern aufbauen wollen. Die zweite Kategorie ist visuelles Regressionstesten: automatisierter Screenshot-Vergleich gegen eine bekannt gute Baseline, der UI- und HUD-Brüche, Textur-Pop-in und Rendering-Glitches erfasst, die ein Content-Patch eingeführt hat, ohne dass jemand es bemerkt hat, bis ein Spieler es in sozialen Medien screenshottet.

Größere Studios haben interne Versionen beider Ansätze gebaut. Activision Blizzard und Epic haben öffentlich darüber gesprochen, bot-gesteuerte Regressions-Suites einzusetzen, um den Teil der QA abzudecken, der rein mechanisch ist — stürzt der Build ab, lädt das Level, registriert die neue Waffe Treffer korrekt —, die über Nacht über Hunderte von Konfigurationen laufen, bevor ein Mensch den Build überhaupt berührt.

Warum das an genau einer Stelle Personal kürzt

Die Arbeit, in der Regressionstest-Bots gut sind, ist genau die Arbeit, die früher die größte QA-Personalstärke erforderte: dieselbe Testsuite gegen jeden Build, jede Plattform, jede Sprachlokalisierung immer wieder auszuführen, um die mechanischen Fehler zu erfassen, die Content-Geschwindigkeit mit sich bringt. Das ist von Natur aus repetitive Arbeit, was genau das ist, was sie automatisierbar macht, und genau, warum ihr Wegfall sich als echte Personalreduzierung zeigt statt als Produktivitätsgeschichte, die die Personalstärke nicht verändert.

Was die Bots nicht gut können, und was Studios explizit nicht zu automatisieren versuchen, ist subjektives und adversariales Testen: ob sich eine neue Waffe überstark anfühlt, ob eine Änderung am Matchmaking die Spielqualität tatsächlich verbessert, und — entscheidend — den Exploit zu finden, den ein kreativer Spieler in der ersten Woche entdecken wird und über den kein geskripteter Bot-Pfad je stolpern würde. Diese Arbeit erfordert eine Art adversariales, intuitives Denken darüber, wie ein Mensch versuchen wird, das Spiel zu brechen, was eine wirklich andere Fähigkeit ist, als denselben Regressionsdurchlauf tausendmal auszuführen. Studios, die automatisiertes Regressionstesten eingeführt haben, berichten, dass sie ihr verbleibendes menschliches QA-Personal genau zu dieser Balance- und Exploit-Suche hin verschoben, nicht abgebaut haben.

Die Nuance, die in «KI ersetzt QA»-Schlagzeilen verloren geht

Das ist eine andere Geschichte als der Rückzug vom Live-Service-Geschäftsmodell, der dieses Jahr breit abgedeckt wurde, bei dem sich mittelgroße Studios vollständig aus Live-Service-Spielen zurückgezogen haben, weil die Wirtschaftlichkeit, sie am Laufen zu halten, nicht funktionierte. Hier geht es speziell um die Test-Pipeline für Studios, die immer noch Live-Service-Spiele betreiben und Content in einem festen Rhythmus liefern müssen, ohne dass die Regressionstest-Rechnung linear mit jedem neuen Feature wächst, das sie hinzufügen. Die Personalreduzierung ist real, konzentriert sich aber auf Rollen, die bereits der mechanischste und am wenigsten differenzierte Teil der QA waren — die Art von Arbeit, die vermutlich schon immer ein Kandidat für Automatisierung war, sobald das Tooling ausgereift genug wurde, um zuverlässig zu sein.

Wie ein kleineres Studio das tatsächlich einführen sollte

Wenn Sie einen Live-Service-Titel betreiben und automatisierte Tests in Betracht ziehen, zählt die Reihenfolge mehr als die Wahl des Werkzeugs. Beginnen Sie mit Smoke-Test-Bots, die build-brechende Abstürze und Ladefehler erkennen, bevor ein täglicher oder wöchentlicher Patch herauskommt — das ist die Automatisierung mit dem höchsten Wert und dem geringsten Risiko, weil ein Fehlschlag dort die Veröffentlichung komplett blockiert. Fügen Sie als Nächstes visuellen Regressionsvergleich hinzu, speziell rund um UI- und HUD-Änderungen, da das hochfrequente, wenig komplexe Prüfungen sind, die Bots zuverlässig bewältigen. Halten Sie Ihre menschlichen Tester durchgehend auf Balance-Testing und Exploit-Suche konzentriert — versuchen Sie nicht, das zuerst zu automatisieren, denn das Tooling für subjektives und adversariales Testen ist bei Weitem nicht so ausgereift wie Regressionsautomatisierung, und es als gelöst zu behandeln, lässt echte Balance- und Sicherheitsprobleme zu den Spielern durchkommen.

Lokalisierungstests sind eine eigene Erwähnung wert, weil sie zwischen den beiden Kategorien liegen. Zu prüfen, dass übersetzter Text keine UI-Box überläuft, dass Rechts-nach-links-Layouts korrekt dargestellt werden, und dass ein Patch nicht stillschweigend eine Sprachdatei entfernt hat, sind alles mechanische Prüfungen, die ein Bot in jeder unterstützten Sprache bei jedem Build ausführen kann — Arbeit, die früher unverhältnismäßig viele QA-Stunden verschlang, gerade weil sie sowohl mit dem Content-Volumen als auch mit der Sprachanzahl gleichzeitig skalierte. Das macht es zu einem der besten frühen Automatisierungsziele für ein kleineres Studio mit begrenztem QA-Budget, da es menschliche Tester vom mühsamsten Teil des Lokalisierungstests befreit, während die schwierigere Beurteilung — ob eine Übersetzung für einen Muttersprachler wirklich natürlich klingt — bei den Menschen bleibt, wo sie hingehört.

Teilen: