Game-Engines werden zur Top-Trainingsplattform für KI-Agenten

General Intuitions 320-Millionen-Dollar-Wette erklärt einen Wandel, der sich seit Jahren anbahnt

Im Juni 2026 sammelte das KI-Startup General Intuition 320 Millionen Dollar von Khosla Ventures, General Catalyst und Jeff Bezos ein. Die Prämisse: Das Training von KI-Agenten auf Millionen von Stunden Videospielmaterial erzeuge Agenten, die Handlungen, Konsequenzen und reale Entscheidungsfindung besser verstehen als Agenten, die nur auf Text trainiert wurden.

Das ist keine neuartige Idee – es ist die gut finanzierte Krönung von Forschung, die sich seit DeepMinds AlphaGo im Jahr 2016 und den darauffolgenden Durchbrüchen im reinforcement learning angesammelt hat. Was sich geändert hat, sind der Maßstab, die Werkzeuge und die explizite kommerzielle Ambition. Game-Engines sind keine akademische Kuriosität mehr für die KI-Forschung – sie sind zur Infrastruktur geworden.

Warum Videospiele ideale Trainingsumgebungen sind

Das Training eines KI-Agenten für das Handeln in der realen Welt erfordert eine Simulation, in der der Agent Milliarden Male versuchen, scheitern und erneut versuchen kann – ohne etwas Reales zu beschädigen. Die Simulation der physischen Welt ist teuer und langsam. Ein Roboterarm kann in der realen Welt nur ein paar hundert Versuche pro Tag machen. In einer Physiksimulation innerhalb einer Game-Engine kann derselbe Arm über Nacht Millionen von Versuchen durchführen.

Aber es geht um mehr als nur um rohe Geschwindigkeit. Spielumgebungen haben Eigenschaften, die für das Agententraining einzigartig wertvoll sind:

• Dichte Belohnungssignale. Spiele sind darauf ausgelegt, ständig Feedback zu geben – Punkte, Lebenspunkte, Nähe zu Zielen, Missionsabschlüsse. Genau das brauchen Reinforcement-Learning-Algorithmen. Reale Aufgaben liefern selten so häufig klare Belohnungssignale.
• Prozedurale Generierung. Moderne Game-Engines können unendliche Variationen von Umgebungen erzeugen: unterschiedliche Layouts, Lichtverhältnisse, Hinderniskonfigurationen und Physikparameter. Diese Vielfalt ist entscheidend, um Agenten zu produzieren, die über ihre Trainingsverteilung hinaus generalisieren, statt einen festen Satz von Szenarien auswendig zu lernen.
• Günstiges Scheitern. Ein Agent, der in einer Game-Engine einen Sprung falsch einschätzt, verliert nur ein paar Sekunden Simulationszeit. Ein Agent, der auf einer Fabrikhalle eine Navigationsentscheidung falsch trifft, kostet echtes Geld und kann echten Schaden anrichten. Spiele machen Scheitern ersetzbar, was das Lernen um Größenordnungen beschleunigt.
• Ground-Truth-Daten. Jedes Ereignis in einer Game-Engine wird mit perfekter Genauigkeit protokolliert – Position, Geschwindigkeit, durchgeführte Aktion, erhaltene Belohnung. Das verrauschte Sensorrauschen und die teilweise Beobachtbarkeit der realen Welt existieren in der Simulation nicht.

Die bevorzugten Engines – und warum sie wichtig sind

Die am weitesten verbreiteten Game-Engines für KI-Training sind Unity und Unreal Engine, wobei OpenAI Gym und NVIDIAs Isaac Sim (basierend auf Omniverse) spezialisierte Anwendungsfälle in Robotik und Physiksimulation bedienen.

Unity ML-Agents Toolkit war eines der ersten Frameworks, das die Game-Engine als Trainingsumgebung für KI formalisierte. Es bietet eine Standardschnittstelle zwischen einer Unity-Szene und Python-basierten Reinforcement-Learning-Algorithmen, wurde in Tausenden wissenschaftlicher Arbeiten verwendet und bildet das Rückgrat vieler kommerzieller Agent-Training-Pipelines.

Unreal Engine 5 wird zunehmend wichtiger für fotorealistische Trainingsumgebungen, bei denen visuelle Wiedergabetreue eine Rolle spielt – autonomes Fahren, Drohnennavigation und verkörperte KI-Forschung, bei der die Lücke zwischen Simulation und Realität (das "Sim-to-Real-Transfer-Problem") eine kritische Rolle spielt. Realistischere Grafiken verringern diese Lücke.

NVIDIA Isaac Sim, auf der Omniverse-Plattform aufbauend, zielt speziell auf die Robotik ab. Es bietet physikalisch genaue Simulation von Roboterkinematik, Sensoren (LIDAR, Kameras, IMUs) und komplexen Umgebungen. Boston Dynamics, Figure und andere Hersteller humanoider Roboter nutzen Isaac Sim oder ähnliche Plattformen, um die Manipulations- und Navigations-Policies ihrer Roboter vor dem Einsatz auf der Hardware vorzutrainieren.

Was Spieldaten KI lehren, was Text nicht kann

Große Sprachmodelle, die auf Internettext trainiert wurden, sind außergewöhnlich gut in Reasoning, Schreiben und Wissensabruf. Aber Text ist eine komprimierte, statische Repräsentation der Welt. Er beschreibt, was passiert ist; er zeigt nicht, wie man handelt.

General Intuitions These – und die breitere Forschungsliteratur, auf die sie sich stützt – besagt, dass Spieldaten etwas anderes kodieren: kausale, sequentielle, verkörperte Entscheidungsfindung. Ein Modell, das eine Million Stunden Minecraft gesehen (oder gespielt) hat, hat implizit gelernt, wie dreidimensionale Räume zusammenhängen, wie Ressourcen gesammelt werden müssen, bevor Werkzeuge gebaut werden können, wie man sich durch komplexes Gelände zu einem Ziel navigiert.

Das SIMA-Projekt von DeepMind, Anfang 2024 angekündigt und in den Folgejahren deutlich erweitert, trainierte einen Generalisten-Agenten in neun kommerziellen Videospielen und stellte fest, dass auf diversen Spielumgebungen trainierte Agenten Strategien besser auf neue Spiele und sogar auf reale Roboteraufgaben übertrugen als Agenten, die nur in Robotiksimulationen trainiert wurden. Die Breite der Spieltrainingsverteilung ist ebenso wichtig wie die Menge.

Das Sim-to-Real-Transfer-Problem – und Fortschritte dabei

Die anhaltende Herausforderung beim Training in Game-Engines ist die Übertragung von Policies auf physische Hardware. Ein in der Simulation trainierter Roboter, der Gegenstände aufheben soll, scheitert oft an einem echten Roboter, weil die Physik, Reibung und visuelle Darstellung der Simulation nicht exakt der Realität entsprechen.

Mehrere Techniken haben diese Lücke spürbar verringert:

• Domain Randomization: Zufällige Variation von Physikparametern, Beleuchtung und Texturen während des Trainings zwingt den Agenten, robuste Policies für diese Variationen zu entwickeln, statt eine bestimmte simulierte Konfiguration auswendig zu lernen.
• Fotorealistisches Rendering: Die Lumen- und Nanite-Systeme von Unreal Engine 5 erzeugen Bilder, die realen Kamerabildern so nahe kommen, dass in UE5-Umgebungen trainierte Agenten im Vergleich zu älteren, niedrigauflösenden Engines geringere Sim-to-Real-Lücken aufweisen.
• Real-Data-Fine-Tuning: Das Vortrainieren einer Policy in der Simulation und anschließendes Fine-Tuning mit einer kleinen Menge realer Daten ist zum Standard-Pipeline für kommerzielle Robotik-Einsätze geworden. Die Simulation liefert den "Lehrplan"; reale Daten korrigieren die verbleibende Domänenlücke.

Über Robotik hinaus: in Spielen trainierte Agenten in der Software

Das Training in Game-Engines ist nicht auf physische Robotik beschränkt. Derselbe Ansatz wird auf Software-Agenten angewendet – KI-Systeme, die grafische Benutzeroberflächen navigieren, Webbrowser bedienen, Formulare ausfüllen und mit Desktop-Anwendungen interagieren.

Das Cradle-Projekt von Microsoft Research und die Arbeit von Anthropic an Computer-Use-Agenten stützen sich beide auf die Erkenntnis, dass die GUI-Navigation strukturelle Ähnlichkeiten mit der Navigation in Videospielen aufweist: Beide erfordern das Identifizieren von interagierbaren Elementen in einer visuellen Szene, die Auswahl einer Aktion, das Beobachten des Ergebnisses und die Anpassung der Strategie. Das Training auf Spielmaterial baut die zugrunde liegende räumliche und sequentielle Reasoning-Fähigkeit auf, die auf beides übertragen werden kann.

Handlungsempfehlungen

• Wenn Sie KI-Agenten bauen, die mit physischen Umgebungen oder komplexen Benutzeroberflächen interagieren, sollte die Game-Engine-Simulation Teil Ihrer Architektur sein. Die Werkzeuge (Unity ML-Agents, Isaac Sim, Unreal Engine mit Python-Brücken) sind ausgereift und gut dokumentiert.
• Vielfältige Trainingsumgebungen sind wichtiger als die reine Datenmenge. Ein Agent, der in 20 verschiedenen Spielumgebungen trainiert wurde, generalisiert besser als ein Agent, der mit der zehnfachen Datenmenge aus einer einzigen Umgebung trainiert wurde.
• Der Sim-to-Real-Transfer ist ein lösbares technisches Problem, kein grundsätzliches Hindernis. Domain Randomization plus ein kleiner Real-Data-Fine-Tuning-Datensatz ist derzeit die beste Praxis für die meisten Robotikanwendungen.
• Beobachten Sie, wie sich die These von General Intuition entfaltet. Wenn spieltrainierte Agenten texttrainierte Agenten bei allgemeiner Aufgabenerfüllung übertreffen, reichen die Auswirkungen auf die Agentenarchitektur weit über die Robotik hinaus – hinein in jede Domäne, in der sequentielle Entscheidungsfindung eine Rolle spielt.