KI-Agent-Evaluierungen werden zur Beschaffungsanforderung

Unternehmenskäufer werden weniger von KI-Agent-Demos beeindruckt – und das ist gesund. Ein polierter Workflow in einer kontrollierten Umgebung sagt sehr wenig darüber aus, wie sich ein Agent bei chaotischen Eingaben, Teilfehlern, Richtliniengrenzen oder langlebigen Aufgaben verhält. Während Unternehmen von Experimenten zur Bereitstellung übergehen, werden Agent-Evaluierungen zur Beschaffungsvoraussetzung statt zu einem optionalen technischen Anhang.

Die These ist klar. Wenn ein Anbieter einen KI-Agenten verkauft, der Aktionen ausführen, interne Daten verarbeiten oder Geschäftsprozesse beeinflussen kann, benötigt der Käufer Nachweise über die Leistung unter realistischen Bedingungen – nicht nur Benchmark-Ergebnisse, nicht nur eine inszenierte Demo. Tatsächliche Evaluierungsergebnisse, die zeigen, wie sich das System bei den Aufgaben, Risiken und Grenzfällen verhält, die in der Produktion relevant sind. Beschaffungsteams beginnen, diese Nachweise zu verlangen, weil die Kosten für den Kauf eines nicht gemessenen Agenten zu hoch sind.

Warum der alte Beschaffungsprozess an seine Grenzen stößt

Softwarebeschaffung hat traditionell eine gewisse Unschärfe toleriert, weil viele Tools deterministisch genug waren, um sie durch Funktions-Checklisten, Sicherheitsüberprüfungen und Referenzgespräche zu bewerten. KI-Agenten komplizieren dieses Modell. Zwei Produkte können ähnliche Funktionen aufweisen und in einer Demo gleich kompetent klingen, sich aber in Konsistenz, Wiederherstellungsverhalten, Tool-Disziplin, Halluzinationsrate oder Richtlinienkonformität stark unterscheiden. Diese Lücke wiegt umso schwerer, wenn der Agent nicht nur Texte zusammenfasst, sondern Arbeit ausführt. Ein Sales-Ops-Agent, der Datensätze falsch aktualisiert, ein Support-Agent, der Berechtigungen falsch handhabt, oder ein Engineering-Agent, der die falsche Korrektursequenz anwendet, kann echte Folgekosten verursachen. Käufer benötigen daher Nachweise auf Verhaltensebene.

Sie wollen wissen, wie oft der Agent die richtige Aufgabe erledigt, wie oft er angemessen um Klärung bittet, wie er mit fehlendem Kontext umgeht und wann er ablehnen sollte zu handeln. Das treibt Evaluierungen aus dem ML-Labor in den Beschaffungszyklus. Was früher internes Modell-Testing war, wird zum kundenorientierten Nachweis. Anbieter, die ihre Evaluierungsmethodik nicht erklären können, wirken zunehmend unreif – besonders in wettbewerbsintensiven Deals mit risikobewussten Unternehmen.

Was beschaffungsreife Evaluierungen tatsächlich zeigen müssen

Aufgabenerfolg bei repräsentativen Workflows

Generische Benchmark-Leistung reicht nicht. Käufer interessieren sich für die Workflows, die sie automatisieren oder beschleunigen wollen. Wenn das Produkt für IT-Support gedacht ist, sollte der Evaluierungssatz Passwort-Reset-Richtlinienprüfungen, Gerätezugriffsausnahmen, Eskalationsrouting und mehrdeutige Mitarbeiteranfragen umfassen. Wenn es für RevOps ist, sollte es mehrstufige CRM-Updates, Territoriumsausnahmen, Dublettenauflösung und genehmigungssensible Änderungen zeigen. Relevanz ist der Punkt.

Fehlerverhalten, nicht nur Erfolgsquote

Reife Käufer interessieren sich zunehmend dafür, wie der Agent scheitert. Erfindet er eine Antwort, wenn ein Tool nichts zurückgibt? Wiederholt er einen Versuch sinnvoll, wenn ein API-Timeout auftritt? Eskaliert er, wenn die Berechtigungen nicht ausreichen? Erkennt er, wenn eine Anweisung gegen die Richtlinie verstößt? Ein Anbieter, der nur die Gesamtgenauigkeit meldet, versteckt oft den betrieblich wichtigen Teil der Geschichte.

Richtlinien- und Sicherheitstreue

Viele Unternehmens-Agent-Implementierungen arbeiten nah an sensiblen Daten und regulierten Aktionen. Daher müssen Evaluierungen das Verhalten unter Richtliniendruck testen. Zum Beispiel: Kann der Agent zwischen einer legitimen Manager-Anfrage und einem Social-Engineering-artigen Prompt unterscheiden? Wird er vermeiden, sensible Kundendaten preiszugeben, wenn er einen Fall zusammenfasst? Kann er eine Aktion außerhalb einer Genehmigungskette ablehnen? Das sind Beschaffungsfragen, weil sie direkt rechtliche, sicherheitstechnische und Compliance-Risiken abbilden.

Stabilität bei Modell- oder Tool-Änderungen

Agent-Produkte hängen oft von zugrundeliegenden Modellen und Tool-Ketten ab, die sich schnell weiterentwickeln. Käufer beginnen zu fragen, ob Evaluierungsergebnisse stabil bleiben, wenn das Modell aktualisiert wird, sich der Prompt ändert oder Connector-Versionen wechseln. Das ist eine subtile, aber wichtige Verschiebung. Unternehmen wollen nicht nur einen guten Agenten heute. Sie wollen Vertrauen, dass der Anbieter eine Disziplin zur Erkennung von Regressionen hat, bevor Kunden sie erleben.

Warum Anbieter diese Entwicklung begrüßen sollten

Auf den ersten Blick mögen beschaffungsgetriebene Evaluierungsanforderungen wie Reibung aussehen. In Wahrheit können sie seriösen Anbietern helfen, sich von Demo-zentrierten Mitbewerbern abzuheben. Wenn ein Unternehmen eine robuste Szenarioabdeckung, klare Bestehen-/Nichtbestehen-Kriterien und fortlaufende Regressionstests vorweisen kann, gewinnt es Vertrauen, das Marketing allein nicht kaufen kann. Das schafft auch eine ehrlichere Diskussion über den Umfang. Kein Agent funktioniert perfekt in allen Workflows. Evaluierungen helfen, das Betriebsfenster zu definieren. Ein Anbieter kann mit Nachweisen sagen, dass der Agent in Triage, Empfehlung und strukturierten Updates stark ist, aber für Ausnahmebehandlungen oberhalb einer bestimmten Schwelle weiterhin menschlich überprüft werden sollte. Das ist glaubwürdiger, als so zu tun, als sei das System universell autonom. Gut gestaltete Evaluierungen verbessern auch die interne Produktdisziplin. Sie zwingen Teams zu definieren, was gutes Verhalten eigentlich bedeutet, wo das Modell um Klärung bitten soll, welche Tool-Sequenzen akzeptabel sind und welche Fehler schwerwiegend sind. Mit anderen Worten: Dieselben Artefakte, die bei der Beschaffung helfen, helfen auch, ein besseres Produkt zu bauen.

Was Käufer in der nächsten Ausschreibung oder Pilotphase fordern sollten

Käufer müssen keine akademische Perfektion verlangen. Sie müssen jedoch schärfere Fragen stellen. Fordern Sie Beispiel-Evaluierungsfälle an, die auf Ihre Domäne zugeschnitten sind. Fragen Sie, ob der Anbieter Aufgabenabschluss, Richtlinientreue und Eskalationsqualität separat misst. Fragen Sie, wie Fehler überprüft werden und ob die Evaluierungssuite nach Änderungen an Prompt, Modell oder Integration erneut ausgeführt wird. Bestehen Sie während eines Piloten auf Evaluierung im Schattenmodus oder mit eingeschränktem Umfang vor der breiten Einführung. Lassen Sie den Agenten reale, aber kontrollierte Workloads verarbeiten, und vergleichen Sie dann seine Ausgaben mit menschlichen Erwartungen. Überprüfen Sie nicht nur die endgültigen Antworten, sondern auch den Argumentationspfad und die Tool-Interaktionen, wo verfügbar. Hier sehen viele Agenten weniger poliert aus als in Demos – und genau darum geht es bei der Übung. Es lohnt sich auch zu fragen, wer innerhalb der Anbieterorganisation für die Evaluierungsqualität verantwortlich ist. Wenn die Antwort vage ist, ist das ein Signal. Starke Anbieter haben zunehmend dedizierte Evaluierungs-, Red-Teaming- oder Quality-Engineering-Praktiken für das Agent-Verhalten. Schwache Anbieter verlassen sich oft auf Ad-hoc-Stichproben und anekdotisches Feedback.

Die nahe Zukunft des Unternehmens-KI-Einkaufs

In den nächsten Beschaffungszyklen werden Evaluierungsartefakte wahrscheinlich neben Sicherheitsfragebögen, Architekturdiagrammen und SLA-Zusagen stehen. In einigen Kategorien könnten sie zur Voraussetzung für eine ernsthafte Prüfung werden. Vorstände und Führungsteams stellen bereits härtere Fragen zu KI-Risiko und ROI. Die Beschaffung wird diese Fragen in Prozesse übersetzen. Das bedeutet nicht, dass es morgen einen universellen Standard geben wird. Evaluierungen werden je nach Domäne, Risikograd und Aufgabendesign variieren. Aber die Richtung ist klar. Gesprächsflüssigkeit reicht nicht mehr. Unternehmen wollen messbare Nachweise, dass ein Agent die Arbeit erledigen kann, sich an Richtlinien hält und bei schlechten Bedingungen sicher degradiert. Das ist eine positive Entwicklung für den Markt. Sie belohnt Substanz statt Theater. Und für Käufer, die ein zuverlässiges Betriebssystem von einer überzeugenden Demo unterscheiden wollen, werden Evaluierungen zunehmend zu einem der wichtigsten Dokumente im Raum.