KI-Agenten prüfen: vom guten Eindruck zum brauchbaren Ergebnis

Die Übergabe ist der Prüfpunkt

Ein Agent bekommt einen Ordner mit Unterlagen und soll eine Entscheidung vorbereiten. Nach kurzer Zeit liegt eine sauber formulierte Zusammenfassung vor. Das wirkt fertig. Aber sind alle relevanten Unterlagen berücksichtigt? Stimmen die Zahlen mit den Quellen überein? Ist eine fehlende Angabe sichtbar geblieben? Und wurde tatsächlich nur vorbereitet, was vorbereitet werden sollte?

Das ist ein konstruiertes Beispiel, kein Bericht über einen gemessenen Produktversuch. Es zeigt eine Unterscheidung, die mir wichtig ist: Die Qualität der Formulierung und die Qualität der erledigten Aufgabe sind zwei verschiedene Fragen.

Für einen sinnvollen Test beginne ich deshalb bei der Übergabe. Ich beschreibe zuerst, was eine andere Person am Ende verwenden können muss. Daraus entstehen die Prüfkriterien für den Agenten. Die Frage „War die Antwort gut?“ ist dafür zu weit.

Ein kleiner Prüfauftrag

Für den beschriebenen Dokumentenfall könnte der Auftrag so aussehen:

Bereich	Vor dem Versuch festlegen
Aufgabe	Drei Angebote anhand der ausdrücklich vorgegebenen Anforderungen vergleichen.
Ergebnis	Eine Vergleichstabelle mit Quellenstellen und einer Liste offener Fragen.
Grenzen	Keine fehlenden Preise ergänzen; keine Anbieter kontaktieren; keine Dateien außerhalb des Arbeitsordners verändern.
Fehlerfall	Bei widersprüchlichen Angaben den Widerspruch zeigen und eine Entscheidung offenlassen.
Prüfung	Eine Person kann jede entscheidungsrelevante Aussage zur jeweiligen Quelle zurückverfolgen.

Die Tabelle ist kein allgemeingültiger Standard. Sie ist eine kleine Arbeitshilfe, die sich an eine konkrete Aufgabe anpassen lässt. Schon ihre Vorbereitung kann eine unklare Erwartung sichtbar machen: Soll das System nur vergleichen oder auch empfehlen? Darf es Quellen gewichten? Welche Information würde eine Empfehlung verhindern?

Ergebnis und Verlauf getrennt ansehen

Zuerst lässt sich prüfen, was am Ende vorliegt. Wurde die Tabelle erzeugt? Sind die Pflichtangaben enthalten? Existieren die referenzierten Dateien? Solche Fragen können teilweise mit einfachen technischen Prüfungen beantwortet werden.

Danach kommt der fachliche Blick: Ist die Gegenüberstellung sinnvoll? Wurde eine Einschränkung übersehen? Ist eine offene Frage wirklich offen geblieben? Hier braucht es eine Person mit dem nötigen Kontext oder einen sorgfältig abgestimmten Bewertungsmaßstab.

Auch der Weg ist relevant. Ein korrektes Ergebnis kann durch einen unerlaubten Zugriff entstanden sein. Umgekehrt kann ein sauber dokumentierter Ablauf mit einem falschen Ergebnis enden. Deshalb gehört die Einhaltung der Befugnisse neben die Ergebnisprüfung. Anthropic unterscheidet in seinem Leitfaden zu Agenten-Evaluationen ebenfalls zwischen dem aufgezeichneten Verlauf und dem tatsächlichen Endzustand sowie zwischen technischen, modellgestützten und menschlichen Bewertungen.

Schwierige Fälle gehören von Anfang an dazu

Für eine erste kleine Sammlung von Prüffällen würde ich nicht nur leicht lesbare, vollständige Unterlagen auswählen. Ein fehlender Anhang, zwei widersprüchliche Fassungen und eine nicht erreichbare Quelle können mehr über den Umgang mit Unsicherheit zeigen als ein weiterer problemloser Durchlauf.

Wichtig ist auch ein Fall, in dem das System ablehnen oder nachfragen sollte. Wenn jede Testaufgabe eine vollständige Lösung erwartet, wird das richtige Anhalten unsichtbar. Gerade dieses Anhalten kann für den späteren Einsatz entscheidend sein.

Einzelne Versuche können unterschiedlich ausfallen. Wiederholungen helfen, einen Zufallstreffer zu erkennen. Dabei sollten Aufgabe, Eingaben, Systemversion, Werkzeugzugänge und Bewertung dokumentiert sein. Eine Prozentzahl ohne diese Angaben erzählt wenig darüber, was tatsächlich geprüft wurde.

Klein beginnen, konkret entscheiden

Am Ende steht eine begrenzte Entscheidung: Für welche Aufgaben ist der Ablauf brauchbar? Wo braucht er zusätzliche Prüfung? Welche Befugnisse bleiben geschlossen? Was muss sich ändern, bevor er in einem anderen Umfeld eingesetzt wird?

Genau an dieser Verbindung von Arbeitsbereich, Ablauf und Übergabe interessiert mich die Agentenentwicklung. Alpine-X ist ein eigener Projektansatz dazu. Ein Projektname ersetzt allerdings keinen Nachweis. Der nächste belastbare Schritt ist ein nachvollziehbarer Versuch mit einem Ergebnis, das jemand anderes prüfen kann.