Prompt Evaluation: Wie Unternehmen Modell, Prompt und Kosten für KI-Agenten systematisch bewerten

Viele Unternehmen beginnen ihre KI-Projekte mit der Frage: Welches Sprachmodell ist das beste?

Diese Frage führt meistens in die falsche Richtung. Für einen produktiven KI-Agenten ist nicht das leistungsfähigste Modell entscheidend, sondern die beste Kombination aus Aufgabe, Prompt, Kontext, Werkzeugen, Modell, Geschwindigkeit, Zuverlässigkeit und Kosten.

Ein großes Modell kann bei komplexen Analysen hervorragend funktionieren und trotzdem für einen Kundenservice-Agenten ungeeignet sein, weil es zu langsam oder zu teuer ist. Ein günstiges Modell kann bei standardisierten Aufgaben bessere wirtschaftliche Ergebnisse liefern, obwohl seine allgemeine Leistungsfähigkeit geringer ist.

Die zentrale Frage lautet daher nicht: „Welches ist das beste LLM?”

Sondern: „Welche Konfiguration liefert für unsere konkrete Aufgabe zuverlässig die erforderliche Qualität zu vertretbaren Kosten?”

Wer bereits eine KI-Strategie entwickelt hat, steht an dieser Stelle vor der nächsten Frage: Wie wird aus der Strategie ein Agent, der im Alltag tatsächlich funktioniert? Genau darum geht es bei Prompt Evaluation.

Was bedeutet Prompt Evaluation?

Prompt Evaluation ist ein systematisches Verfahren, mit dem unterschiedliche Prompts, Modelle und Agentenkonfigurationen anhand definierter Testfälle verglichen werden.

Getestet wird nicht nur der Wortlaut eines Prompts. In der Praxis besteht eine Konfiguration aus mehreren Komponenten:

• Systemanweisung und Aufgabenbeschreibung
• ausgewähltem Sprachmodell und Modellparametern
• Kontext, Dokumenten, Datenquellen und Werkzeugen
• Agentenlogik, Arbeitsschritten und Abbruchbedingungen
• Formatvorgaben, Sicherheitsregeln und Qualitätskontrollen

Schon kleine Änderungen an einer dieser Komponenten können das Ergebnis deutlich verändern. LLM-Anwendungen sind nicht vollständig deterministisch. Ein Prompt, der in zehn Fällen gut funktioniert, kann beim elften Fall scheitern. Deshalb reicht es nicht, einzelne Beispiele auszuprobieren und anschließend nach persönlichem Eindruck zu entscheiden.

Eine belastbare Evaluation benötigt ein Testset, klare Erfolgskriterien, wiederholbare Tests und eine wirtschaftliche Bewertung.

Moderne Evaluationsplattformen unterscheiden typischerweise zwischen Offline-Evaluationen vor dem produktiven Einsatz und Online-Evaluationen während des Betriebs. Offline werden Varianten auf definierten Testdaten verglichen. Online werden reale Interaktionen überwacht, um Fehler, Qualitätsverluste und neue Falltypen zu erkennen.

Warum Agenten schwieriger zu evaluieren sind als einzelne Prompts

Bei einer einfachen LLM-Anfrage lässt sich das Ergebnis relativ direkt beurteilen. Eine Frage wird gestellt, das Modell erzeugt eine Antwort.

Ein Agent arbeitet anders. Er plant Schritte, wählt Werkzeuge aus, sucht Informationen, ruft Schnittstellen auf, bewertet Zwischenergebnisse und entscheidet, wann die Aufgabe abgeschlossen ist.

Damit entstehen mehrere Fehlerquellen: Der Agent kann das richtige Ziel verfolgen, aber das falsche Werkzeug verwenden. Er kann das richtige Werkzeug auswählen, aber fehlerhafte Parameter übergeben. Er kann relevante Informationen finden, aber falsch interpretieren. Oder er kann ein korrektes Ergebnis erzeugen, dafür aber unnötig viele Modellaufrufe und Werkzeugabfragen benötigen.

Deshalb darf bei Agenten nicht nur die letzte Textantwort bewertet werden. Auch der Weg zum Ergebnis ist relevant.

Bei einem Vertriebsagenten könnten beispielsweise folgende Fragen entscheidend sein: Hat der Agent den richtigen Kunden im CRM identifiziert? Hat er aktuelle und relevante Informationen verwendet? Hat er vertrauliche Daten korrekt behandelt? Hat er eine angemessene Handlung vorgeschlagen? Wie viele Modell- und API-Aufrufe waren dafür erforderlich?

Für Agenten sollten daher mindestens drei Ebenen betrachtet werden: das Endergebnis, die Prozessqualität und der Ressourcenverbrauch.

Schritt 1: Die Aufgabe präzise definieren

Eine Evaluation kann nur so gut sein wie die Definition der Aufgabe.

„Der Agent soll Kundenanfragen beantworten” ist keine ausreichende Beschreibung. Es bleibt offen, welche Anfragen gemeint sind, welche Daten verwendet werden dürfen, wie verbindlich die Antwort sein soll und wann ein Mensch übernehmen muss.

Eine bessere Definition könnte lauten: „Der Agent beantwortet deutschsprachige Fragen zu Produkten, Lieferzeiten und Rückgabebedingungen auf Basis der freigegebenen Wissensdatenbank. Er darf keine individuellen Preiszusagen machen. Bei Beschwerden, rechtlichen Fragen oder einem erkennbaren Kündigungswunsch übergibt er an einen Mitarbeiter.”

Damit werden Aufgabe, Informationsbasis, Entscheidungsgrenzen und Eskalationsregeln sichtbar.

Vor dem Test sollten außerdem die geschäftlichen Konsequenzen eines Fehlers bewertet werden. Eine ungenaue Formulierung in einem internen Meeting-Protokoll ist weniger kritisch als eine falsche Aussage zu Vertragsbedingungen, Lieferzusagen oder medizinischen Sachverhalten.

Je höher der potenzielle Schaden, desto stärker müssen Qualität, Kontrolle und Nachvollziehbarkeit gewichtet werden.

Schritt 2: Erfolg messbar machen

Begriffe wie „gute Antwort”, „hohe Qualität” oder „intelligentes Verhalten” sind zu ungenau. Sie müssen in beobachtbare Kriterien übersetzt werden.

Typische Qualitätsdimensionen sind:

• fachliche Richtigkeit und Vollständigkeit
• Einhaltung von Regeln, Format und Tonalität
• korrekte Auswahl und Nutzung von Werkzeugen
• Geschwindigkeit, Kosten und Stabilität

Ein Agent kann fachlich richtig antworten und dennoch ungeeignet sein, weil er interne Informationen offenlegt oder verbindliche Aussagen trifft, zu denen er nicht berechtigt ist.

Für jede Dimension sollte festgelegt werden, wie sie gemessen wird. Einige Kriterien lassen sich automatisch prüfen. Dazu gehören JSON-Strukturen, Pflichtfelder, Längenbegrenzungen, verbotene Begriffe, Rechenwerte oder die korrekte Auswahl eines Werkzeugs.

Andere Kriterien benötigen menschliche Bewertung oder einen LLM-basierten Bewerter. Dazu gehören Verständlichkeit, Argumentationsqualität, Relevanz oder die Angemessenheit einer Empfehlung.

In der Praxis ist eine Kombination am belastbarsten: Automatische Regeln prüfen objektiv messbare Anforderungen. Ein Bewertungsmodell beurteilt komplexere Qualitätsmerkmale. Menschen kontrollieren Stichproben, Grenzfälle und besonders risikoreiche Ergebnisse.

LLM-as-a-Judge-Verfahren können Tests stark beschleunigen, sollten aber nicht unkritisch als objektive Wahrheit behandelt werden. Das bewertende Modell benötigt klare Kriterien, Beispiele und möglichst eine von der getesteten Konfiguration unabhängige Perspektive.

Schritt 3: Ein repräsentatives Testset aufbauen

Das Testset ist das Herzstück der Evaluation.

Ein häufiger Fehler besteht darin, nur einfache Standardfälle zu testen. Diese zeigen, ob der Agent grundsätzlich funktioniert. Sie zeigen nicht, ob er im Alltag belastbar ist.

Ein gutes Testset enthält unterschiedliche Kategorien: Normalfälle bilden die häufigsten realen Aufgaben ab. Grenzfälle enthalten ungewöhnliche, unvollständige oder mehrdeutige Eingaben. Negativfälle prüfen, ob der Agent unerlaubte oder unmögliche Aufgaben korrekt zurückweist. Störfälle enthalten widersprüchliche Informationen, fehlerhafte Daten oder nicht verfügbare Werkzeuge.

Zusätzlich sollten wirtschaftlich oder rechtlich besonders kritische Fälle gezielt aufgenommen werden.

Geeignete Testfälle stammen aus drei Quellen: manuell erstellten Beispielen, historischen Produktionsdaten und gezielt erzeugten synthetischen Fällen.

Für einen ersten Prototyp können 20 bis 50 sorgfältig ausgewählte Fälle ausreichen. Vor einer breiten produktiven Einführung sollte das Set jedoch deutlich wachsen und die tatsächliche Verteilung der Aufgaben abbilden.

Wichtig ist die Trennung zwischen Entwicklungs- und Testfällen. Wer Prompts so lange auf denselben Beispielen optimiert, bis alle Antworten stimmen, überoptimiert möglicherweise auf das Testset. Der Agent funktioniert dann im Labor, aber nicht bei neuen Fällen.

Deshalb empfiehlt sich eine Aufteilung in Trainings-, Validierungs- und unabhängige Testfälle. Versionierte Datensätze helfen dabei, Veränderungen und Regressionen nachvollziehbar zu machen.

Schritt 4: Prompt-Varianten systematisch entwickeln

Prompt-Optimierung sollte nicht durch wahlloses Umschreiben erfolgen. Sinnvoller ist es, gezielt Hypothesen zu testen.

Eine erste Variante könnte sehr kurz sein und nur Ziel, Regeln und Ausgabeformat beschreiben. Eine zweite ergänzt Arbeitsschritte und Entscheidungskriterien. Eine dritte enthält Beispiele für gute und schlechte Ergebnisse.

Damit lässt sich erkennen, welche zusätzlichen Anweisungen tatsächlich Nutzen bringen.

Ein guter Agenten-Prompt enthält typischerweise eine klare Rolle und Zielsetzung, eine Abgrenzung dessen, was der Agent tun und nicht tun darf, Vorgaben zur Nutzung von Informationen und Werkzeugen, Regeln für Unsicherheit und Eskalation sowie eine eindeutige Definition des gewünschten Ergebnisses.

Dabei gilt nicht automatisch: Je länger der Prompt, desto besser.

Lange Prompts erhöhen Kosten, können widersprüchliche Regeln enthalten und die Aufmerksamkeit des Modells auf Nebenaspekte lenken. Sie erschweren außerdem die Wartung. Jede Regel sollte deshalb einen erkennbaren Beitrag zu Qualität, Sicherheit oder Steuerbarkeit leisten.

Besonders wirkungsvoll sind häufig konkrete Entscheidungskriterien. Statt „Nutze bei Bedarf die Kundendatenbank” ist eine Regel wie „Nutze die Kundendatenbank immer dann, wenn die Antwort von einem individuellen Vertrag, Preis oder Lieferstatus abhängt” wesentlich eindeutiger.

Auch Beispiele können helfen. Sie sollten jedoch typische Entscheidungsprobleme abdecken und nicht nur ideale Musterantworten zeigen. Besonders wertvoll sind Beispiele, in denen der Agent nicht antworten, nachfragen oder eskalieren soll.

Schritt 5: Das passende LLM auswählen

Erst wenn Aufgabe, Testset und Bewertungssystem stehen, sollte der eigentliche Modellvergleich beginnen.

Das größte Modell wird als Qualitätsreferenz verwendet. Anschließend werden kleinere, schnellere oder günstigere Modelle gegen dieselben Testfälle geprüft.

Dabei sollten mindestens vier Faktoren verglichen werden: Qualität — wie häufig erfüllt das Modell die fachlichen und formalen Anforderungen? Zuverlässigkeit — wie stark schwanken die Ergebnisse bei wiederholten Durchläufen? Geschwindigkeit — wie lange benötigt der Agent bis zum abgeschlossenen Ergebnis? Kosten — wie hoch sind die durchschnittlichen Kosten pro erfolgreicher Aufgabe?

Der entscheidende Messwert ist nicht der Preis pro Token, sondern der Preis pro korrekt gelöster Aufgabe.

Ein günstiges Modell kann teuer sein, wenn es häufig scheitert, zusätzliche Korrekturschleifen benötigt oder menschliche Nacharbeit verursacht. Umgekehrt kann ein teureres Modell wirtschaftlich sein, wenn es kritische Aufgaben zuverlässig beim ersten Versuch löst.

Die Modellwahl sollte daher als Nutzen-Kosten-Entscheidung betrachtet werden.

Angenommen, Modell A kostet pro Durchlauf 0,03 Euro und löst 70 Prozent der Fälle korrekt. Modell B kostet 0,10 Euro und erreicht 95 Prozent. Wenn fehlerhafte Fälle jeweils mehrere Minuten menschliche Nacharbeit auslösen, kann Modell B trotz höherer API-Kosten deutlich günstiger sein.

Die Berechnung sollte deshalb auch Folgekosten einbeziehen: menschliche Prüfung, Fehlerkorrekturen, Kundenkontakte, Prozessverzögerungen und potenzielle Schäden.

Schritt 6: Nicht ein Modell für alles verwenden

In vielen Agentensystemen ist eine Modellkaskade wirtschaftlicher als die Verwendung eines einzigen Modells.

Ein kleines Modell klassifiziert zunächst die Anfrage, extrahiert Daten oder entscheidet, welcher Prozess gestartet werden soll. Ein leistungsfähigeres Modell wird nur bei komplexen Analysen, mehrdeutigen Fällen oder wichtigen Entscheidungen eingesetzt.

Eine mögliche Architektur besteht aus drei Stufen: Ein schnelles Modell übernimmt Routing und Standardfälle. Ein mittleres Modell bearbeitet anspruchsvollere Aufgaben. Ein besonders leistungsfähiges Modell wird nur bei kritischen oder komplexen Fällen eingesetzt.

Dadurch lassen sich Kosten deutlich senken, ohne die Qualität in wichtigen Situationen zu reduzieren.

Voraussetzung ist allerdings, dass die Routing-Logik zuverlässig funktioniert. Ein kleines Modell darf einen schwierigen Fall nicht fälschlich als Routine einstufen. Deshalb muss auch die Eskalationsentscheidung Teil der Evaluation sein.

Eine gute Leitregel lautet: Nutze das günstigste Modell, das die erforderliche Qualität mit ausreichender Sicherheit erreicht. Nicht das günstigste Modell insgesamt und auch nicht das beste Modell insgesamt.

Schritt 7: Kosten systematisch reduzieren

Die Modellwahl ist nur ein Hebel. Häufig liegen die größten Einsparpotenziale in der Architektur und im Kontextmanagement.

Ein typischer Kostentreiber ist, dass bei jedem Aufruf zu viele Informationen an das Modell gesendet werden. Vollständige Gesprächsverläufe, umfangreiche Dokumente und lange Systemanweisungen erhöhen den Tokenverbrauch, obwohl nur ein kleiner Teil relevant ist.

Stattdessen sollte der Kontext gezielt zusammengestellt werden. Der Agent benötigt die relevanten Informationen, nicht alle verfügbaren Informationen.

Weitere Einsparungen entstehen durch Wiederverwendung unveränderlicher Inhalte, Caching häufiger Ergebnisse, kompakte Datenformate, Begrenzung unnötig langer Antworten und die Vermeidung überflüssiger Agentenschritte.

Auch die Zahl der Iterationen sollte beobachtet werden. Ein Agent, der fünfmal plant, sucht und korrigiert, bevor er zu einem Ergebnis kommt, kann erheblich teurer sein als ein direkter Workflow mit zwei klar definierten Schritten.

Bei gut strukturierten Routineprozessen ist ein deterministischer Workflow oft effizienter als ein frei planender Agent. Nicht jede Aufgabe braucht maximale Autonomie.

Ein zentraler wirtschaftlicher Hebel besteht deshalb darin, genau zu unterscheiden: Wo wird echte Entscheidungsfähigkeit benötigt? Und wo reicht ein fest definierter Prozess mit einzelnen KI-Komponenten?

Schritt 8: Die Agentenlogik separat bewerten

Bei mehrstufigen Agenten reicht eine Gesamtpunktzahl nicht aus. Sie zeigt nur, dass etwas schiefgegangen ist, aber nicht warum.

Deshalb sollten einzelne Komponenten separat ausgewertet werden: Hat der Agent die Absicht des Nutzers korrekt erkannt? Hat er das richtige Werkzeug ausgewählt? Waren die Werkzeugparameter korrekt? Wurden relevante Informationen gefunden? Hat das Modell die Informationen richtig verarbeitet? Wurde rechtzeitig beendet?

Evaluationssysteme unterstützen deshalb neben der Bewertung der finalen Antwort zunehmend auch die Analyse des sogenannten Agentenpfads oder der Trajectory.

Diese Trennung ist wichtig, weil unterschiedliche Fehler unterschiedliche Maßnahmen erfordern.

Ein falscher Werkzeugaufruf wird nicht unbedingt durch ein leistungsfähigeres Modell behoben. Möglicherweise sind die Werkzeugbeschreibungen unklar. Eine unvollständige Antwort kann durch bessere Kontextdaten statt durch einen längeren Prompt verbessert werden. Eine unnötig hohe Zahl von Iterationen kann auf fehlende Abbruchbedingungen hindeuten.

Prompt Evaluation ist deshalb immer auch System Evaluation.

Schritt 9: Qualität und Kosten gemeinsam steuern

Für die Entscheidungsfindung empfiehlt sich eine Bewertungsmatrix.

Jede getestete Konfiguration erhält Werte für Qualität, Regelkonformität, Erfolgsquote, Latenz und Kosten. Kritische Kriterien werden höher gewichtet als Komfortmerkmale.

Ein Beispiel: Fachliche Richtigkeit erhält 35 Prozent Gewicht. Einhaltung von Regeln und Sicherheit 30 Prozent. Erfolgreiche Werkzeugnutzung 15 Prozent. Geschwindigkeit 10 Prozent. Kosten 10 Prozent.

Diese Gewichtung hängt vom Anwendungsfall ab. Bei einer internen Textzusammenfassung können Geschwindigkeit und Kosten stärker zählen. Bei Vertragsprüfung oder Finanzanalysen müssen Richtigkeit und Nachvollziehbarkeit dominieren.

Wichtig ist eine Mindestschwelle für kritische Kriterien. Ein günstiges Modell darf nicht durch gute Geschwindigkeit eine unzureichende Regelkonformität ausgleichen.

Die Entscheidung sollte daher zweistufig erfolgen: Zuerst werden alle Konfigurationen ausgeschlossen, die Mindestanforderungen nicht erfüllen. Danach wird unter den verbleibenden Varianten die wirtschaftlich beste gewählt.

Schritt 10: Nach dem Go-live weiter evaluieren

Mit dem Produktivstart endet die Evaluation nicht.

Reale Nutzer stellen andere Fragen als Entwickler. Datenquellen verändern sich. Modelle werden aktualisiert. Neue Produkttypen und Sonderfälle entstehen. Auch kleine Änderungen an Prompts, Werkzeugen oder Wissensbeständen können unerwartete Nebenwirkungen verursachen.

Deshalb braucht ein produktiver Agent ein kontinuierliches Monitoring.

Nicht jede Interaktion muss vollständig durch ein teures Bewertungsmodell geprüft werden. Sinnvoll ist eine Kombination aus automatischen Regeln, Stichproben und gezielter Analyse auffälliger Fälle.

Besonders relevant sind: Fehler und Abbrüche, ungewöhnlich lange Agentenläufe, hohe Kosten, negative Nutzerreaktionen, häufige Eskalationen und starke Abweichungen von bisherigen Ergebnissen.

Fehlerhafte Produktionsfälle sollten anschließend in das Testset übernommen werden. So entsteht ein kontinuierlicher Lernkreislauf: Produktionsproblem erkennen, Testfall ergänzen, Lösung entwickeln, offline prüfen und kontrolliert ausrollen. Genau diese Verbindung von Offline- und Online-Evaluation bildet die Grundlage für robuste LLM-Anwendungen.

Drei praktikable Einführungsoptionen

Unternehmen können Prompt Evaluation unterschiedlich aufbauen.

Die erste Option ist eine einfache manuelle Evaluation mit Tabellen. Testfälle, Prompts, Ergebnisse, Kosten und Bewertungen werden beispielsweise in einer Tabellenkalkulation dokumentiert. Das ist schnell, günstig und für erste Pilotprojekte ausreichend. Der Nachteil ist der hohe manuelle Aufwand und die begrenzte Skalierbarkeit.

Die zweite Option ist eine spezialisierte Evaluationsplattform. Sie ermöglicht versionierte Datensätze, automatisierte Experimente, Vergleichsansichten und Produktionsmonitoring. Das ist für mehrere Agenten oder regelmäßige Änderungen sinnvoll, erhöht aber die technische und organisatorische Komplexität.

Die dritte Option ist eine eigene Evaluationspipeline. Sie bietet maximale Kontrolle und lässt sich eng in Entwicklungs-, Governance- und Freigabeprozesse integrieren. Sie lohnt sich vor allem bei strategisch wichtigen oder regulierten Anwendungen, verursacht jedoch den höchsten Aufbau- und Wartungsaufwand.

Für die meisten mittelständischen Unternehmen ist ein stufenweises Vorgehen sinnvoll: zunächst ein sauber aufgebautes Testset und eine einfache Vergleichsmatrix, anschließend Automatisierung dort, wo Zahl und Bedeutung der Agenten wachsen.

Fazit: Nicht das beste Modell gewinnt, sondern das beste System

Prompt Evaluation ist keine kosmetische Optimierung von Formulierungen. Sie ist ein zentraler Bestandteil professioneller KI-Entwicklung.

Unternehmen müssen lernen, Prompts, Modelle, Datenquellen, Werkzeuge und Agentenlogik als Gesamtsystem zu bewerten. Nur so lässt sich entscheiden, welche Konfiguration tatsächlich zuverlässig, schnell und wirtschaftlich arbeitet.

Das optimale Modell ist nicht das Modell mit der höchsten allgemeinen Leistungsfähigkeit. Es ist das günstigste Modell, das im konkreten Prozess die erforderliche Qualität und Sicherheit erreicht.

Der wichtigste Schritt besteht deshalb nicht darin, möglichst viele Modelle auszuprobieren. Er besteht darin, vorab eindeutig zu definieren, was ein gutes Ergebnis ist.

Wer diese Definition beherrscht, kann Modelle objektiv vergleichen, Kosten gezielt reduzieren und neue Modellgenerationen schnell bewerten. Wer darauf verzichtet, bleibt von Einzelbeispielen, persönlichen Eindrücken und Marketingversprechen der Anbieter abhängig.

Professionelle KI-Agenten entstehen nicht durch den perfekten Prompt. Sie entstehen durch einen kontinuierlichen Evaluationsprozess, der Qualität, Risiko und Wirtschaftlichkeit miteinander verbindet.