German UPA | Beitrag vom 03.07.2026 –
Jenseits des Prompt-Hypes: Wie evaluieren wir KI-Systeme?

Ein Kunde bringt eine scheinbar klare Aufgabe: „Wir haben ein LLM entwickelt, evaluiert das bitte – Fokus auf Antwortqualität und Usability.“ Der Reflex: klassischer Usability-Test, Szenarien, Beobachtung, Bewertung. Doch schon beim Planen zeigt sich das Problem – bei LLM-Systemen variiert nicht nur das System, sondern auch die Aufgabe (individuell interpretiert), der Prompt (jede:r formuliert anders), das KI-Vorwissen und die Fachexpertise der Nutzer:innen. Am Ende hat jede:r Person eine andere Antwort erhalten – schwer vergleichbar, schwer bewertbar.

Der Kernunterschied zu klassischer Software: Dort ist das System das Produkt, Usability bewertet die Bedienbarkeit. Bei LLM-Systemen ist die Antwort das Produkt – meine These daraus: ob diese gut ist, lässt sich nicht allein mit Usability-Methoden beantworten. Usability-Probleme gibt es weiterhin (z. B. unklare Kennzeichnung von Antwortalternativen), aber sie beantworten aus meiner Sicht nicht die eigentliche Kundenfrage: Funktioniert das System für meine Nutzer:innen?

Ein erster Ansatz

Als Ausgangspunkt diente das Forschungspapier von Szymanski et al. (2026, ACM CHI) zu gestuften Evaluationsworkflows für LLMs: Erwartungen vor der Antwortgenerierung erheben, Prompt absetzen, Antwort im Abgleich mit den Erwartungen bewerten – so wird nachträgliche Rationalisierung vermieden und Nutzungsanforderungen werden sichtbar. Wir haben diesen Ansatz für ein eigenes Projekt adaptiert, mit einer bewussten Abweichung: Statt vorgegebener Prompts ließen wir Teilnehmende frei formulieren, um echte Nutzung statt nur den Happy Path zu erfassen.

Was wir gelernt haben

Erwartungen als Bewertungsanker funktionierten gut – der Rückbezug („Du hattest erwartet X – was denkst du jetzt?“) war in der Bewertungssituation wertvoll. Als Methode, um Nutzungsanforderungen aufzudecken, waren die Erwartungen dagegen zu oberflächlich, besonders bei präzise formulierenden Teilnehmenden. Bei Folgeprompts brach das Vorgehen ganz zusammen.

Das ist kein fertiges Framework, sondern ein erster Ansatz

ausprobiert, reflektiert, mit offenen Fragen. Die Resonanz beim UX Festival hat gezeigt: Viele UX-Professionals stehen vor denselben Anfragen, ohne dass sich bislang eine etablierte Methodik durchgesetzt hat. Genau deshalb lohnt sich der Austausch in der Community – über einzelne Projekterfahrungen hinaus, hin zu gemeinsam geprüften Vorgehensweisen für die UX-Evaluation von LLM-Systemen.

Quelle: Szymanski, A., Araya Gebreegziabher, S., Anuyah, O., Metoyer, R. A., & Jia-Jun Li, T. (2026). Designing Staged Evaluation Workflows for LLMs: Integrating Domain Experts, Lay Users, and Model-Generated Evaluation Criteria. Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems. https://doi.org/10.1145/3772318.3790897

Autorin: Michaela Lindke