German UPA | Beitrag vom 30.01.2014 –
Wie gut ist mein Produkt? – Benchmarking mit dem UEQ

Der User Experience Questionnaire (UEQ) ist ein etablierter Fragebogen, der die UX eines Produkts auf den Dimensionen Attraktivität, Effizienz, Durchschaubarkeit, Steuerbarkeit, Stimulation und Originalität erfasst.

Der Fragebogen ist als semantisches Differential mit 26 Items realisiert. 

Der UEQ ist in verschiedenen Sprachversionen (Deutsch, Englisch, Spanisch, Portugiesisch, Türkisch, Französisch, Italienisch, Chinesisch, Japanisch) verfügbar. Die Sprachversionen, generelle Infos zum UEQ und ein Auswertungs-Tool in Excel (einfach Daten eingeben und das Tool berechnet alle notwendigen Werte automatisch) stehen auf www.ueq-online.org frei zur Verfügung.

Der UEQ liefert als Ergebnis die Messwerte auf den oben beschriebenen 6 Skalen. Manchmal sind diese Ergebnisse klar und eindeutig. Betrachten wir einmal zwei Beispiele.

Bei Produkt 1 besteht durchaus Grund zum Feiern, die Bewertungen sind durchweg sehr positiv. Bei Produkt 2 sollte man dagegen hoffen, dass die Ergebnisse (oder das Produkt) möglichst schnell in Vergessenheit geraten.

Meist sind die Ergebnisse aber nicht so klar. Dann stellt sich dem Anwender des UEQ die brennende Frage „Wie gut ist denn mein Produkt jetzt?“. Bei der Klärung dieser existentiellen Frage soll der Benchmark weiterhelfen.

Die zentrale Idee des Benchmarks ist es, eine große Menge von Messungen mit dem UEQ in einem Datensatz zu bündeln. Damit kann ein neues Ergebnis in Relation zu den Ergebnissen im Benchmark interpretiert werden.

Der Benchmark enthält im Moment die Daten aus 163 Evaluationen mit dem UEQ (4818 ausgefüllte Fragebögen, verschiedene Kategorien interaktiver Produkte). Die Daten wurden von UX Designern, die mit dem UEQ arbeiten, zur Verfügung gestellt!

Für den Benchmark wurden pro Skale 5 Kategorien identifiziert, die eine Interpretation des Ergebnisses erleichtern sollen:

• Exzellent: Im Bereich der 10% besten Resultate.
• Gut: 10% der Resultate waren besser als das Ergebnis des Produkts, 75% waren schlechter.
• Überdurchschnittlich: 25% der Resultate waren besser als das Ergebnis des Produkts, 50% waren schlechter.
• Unterdurchschnittlich: 50% der Resultate waren besser als das Ergebnis des Produkts, 25% waren schlechter.
• Schlecht: Im Bereich der 25% schlechtesten Resultate.

Falls Sie selbst schon Daten mit dem UEQ erhoben haben, schicken Sie uns bitte die Daten oder zumindest die gemessenen Skalenmittelwerte und ein paar Infos zum evaluierten Produkt. Wir werden es auch nicht weitersagen, d.h. absolute Vertraulichkeit ist garantiert.

Die DATEV eG verwendet den UEQ seit mehreren Jahren regelmäßig zur schnellen und effizienten Einschätzung der User Experience neuer Produktversionen. Mit Hilfe einiger weniger Zusatzfragen (z.B. nach der Aktualität, der Gesamtzufriedenheit und der Performance) kann innerhalb kurzer Zeit eine aussagekräftige Positionsbestimmung erfolgen.

Mit den inzwischen verfügbaren internen - und seit kurzem auch externen - Benchmarks ist der DATEV-UEQ-Bericht sehr aussagefähig geworden und hilft dabei realistische, d.h. erreichbare, Zielvorgaben für die Entwicklungsabteilungen zu erstellen. Der Bericht enthält neben den vergangenen und aktuellen Zahlenwerten auch die Inhalte einiger weniger gezielt eingesetzter Freitext-Rückmeldungen. Diese sind in der Regel inhaltlich stimmig zu den UEQ-Zahlenwerten und erhöhen die Wertigkeit des Profils.

Die Rekrutierung der Stichprobe sollte mit Bedacht erfolgen. Beta-Tester geben im Mittel bessere Bewertungen ab als zufällig ausgewählte Endanwender. Ebenso gibt es bei unterschiedlichen Nutzungs-Motivationen oder Nutzungs-Phasen auch Unterschiede bei der Relevanz einzelner UEQ-Faktoren in Bezug auf die Gesamtzufriedenheit mit der Anwendung. Falls man große Stichproben zur Verfügung hat, lohnt es sich also nach der Gesamtzufriedenheit mit der Anwendung zu fragen, wenn man die Wertigkeit der einzelnen UEQ-Dimensionen untereinander bestimmen will. 

In der Regel werden bei DATEV für eine Anwendung oder einen Anwendungsteil mindestens 30 Bewertungen angestrebt. Der UEQ funktioniert aber auch bei einer Prototypen-Bewertung im Usability-Labor (Usability Test) mit 10 Rückläufen - und einer vorsichtigen Interpretation - relativ gut. 

Mehr Details zum Praxiseinsatz des UEQ kann man in unserem Artikel im UP--Tagungsband nachlesen. Viele Infos zum UEQ und alle notwendigen Materialien für seinen praktischen Einsatz finden sich auf www.ueq-online.org.

Dr. Martin Schrepp, User Experience Designer bei SAP ( martin.schrepp@sap.com ).

Dr. Siegfried Olschner, User Experience Designer bei DATEV eG (siegfried.olschner@datev.de ).

Ulf Schubert ist Leiter User Experience bei DATEV eG in Nürnberg (ulf.schubert@datev.de ).