Kundenzufriedenheit messen: Usability-Benchmarking in einem komplexen Produktumfeld

Usability-Benchmarking ist eine kostengünstige Lösung, um den Entwicklungsprozess zu steuern und zu evaluieren. Gemeinsam mit ELO Digital Office haben wir die Fragen und Ansätze zusammengetragen.

Wie wohl für die meisten Firmen, so stellt sich auch für unsere Partner von ELO Digital Office regelmäßig die Frage, in welchen Bereichen der umfangreichen Produktpalette die begrenzten User Experience Ressourcen sinnvoll eingesetzt werden sollten. Selbstredend werden neue Produkte und Features intensiv durch anwenderzentrierte Prozesse betreut. Gleichzeitig ist es aber notwendig, angesichts eines sich wandelnden Umfeldes, neuer Erkenntnisse und Anforderungen aus der Praxis auch bestehende Produkte regelmäßig weiter zu verbessern.

Die Herausforderung bei der Entwicklung eines benutzerfreundlichen Produktes liegt darin, eine Homogenität in der durch die Anwender wahrgenommenen Produktqualität zu erreichen. Es schadet eher, wenn bestimmte Bereiche eines Produktes als besonders gut wahrgenommen werden, diese aber von schlechterer Qualität anderer Bereiche überschattet werden.

Nach Herzberg kann ein notwendiges Feature nur dazu dienen, die Unzufriedenheit mit dem Produkt zu verhindern. Nur unerwartete Produkteigenschaften führen zu einer Steigerung der Zufriedenheit. Allerdings erst dann, wenn alle Basisanforderungen vollständig erfüllt sind.

Daher haben wir gemeinsam mit ELO Digital Office ein Konzept für ein produktinternes Usability-Benchmarking entwickelt. Der Gedanke ist einfach: Wir messen regelmäßig die Qualität der verschiedenen Bereiche der Produktpalette und können so bestimmen, wo der Einsatz von Ressourcen für User Experience einen besonderen Gewinn für die Anwender bringt. Dieses Vorgehen wirft jedoch eine Reihe von Fragen auf:

Wie oft sollte das Benchmarking durchgeführt werden?

Da durch das Benchmarking festgelegt wird, in welchen Bereichen Ressourcen für Usability investiert werden sollten, bietet es sich an, eine Untersuchung pro Release durchzuführen. ELO Digital Office stellt etwa zweimal pro Jahr neue Versionen Ihrer Produkte bereit. Ein Benchmark-Test sollte daher ebenfalls zweimal pro Jahr durchgeführt werden.

Es ist wichtig, dies jeweils eher gegen Ende der Laufzeit des Produktzyklus durchzuführen, damit die Anwender genügend Zeit bekommen, die aktuelle Version gründlich zu benutzen. Insbesondere bei Software im Unternehmenskontext ist es notwendig, nicht nur den Usabilityaspekt der Erlernbarkeit zu erfassen, wie dies durch den klassischen Test im Usabilitylabor erfolgt, sondern die Nützlichkeit im täglichen produktiven Einsatz zu evaluieren.

Wie kann die Qualität gemessen werden?

Das Ziel des Benchmarkings besteht im relativen Vergleich verschiedener Bereiche der Produkte untereinander. Der direkte Vergleich mittels einer Matrix-Frage bietet sich dafür an. Als Trigger kann eine Frage dienen, die auf eine Gesamtzufriedenheit zielt. Etwa: „Wie gefällt Ihnen der aktuelle Zustand des Produktes XY und seiner einzelnen Bereiche?“. Als Antwortoptionen bietet sich eine Skala der Form „Ausgezeichnet“ vs. „Benötigt Verbesserung“ an. Hierdurch geben die Anwender dann Ihr eigenes „Gefallensprofil“ an.

Welche Bereiche sollten miteinander verglichen werden?

Falls die Aufgaben an unterschiedlichen Arbeitsplätzen und vielleicht sogar von anderen Personen bearbeitet werden, müssen diese natürlich getrennt bewertet werden. Darauf aufbauend kann die Aufteilung des Produktes in Bereiche nach zwei Strategien erfolgen:

  1. Die Unterteilung nach Dialogen oder ähnlichen, das Interface strukturierenden Merkmalen.
  2. Unterscheidung nach den Hauptaufgaben die mit dem Programm bearbeitet werden können. In Produkten der ELO Digital Office wären dies beispielsweise „Scannen“, „Archivieren“, „Verschlagworten“ oder „Dokumente suchen“.

Nicht immer möglich, aber sicher deutlich zu bevorzugen, ist die zweite Strategie, da sich diese an den tatsächlichen Aufgaben der Anwender orientiert und von ihnen daher auch gut zu bewerten ist. Die erste Strategie hat dagegen den Nachteil, dass die eigentlichen Aufgaben der Anwender oftmals die Nutzung verschiedener Dialoge umfasst und diese unter Umständen für die unterschiedlichen Aufgaben auch unterschiedlich gut zu benutzen sind. Häufig lässt sich aber angesichts einer zu großen Anzahl unterschiedlicher Aufgaben der Anwender nur die erste Strategie realisieren.

Wie wird die Befragung durchgeführt?

Wir empfehlen die Befragungen webgestützt, etwa mit dem freien Werkzeug UserWeave durchzuführen. Dies senkt die Hürde der Teilnahme und man benötigt keinen direkten Rückkanal zum Versand von Nachrichten aus dem Produkt an den Hersteller. Liegen keine Bedenken gegen einen solchen Rückkanal vor, so lässt sich das Feedback auch direkt in das Produkt integrieren. Um die Akzeptanz einer solchen integrierten Lösung zu erhöhen, sollte den Anwendern und Administratoren deutlich Auskunft darüber geben werden, welche Daten zu welchen Zwecken übermittelt werden.

Was kann mit den Ergebnissen anfangen werden?

Das Benchmarking liefert deutliche Hinweise darauf, welche Bereiche der Software problematisch sind. Es liefert aber keine Hinweise darauf, was genau das Problem ist und wie es zu beheben ist. Hier muss das klassische Spektrum von Usabilitytest und User Experience Design angewandt werden, um die Probleme genau zu identifizieren und Lösungen zu erarbeiten.

Alternativ können bei einer Erhebung mittels Fragebogen weitere Fragen zur Detailanalyse eingebunden werden, etwa auf Basis der in der ISO 9241 formulierten Kriterien. Dabei ist aber darauf zu achten, dass der Fragebogen insgesamt nicht zu lang wird, da ansonsten die Responsequote und die Bereitschaft zur Teilnahme an weiteren Benchmarkbefragungen sinkt.

Durch die regelmäßige Wiederholung der Befragung, kann zudem der Erfolg der Produktverbesserungen evaluiert werden. Dies ist eine grundlegende Voraussetzung für die strategische Ausrichtung.

Wie viel kostet das?

Diese Form des Benchmarkings ist deutlich günstiger als andere Methoden. Sobald die Befragung und der Kanal zur Ansprache der Anwender einmal aufgebaut ist, kann das Benchmarking mit geringem Aufwand bei jedem Release wiederholt werden. Aufwändiger wird es insbesondere, wenn freie Antworten in die Befragung eingebaut und ausgewertet werden müssen.

Wie lange dauert es?

Für ein verlässliches Ergebnis sind weniger Antworten erforderlich, als oftmals gedacht. Je nachdem, wie viele unterschiedliche Anwendergruppen der Software einzeln analysiert werden sollen und wie homogen die Anwendung schon ist, reichen wenige Dutzend Antworten. Diese können erfahrungsgemäß innerhalb weniger Tage erfasst werden.

Wo kann ich mir Beispiele anschauen?

Für das Projekt Tine 2.0 führen wir eine Art des Benchmarkings seit einigen Jahren durch. Die Ergebnisse werden in unserem Blog regelmäßig dokumentiert; außerdem sind die Rohdaten auf der Befragungsplattform UserWeave frei verfügbar.