Empirische Methoden: Usability Test und Fragebögen

Nutzer bearbeiten realistische Aufgaben an dem Produkt, wobei sie von Usability-Experten (Testleiter) beobachtet werden. Auf Basis der Äußerungen der Testbenutzer, Beobachtungen des Testleiters oder auch auf Grund von Messungen (z.B. Zeitdauer für die Aufgabenbearbeitung) können Probleme im Umgang mit dem System erkannt und Verbesserungsmöglichkeiten erarbeitet werden

1. Benutzer festlegen

2. Aufgaben auswählen

3. Aufgaben formulieren

4. Testablauf festlegen und Testmaterialen erstellen

5. Testumgebung vorbereiten

6. Pilottest durchführen

7. Ablauf und Materialen anpassen

8. Testbenutzer rekrutieren

9. 
   

1. Test durchführen und Daten auswerten

2. Daten zusammenfassen

3. Daten analysieren und interpretieren

4. Schlussfolgerung ziehen und Verbesserungsvorschläge ableiten

5. Ergebnisse dokumentieren und präsentieren

   
   

• Remote Usability Test

• Paarweise Testen

• Videokonfrontation

  
  

• Direkter Einblick in die Interaktion des Anwenders

• Verhalten kann beobachtet werden

  
  

Zeit-, arbeits- und kostenintensiv

Fragebögen werden häufig dann verwendet, wenn es darum geht, quantitative Aussagen der Nutzer zu erheben oder verschiedene Systeme oder Systemversionen (Vorher-Nachher) vergleichbar zu machen. Damit dienen sie vor allem der summativen Evaluation.

Fragebögen setzen sich aus einer Anzahl Fragen und/oder Aussagen zusammen, den sogenannten Items. Die Werte mehrerer Items werden bei der Auswertung oft zusammengerechnet und ergeben dann eine Subskala. Antworten können als Multiple Choice (d. h. mit vorgegebenen Antwortoptionen), als Ratingskalen (d. h. mit abgestuften Einschätzungen, z.B. "gefällt mir gar nicht" bis "gefällt mir sehr gut" oder Zustimmungsskala „trifft gar nicht zu“ bis „trifft sehr zu“) oder in Form von Freitexten gegeben werden.

• Vollstandartisiert: die Itemformulierungen, die Darbietungsreihenfolge und das Antwortformat sind vollständig festgelegt

• Teilstandartisiert: Befragten können auch frei zu antworten

1. Auswahl des Fragebogens

2. Auswahl der Benutzer und Versenden des Fragebogens

3. Datenauswertung

4. Weitere Schritte

• AttrakDiff

• ISONORM 9241/110

• QUESI

• SUMI

ein frei nutzbarer Fragebogen, der zwischen der subjektiv beurteilten pragmatischen Qualität eines Produktes (oder Usability), der hedonischen Qualität (oder Joy-of-Use, User Experience) und einer generellen Bewertung der Attraktivität des Produktes unterscheidet. Insgesamt besteht der Fragebogen aus 28 Wortpaaren, die gegensätzliche Attribute für das Produkt auflisten. Die Benutzer bewerten, wie sehr das Produkt diesen Attributen entspricht (vgl. Abbildung 2)

orientiert sich an der internationalen Norm DIN EN ISO 9241-110, die verschiedene Kriterien zur Gestaltung von Mensch-Maschine-Interaktion definiert hat. Zu diesen gehören die Aufgabenangemessenheit, Selbstbeschreibungsfähigkeit, Steuerbarkeit, Erwartungskonformität, Fehlertoleranz, Individualisierbarkeit und Lernförderlichkeit, die alle durch den Fragebogen abgeprüft werden.

Der QUESI fragt nach den subjektiven Konsequenzen intuitiver Benutzung. Er besteht aus 14 Items, die sich den fünf Subskalen Wahrgenommene Kognitive Beanspruchung, Wahrgenommene Zielerreichung, Wahrgenommener Lernaufwand, Vertrautheit / Vorwissen und Wahrgenommene Fehlerrate zuordnen.

steht für Software Usability Measurement Inventory. Der aus 50 Aussagen bestehende Fragebogen richtet sich an Benutzer, die Erfahrung mit einer bestimmten Applikation haben. Der Fragebogen umfasst die Subskalen Effizienz, Positive Einstellung, Nützlichkeit, Kontrolle, und Erlernbarkeit. Die Aussagen sollen von den Benutzern mit „einverstanden“, „nicht einverstanden“ oder „unentschieden“ bewertet werden

• große Anzahl von Benutzern

• hohe Objektivität

• Daten sind quantitativ und lassen sich statistisch analysieren

• Online Befragungen sind kostengünstig

• Fast nur geschlossene Fragen mit vorgegebenen Antwortkategorien

• Erstellung eigener Fragebögen sehr aufwendig

• Verzerrte Ergebnisse bei Online Befragung