Kapitel 15: Usability Evaluation

Prinzipien und Methoden, mit denen eine Evaluation durchgeführt werden kann

Beispiel:

Sie entwickeln mit Ihrem Team eine Webanwendung auf welcher es umfangreiche Informationen zu den Büchern eines Verlags gibt. Angenommen Sie haben die Anforderungen der Marketingabteilung und des Verkaufs umgesetzt. Dabei werden die Bücher entsprechend der Verlagsstruktur in verschiedene Untermenüs gelistet. Nun liegen erste Papier-Entwürfe vor. Sie entschließen sich mögliche Nutzer die Entwürfe zu zeigen und beurteilen zu lassen. Dabei kommt heraus, dass die Nutzer eine Auflistung nach Autoren sowie einen Blick in das Inhaltsverzeichnis vermissen. Das waren bisher keine Anforderungen, hier hat erst eine (späte) Evaluation diese Anforderungen zutage gebracht.

• Alle Evaluationsmethoden , die während der Entwicklung eines Systems verwendet werden und deren Ergebnisse direkt in den weiteren Entwicklungsprozess einfließen.

• Typische Fragestellung: Wie kann bei der Entwicklung das optimale Ergebnis erzielt werden?

• Der Entwicklungsprozess sollte iterativ sein, so dass Design und Evaluation im Idealfall so oft angewendet werden, bis ein optimiertes Ergebnis für die weitere Entwicklung des Systems vorliegt.

• Damit diese iterative Entwiclung nicht zu zeit- und kostenintensiv wird, werden normalerweise Paper-Prototypen, Klick-Dummies oder Mockups verwendet.

• Alle Evaluationsmethoden, die typischerweise nach der Entwicklung eines System verwendet werden und das System bewerten.

• Summativ = abschließend, zusammenfassend

• typische Fragestellungen: Wie gut ist die Gebrauchstauglichkeit? In welchem Umfang wurden die Ziele erreicht?

• getestet wird an fertigen Anwendung und die Ergebnisse bilden einen Anhaltspunkt für die kommenden Versionen

Formative Evaluation:

• wichtig, damit ein gutes, gebrauchstaugliches Produkt entsteht

• auch bezüglich der Zeiten und Kosten ist es viel besser während des Entwicklungsprozesses zu evaluieren, als am Ende die fertige Entwicklung zu betrachten

• Theoriebasierte Evaluation (= analytische Evaluation)

• Benuterbasierte Evaluation (= empirische Evaluation)

• Menschzentrierte Gestaltung (Human-Centered Design = HCD)

= analytische Evaluation

• wenn die Evaluation durch Experten durchgeführt wird oder anhand von Daten und Dokumenten erfolgt.

• Informationanalysen (= Analyse von Daten und Dokumenten) und Inspektionsmethoden

= empirische Evaluation

• das Benutzerverhalten wird evaluiert oder der Benutzer wird in geeigneter Weise befragt oder beobachtet

• Benutzerbeobachtungen, Benutzerbefragungen, Usability-Test

• Human-Centered Design (HCD)

• Der Benutzer wird direkt oder indirekt mit in den Entwicklungsprozess einbezogen.

• Außerdem werden alle vom System direkt oder indirekt betroffenen Menschen mit berücksichtigt.

• von lat. principium = Anfang

• übergeordnetet Sichtweise

• werden zur planmäßigen Lösung von Problemen innerhalb eines Prinzips verwendet

• für die Erreichung eines bestimmten Ziels wird eine Methode ausgewählt

ein oder mehrere Werkzeuge und Artefakte

Usability-Labor

• alle Zwischen- und Endprodukte des Softwareentwicklungsprozesses

• Ergebnisse aus vorhergegangenen Prozessschritten (z.B. Personas als Ergebnis der Zielgruppenbestimmung) und können als Artefakt für weitere Methoden verwendet werden.

• oftmals wird auch eine Methode ebenso benannt, wie das entstehende Artefakt (Beispiel: Methode "Personas" und die Artefakte sind dann die entstandenen "Personas". Im Usability Engineering werden viele Artefakte wiederum als "Werkzeug" für andere Methoden eingesetzt. Im zuvor genannten Beispiel wird für die Methode Cognitive Walkthrough das zuvor entstandene Artefakt Personas verwendet, damit der "Inspekteuer" sich in die Zielgruppe hinein versetzen kann.)

Theoriebasierte Evaluation

Inspektionsmethode (= Expertengutachten) Cognitive Walkthrough

existierendes System, Beschreibung der Arbeitsaufgaben, Beschreibung des Kontextes, Personas, Beschreibung des Evaluationsziels

1. Ziel der Evaluation bzw. des Usability Tests genau festlegen und schriftlich fixieren

2. Die Auswahl der Benutzer wird getroffen

3. Passende Methoden auswählen und die weiteren zu erhebenden Messdaten bestimmen

4. Evaluationsprozess festlegen und das Auswerteverfahren bestimmen (bei umfangreichen Tests wird ein “Test-Konzept” oder “Test-Pflichtenheft” zusätzlich analog verwendet)

5. Probedurchlauf

6. Erst jetzt beginnt die eigentliche Evaluation

• strukturierte Auswertung

• Darstellung der Ergebnisse

• Maßnahmen

• Maßnahmen zur Verbesserung des evaluierten Systems

• Maßnahmen, die abgeleitet werden in Bezug auf zukünftige Evaluationen (Retrospektive)

von Experten

• als formative Evaluation, also im Rahmen der Entwicklung einer Software oder eines Systems

• Verwendung nur unterstützend zu den benutzerbasierten Evaluationen (denn erst bei der Einebziehung der Benutzer werden deren wirkliche Aspekte der Gebrauchstauglichkeit deutlich)

• Informationsanalyse: Datenanalyse, Dokumentensichtung

• Inspektionsmethoden: Cognitive Walkthrough, heuristische Evaluation -> “Expertengutachten”

• Werkzeuge/Artefakte: Logdateien-Analyse, Clickstream-Analyse

• gut geeignet, um sich ein erstes Bilder Nutzungshäufigkeit zu machen

• Ausgangspunkt für weitere Analysen

• Aufschluss über die Nutzungshäufigkeit bestimmter Funktionen, Links etc.

• Auswertung, welche Fehler aufgetreten sind oder welche Suchbegriffe verwendet werden

• “Clickstreams” (Reihenfolge der Klicks) werden aufgenommen

• aus den Dtaten lässt sich das globale Nutzungsverhalten auswerten

• somit kann erkannt werden, welche alternativen Formen der Interaktion verwendet werden (z.B. rechter Mausklick statt Menüeintrag)

• dient mehr zur Vorbereitung von weiteren Usability-Methoden

• Einstiegspunkt der Usability-Experten, um die Systeme zu verstehen

  
  

• Marketingmaterialien

• Schulungsmaterialien

• ggf. auch Styleguides

• es werden sogenannte Personas und Storyboards (als Werkzeuge/Artefakte eingesetzt)

• Usability-Experten versetzen sich mittels zuvor erfundener Personen (Personas) in die Lage des Benutzers und überlehen sich typische Aufgaben (Use-Cases) dieser Personas = Benutzbarkeits-Gedankenexperiment, dass ein naives Benutzerverhalten (Use-Cases) verschiedener fiktiver Benutzer abbildet

• Verfahren eignet sich sehr gut zur Ermittlung, wie leicht ein System erlernbar ist und wie selbstbeschreibend das System aufgebaut ist

• wird normalerweise bei der formativen Evaluation an Prototypen eingesetzt, ein Einsatz in der summativen Evaluation ist aber auch möglich

Nicht immer wird sich der Usability Experte in die Lage einer Persona versetzen können

Versuchen Sie beispielweise einmal sich in die Arbeitsweise eines Buchhalters bei der Verwendung einer SAP-Software zu versetzen. Sicherlich werden viele von Ihnen schnell feststellen, dass Sie von den Arbeitsaufgaben eines Buchhalters zu wenig Ahnung haben.

• Heuristik: “ich finde”, “(auf-)finden”, “entdecken”

• bezeichnet die Kunst, mit begrenztem Wissen und wenig Zeit zu guten Lösungen zu kommen

• Verfahren zur Problemlösung durch analytische Betrachtung und systematisches Probieren

• Usability-Experten bewerten die Software mit Hilfe anerkannter Gestaltungsgrundsätze und geben konkrete Verbesserungsvorschläge

• Die Dialoge werden einzeln betrachtet und jeder Dialog für sich wird gegen die Heuristiken geprüfz

• keine Personas oder Use-Cases

• typischerweise werden die Evaluationen von mehreren (3-5) Experten parallel durchgeführt, um möglichst viele Fehler zu finden

• Shneidermans 8 goldene Regeln

• Usability-Prinzipien von Nielsen

• Heuristiken nach Sarodnick und Brau

Sehr gut eignen sich die Gestaltungsgrundsätze aus der Norm DIN9241-110, da in der Norm selbst viele Beispiele für den Umgang mit den Gestaltungsgrundsätzen gegeben werden.

• es werden die realen Benutzer befragt, beobachtet oder es wird das Verhalten anhand von definierten Testaufgaben ermittelt

• die Zustimmung des Personalrates ist immer dann einzuholen, wenn in Firmen Mitarbeiter in Arbeitsprozessen befragt werden oder Aufzeichnungen gemacht werden

• Befragung (Fragen, Interviews)

• Usability-Test

• Eye-Tracking

• Beobachtung

• Fragebogen: Online-Fragebögen und papiergebundene Fragebögen

• Interview: mittels Protokoll (Werkzeug) oder Aufnahmegerät (Werkzeug)

Oftmals werden Frageboden und Interview zusammen eingesetzt, um einerseits möglichst viele Benutzer zu befragen, andererseits auch einen tieferen Einblick in die Arbeits- und Denkwelt des Benutzers zu erhalten

• große Anzahl von Benutzern

• standardisierte Auswertung

• kaum eine Beeinflussung durch Dritte

• Online-Fragebögen sehr flexibel

• hohe Vorbereitungsaufwand

• Fragen fokussieren sich auf zuvor ausgewählte Bereiche

• die festen Fragen werden oftmals sehr unterschiedlich von den Teilnehmern interpretiert

Der Interviewer erhält durch Nachfragene einen Einblick in die Arbeits- und Denkwelt

geringe Anzahl der Benutzer, die interviewt werden = es besteht die Gefahr, dass die interviewten Benutzer nicht repräsentativ ausgewählt wurden

• Vorteil: zu einer gegebenen Aufgabenstellung objektive Daten erhalten werden

• Werkzeuge: Mobiles Aufzeichnungssystem (Screenvideo des Monitors sowie Videokameras, die den Benutzer aufzeichnen) oder Usability-Labor

• Lautes Denken: Benutzer soll alle seine Gedanken und seine Interaktionen kommentieren

• Videofeedback: Videoaufzeichnung wird im Anschluss den Benutzer gezeigt

• Co-Discovery: zwei Benutzer bearbeiten die Aufgaben gemeinsam, Kommunikation viel natürlich und aussagekräftiger als beim Lauten Denken

• Coaching Methode: gezielte Interaktion zwischen dem Testleiter und dem Benutzer wird erzeugt, der Benutzer kann Fragen den Testleiter stellen und gemeinsam

• Attention Tracking: z.B. Mausbewegungen und Mausklicks werden aufgezeichnet

• Zeit- und Fehlermessung

• von der Nutzung ist heute eher abzuraten

• inziwschen lässt sich ein mobiler Testplatz erstellen

• die realen Umgebungsbedinungen werden mit aufgenommen und können weitreichende Aufschlüsse über die Arbeitsumgebung des Benutzers liefern

• die Anspannung der Benutzer bei der Durchführung eines Tests ist immer recht hoch und bei dem Besuch in einem Labor eher mit einem Arztbesuch als mit einer realen Situation zu vergleichen

in der empirischen Forschung, wenn man den Benutzer am Arbeitsplatz besucht

• Die Zeit für die Bearbeitung einer Aufgabe

• Die Anzahl der Aufgaben, die in einer bestimmten Zeit bearbeitet werden können

• Das Verhältnis zwischen erfolgreichen Handlungen und Fehlern

• Die Zeit für die Fehlerbehebung

• Die Zahl der Fehler

• Die Zahl der Befehle und Funktionen, die vom Probanden benutzt werden

• Das Verhältnis von positiven und negativen Äußerungen

• Die Zahl der eindeutig frustrierten oder begeisterten Äußerungen

• Die Häufigkeit der Nutzung von Behelfslösungen („Workarounds“) bei nicht lösbaren Problemen

• Das Verhältnis von Nutzern, die effektive Wege genutzt haben, zu Nutzern, die eher umständliche Lösungswege genutzt haben (bei mehreren möglichen Lösungswegen)

• Nicht genutzte Zeiten, zum Beispiel Wartezeiten des Nutzers auf das System oder Wartezeiten des Systems auf Eingaben des Nutzers

• Augenbewegungen der Benutzer wird aufgezeichnet

• Somit kann erkannt werden, was angesehen wird und in welcher Reihenfolge die Blickbewegung erfolgt

• Es kann somit auch erkannt werden, welche Bereiche einer Anwendung nicht angesehen werden

• findet in der Regel am System (Arbeitsplatz, mobiles Endgerät) des Benutzers statt

• Bei einer Beobachtung lässt man sich vom Benutzer eine Anwendung und seine Verwendung zeigen

• ohne festgelgte Aufgaben

• somit können viele Methoden und Werkzeuge eingesetzt werden

• Einblick in die tatsächliche Benutzung der Anwendung zu bekommen

• um selbst einen Überblick über die Anwendung und das Anwendungsgebiet zu bekommen

• um zu sehen, wie "routiniert" der Benutzer die Anwendung nutzt

• um zu sehen, welche Funktionalitäten der Benutzer zeigt

sehr gut geeignet um das Arbeitsgebiet des Benutzers kennen zu lernen und um sich somit im Rahmen einer Arbeits- und Aufgabenanalyse ein Bild von der realen Benutzung der Software zu machen

• angekündigte Beobachtung

• Benutzer reagieren eher zurückhaltender

• Routinetätigkeiten werden ermittelt (z.B. um Arbeitsabläufe gut zu verstehen und zu optimieren)

• eine reine Beobachtung ist für eine Evaluation eher ungeeignet

• besser ist eine Kombination aus Interview und Beobachtung

• Benutzer werden ungern beobachtet

• Aber Sie zeigen gern ihr Wissen und mit der richtigen Ansprache kann es gut gelingen, dass sich ein Benutzer nicht beobachtet fühlt, sondern gerne sein Wissen weitergibt

• Informationsanalyse

• Befragung, Usability-Test, Eye-Tracking, Beobachtung

• Personas, Storyboards, Zukunftswerkstätten, Fokusgruppen, …

• Benutzer werden in den Entwicklungsprozess mit einbezogen

• die Art der Einbezieung kann sehr unterschiedlich ausfallen und auch davon abhängen, ob das System für die private und/oder gewerbliche Nutzung geplant ist

• die Beteiligung der Benutzer am Gestaltungsprozess eines Systems ist überlegt, maßvoll und zielgerichtet einzusetzen

  
  

• Wer wird beteiligt? Benutzer oder sofern es ein neues System noch ohne Benutzer ist: Benutzervertreter (z.B. potentielle Benutzer)

• Wie wird beteiligt?

• Wann wrid beteiligt? Die Beteiligung der Benutzer kann während des gesamten Entwicklungsprozesses, eines Teils des Entwicklungsprozesses oder nur zu ausgewählten Zeitpunkten in Workshops stattfinden

• Woran wird beteiligt? Die Beteiligung der Benutzer kann sich auf alle Einzelbereiche der Software (Prozesse, Funktionalitäten, Schnittstellen etc.) beziehen

• Passive Mitwirkung: Usability-Experten des Entwicklungsteams berücksichtigen die Bedürfnisse des Benutzers aufgrund von Evaluationsergebnissen -> diese Art der "Beteiligung" ist nicht sinnvoll und entspricht nicht den Vorgaben der Menschenzentrierten Gestaltung.⃘

• Aktive Mitentscheidung: Die Benutzer treffen gemeinsam mit Produktverantwortlichen einige Entscheidungen zum System (z.B. über Funktionsumfänge, Metaphern etc.)⃘

• Aktive Partizipation: Die Benutzer werden in den frühen Gestaltungsphasen direkt gestaltend tätig (Arbeitsprozesse abbilden, Designentwürfe vorbringen)

spart erhebliche Kosten, denn eine einmal fertig entwickelte Software ist nur unter großen Anstrengungen und mit erheblichem (finanziellen) Aufwand anpassbar

Benutzergruppen werden eingeladen, um zusammen mit dem Moderator drei Phasen zu „durchleben“:

1. Kritik/Beschwerde

2. Vision/Zukunft

3. Praxis/Verwirklichung

• Bei der Methode „Fokusgruppen“ wird einer Gruppe von Benutzern (oder der Zielgruppe) ein Prototyp oder Anwendungsszenarien vorgestellt

• Ein Moderator führt die geordnete Diskussion der Gruppe

• Ideenfindung, Überprüfung der bisherigen Ergebnisse

• Erfahren von Nutzungsproblemen und Wünschen

• besonders gut zur Festlegung der Interaktions- und Navigationsstruktur bei umfangreichen Internetauftritten

• mindestens 15 (zukünftige) Benutzer erhalten Karten mit Menüpunkten, die diese zu sinnvollen Obermenüs zusammenstellen müssen

• in der Konzeptionsphase können die (verschiedenen) mentalen Modelle der Benutzer erfasst und die Begriffe (Navigationspunkte) entsprechend angepasst werden

• Papier-Prototypen

• sehr zu empfehlen

• regen mehr Ideen und Diskussionen an als visuell gut ausgearbeitete Prototypen

• Youtube-Video gucken? Seite 388/389

• Oftmals wird eine Software als Beta-Version auf den Markt gebracht, um daran weitere Evaluationen vorzunehmen

• Jedoch ist zu bedenken, dass in dieser Phase bereits der Großteil der Arbeit geleistet wurde und nur noch „Feinschliff“ vorgenommen werden kann

• Auch erwarten die Benutzer, die eine Beta-Version testen, dass sich die Endversion ungefähr genauso verhält

• In der Beta-Phase mit ausführlichen Usability-Evaluationen zu beginnen ist definitiv zu spät

• Andererseits sollte die Beta-Phase unbedingt für Tests verwendet werden, beispielsweise für Remote-Beobachtungen oder Remote-Test

• Die Erkenntnisse sind insbesondere für die Erstellung weiteren Schulungsunterlagen und Hilfebeschreibungen unerlässlich.

Eine „Beobachtung“ eines Benutzers ist immer dann angebracht, wenn es um das Verständnis des Arbeitsprozesses geht. Fragestellung: was macht der Benutzer mit der Software und unter welchen Arbeitsbedingungen? Die Beobachtung dient dem Usability-Experten den Arbeitsprozess zu verstehen.

Ein „Usability-Test“ setzt voraus, dass die Arbeitsprozesse bekannt sind, die getestet werden. Das Verhalten des Benutzers in einem Test zeigt das Verbesserungspotential der Anwendung auf.

Das Usability-Labor ist für den Probanden eine ungewohnte Umgebung und auch die technische Ausstattung (Monitor, Tastatur) ist ungewohnt. Hinzu kommt, dass bei vielen Probanden (insbesondere aus dem nicht-akademischen Umfeld) eine „Schwellenangst“ besteht. Dies führt dazu, dass die Probanden sich nicht natürlich verhalten. Einige versuchen besondern stark zu kritisieren und andere möchten sich besonders gut darstellen. Dies macht die Testauswertung schwierig und teilweise komplett unbrauchbar.

Unter der formativen Evaluation werden alle Evaluationsmethoden verstanden, die während der Entwicklung eines Systems verwendet werden und deren Ergebnisse direkt in den weiteren Entwicklungsprozess einfließen. Eine Evaluation ist summativ (=abschließend, zusammenfassend), wenn eine Beurteilung eiens vorhandenen Systems stattfindet. Summativ = abschließend, zusammenfassend.