Worum geht es bei Usability Evaluation?
Prinzipien und Methoden, mit denen eine Evaluation durchgeführt werden kann
Beispiel:
Sie entwickeln mit Ihrem Team eine Webanwendung auf welcher es umfangreiche Informationen zu den Büchern eines Verlags gibt. Angenommen Sie haben die Anforderungen der Marketingabteilung und des Verkaufs umgesetzt. Dabei werden die Bücher entsprechend der Verlagsstruktur in verschiedene Untermenüs gelistet. Nun liegen erste Papier-Entwürfe vor. Sie entschließen sich mögliche Nutzer die Entwürfe zu zeigen und beurteilen zu lassen. Dabei kommt heraus, dass die Nutzer eine Auflistung nach Autoren sowie einen Blick in das Inhaltsverzeichnis vermissen. Das waren bisher keine Anforderungen, hier hat erst eine (späte) Evaluation diese Anforderungen zutage gebracht.
Formative Evaluation
Alle Evaluationsmethoden , die während der Entwicklung eines Systems verwendet werden und deren Ergebnisse direkt in den weiteren Entwicklungsprozess einfließen.
Typische Fragestellung: Wie kann bei der Entwicklung das optimale Ergebnis erzielt werden?
Formative Evaluation: Wie kann bei der Entwicklung das optimale Ergebnis erzielt werden?
Der Entwicklungsprozess sollte iterativ sein, so dass Design und Evaluation im Idealfall so oft angewendet werden, bis ein optimiertes Ergebnis für die weitere Entwicklung des Systems vorliegt.
Damit diese iterative Entwiclung nicht zu zeit- und kostenintensiv wird, werden normalerweise Paper-Prototypen, Klick-Dummies oder Mockups verwendet.
Summative Evaluation
Alle Evaluationsmethoden, die typischerweise nach der Entwicklung eines System verwendet werden und das System bewerten.
Summativ = abschließend, zusammenfassend
typische Fragestellungen: Wie gut ist die Gebrauchstauglichkeit? In welchem Umfang wurden die Ziele erreicht?
getestet wird an fertigen Anwendung und die Ergebnisse bilden einen Anhaltspunkt für die kommenden Versionen
Was ist besser: Formative Evaluation oder Summative Evaluation?
Formative Evaluation:
wichtig, damit ein gutes, gebrauchstaugliches Produkt entsteht
auch bezüglich der Zeiten und Kosten ist es viel besser während des Entwicklungsprozesses zu evaluieren, als am Ende die fertige Entwicklung zu betrachten
Einteilung der Usability-Prinzipien
Theoriebasierte Evaluation (= analytische Evaluation)
Benuterbasierte Evaluation (= empirische Evaluation)
Menschzentrierte Gestaltung (Human-Centered Design = HCD)
Theoriebasierte Evaluation
= analytische Evaluation
wenn die Evaluation durch Experten durchgeführt wird oder anhand von Daten und Dokumenten erfolgt.
Informationanalysen (= Analyse von Daten und Dokumenten) und Inspektionsmethoden
Benutzerbasierte Evaluation
= empirische Evaluation
das Benutzerverhalten wird evaluiert oder der Benutzer wird in geeigneter Weise befragt oder beobachtet
Benutzerbeobachtungen, Benutzerbefragungen, Usability-Test
Menschenzentrierte Gestaltung
Human-Centered Design (HCD)
Der Benutzer wird direkt oder indirekt mit in den Entwicklungsprozess einbezogen.
Außerdem werden alle vom System direkt oder indirekt betroffenen Menschen mit berücksichtigt.
Was ist ein Prinzip?
von lat. principium = Anfang
übergeordnetet Sichtweise
Verwendung von Methoden
werden zur planmäßigen Lösung von Problemen innerhalb eines Prinzips verwendet
für die Erreichung eines bestimmten Ziels wird eine Methode ausgewählt
Hilfsmittel zur Durchführung einer Methode?
ein oder mehrere Werkzeuge und Artefakte
Beispiel für ein typisches Werkzeug einer Methode?
Usability-Labor
Was sind Artefakte?
alle Zwischen- und Endprodukte des Softwareentwicklungsprozesses
Ergebnisse aus vorhergegangenen Prozessschritten (z.B. Personas als Ergebnis der Zielgruppenbestimmung) und können als Artefakt für weitere Methoden verwendet werden.
oftmals wird auch eine Methode ebenso benannt, wie das entstehende Artefakt (Beispiel: Methode "Personas" und die Artefakte sind dann die entstandenen "Personas". Im Usability Engineering werden viele Artefakte wiederum als "Werkzeug" für andere Methoden eingesetzt. Im zuvor genannten Beispiel wird für die Methode Cognitive Walkthrough das zuvor entstandene Artefakt Personas verwendet, damit der "Inspekteuer" sich in die Zielgruppe hinein versetzen kann.)
Beispiel für die Nutzung des Begriffs: Prinzip
Beispiel für die Nutzung des Begriffs: Methode
Inspektionsmethode (= Expertengutachten) Cognitive Walkthrough
Beispiel für die Nutzung der Begriffe: Werkzeuge/Artefakte
existierendes System, Beschreibung der Arbeitsaufgaben, Beschreibung des Kontextes, Personas, Beschreibung des Evaluationsziels
Planung einer Evaluation
Ziel der Evaluation bzw. des Usability Tests genau festlegen und schriftlich fixieren
Die Auswahl der Benutzer wird getroffen
Passende Methoden auswählen und die weiteren zu erhebenden Messdaten bestimmen
Evaluationsprozess festlegen und das Auswerteverfahren bestimmen (bei umfangreichen Tests wird ein “Test-Konzept” oder “Test-Pflichtenheft” zusätzlich analog verwendet)
Probedurchlauf
Erst jetzt beginnt die eigentliche Evaluation
Was muss nach der Evaluation durchgeführt werden?
strukturierte Auswertung
Darstellung der Ergebnisse
Maßnahmen
Zwei Arten von Maßnahmen nach der Evaluation
Maßnahmen zur Verbesserung des evaluierten Systems
Maßnahmen, die abgeleitet werden in Bezug auf zukünftige Evaluationen (Retrospektive)
Theoriebasierte Evaluation wird von wem durchgeführt?
von Experten
Wann wird die theoriebasierte Evaluation normalerweise eingesetzt?
als formative Evaluation, also im Rahmen der Entwicklung einer Software oder eines Systems
Verwendung nur unterstützend zu den benutzerbasierten Evaluationen (denn erst bei der Einebziehung der Benutzer werden deren wirkliche Aspekte der Gebrauchstauglichkeit deutlich)
Methoden der theoriebasierten Evaluation
Informationsanalyse: Datenanalyse, Dokumentensichtung
Inspektionsmethoden: Cognitive Walkthrough, heuristische Evaluation -> “Expertengutachten”
Informationsanalyse - Methode: Datenanalyse
Werkzeuge/Artefakte: Logdateien-Analyse, Clickstream-Analyse
gut geeignet, um sich ein erstes Bilder Nutzungshäufigkeit zu machen
Ausgangspunkt für weitere Analysen
Logdateien
Aufschluss über die Nutzungshäufigkeit bestimmter Funktionen, Links etc.
Auswertung, welche Fehler aufgetreten sind oder welche Suchbegriffe verwendet werden
Clickstream-Analyse
“Clickstreams” (Reihenfolge der Klicks) werden aufgenommen
aus den Dtaten lässt sich das globale Nutzungsverhalten auswerten
somit kann erkannt werden, welche alternativen Formen der Interaktion verwendet werden (z.B. rechter Mausklick statt Menüeintrag)
Informationsanalyse - Methode: Dokumentensichtung
dient mehr zur Vorbereitung von weiteren Usability-Methoden
Einstiegspunkt der Usability-Experten, um die Systeme zu verstehen
Typische Dokumente der Dokumentensichtung
Marketingmaterialien
Schulungsmaterialien
ggf. auch Styleguides
Inspektionsmethoden - Methode: Cognitive Walkthrough
es werden sogenannte Personas und Storyboards (als Werkzeuge/Artefakte eingesetzt)
Usability-Experten versetzen sich mittels zuvor erfundener Personen (Personas) in die Lage des Benutzers und überlehen sich typische Aufgaben (Use-Cases) dieser Personas = Benutzbarkeits-Gedankenexperiment, dass ein naives Benutzerverhalten (Use-Cases) verschiedener fiktiver Benutzer abbildet
Verfahren eignet sich sehr gut zur Ermittlung, wie leicht ein System erlernbar ist und wie selbstbeschreibend das System aufgebaut ist
wird normalerweise bei der formativen Evaluation an Prototypen eingesetzt, ein Einsatz in der summativen Evaluation ist aber auch möglich
Problem beim Cognitive Walkthrough
Nicht immer wird sich der Usability Experte in die Lage einer Persona versetzen können
Versuchen Sie beispielweise einmal sich in die Arbeitsweise eines Buchhalters bei der Verwendung einer SAP-Software zu versetzen. Sicherlich werden viele von Ihnen schnell feststellen, dass Sie von den Arbeitsaufgaben eines Buchhalters zu wenig Ahnung haben.
Informationsanalyse - Methode: Heuristische Evaluation
Heuristik: “ich finde”, “(auf-)finden”, “entdecken”
bezeichnet die Kunst, mit begrenztem Wissen und wenig Zeit zu guten Lösungen zu kommen
Verfahren zur Problemlösung durch analytische Betrachtung und systematisches Probieren
Usability-Experten bewerten die Software mit Hilfe anerkannter Gestaltungsgrundsätze und geben konkrete Verbesserungsvorschläge
Die Dialoge werden einzeln betrachtet und jeder Dialog für sich wird gegen die Heuristiken geprüfz
keine Personas oder Use-Cases
typischerweise werden die Evaluationen von mehreren (3-5) Experten parallel durchgeführt, um möglichst viele Fehler zu finden
Typische Heuristiken
Shneidermans 8 goldene Regeln
Usability-Prinzipien von Nielsen
Heuristiken nach Sarodnick und Brau
Sehr gut eignen sich die Gestaltungsgrundsätze aus der Norm DIN9241-110, da in der Norm selbst viele Beispiele für den Umgang mit den Gestaltungsgrundsätzen gegeben werden.
es werden die realen Benutzer befragt, beobachtet oder es wird das Verhalten anhand von definierten Testaufgaben ermittelt
die Zustimmung des Personalrates ist immer dann einzuholen, wenn in Firmen Mitarbeiter in Arbeitsprozessen befragt werden oder Aufzeichnungen gemacht werden
Methoden des Prinzips “Benutzerbasierte Evaluation”
Befragung (Fragen, Interviews)
Usability-Test
Eye-Tracking
Beobachtung
Typische Methoden der Befragung
Fragebogen: Online-Fragebögen und papiergebundene Fragebögen
Interview: mittels Protokoll (Werkzeug) oder Aufnahmegerät (Werkzeug)
Oftmals werden Frageboden und Interview zusammen eingesetzt, um einerseits möglichst viele Benutzer zu befragen, andererseits auch einen tieferen Einblick in die Arbeits- und Denkwelt des Benutzers zu erhalten
Vorteile von Fragebögen
große Anzahl von Benutzern
standardisierte Auswertung
kaum eine Beeinflussung durch Dritte
Online-Fragebögen sehr flexibel
Nachteile von Fragebögen
hohe Vorbereitungsaufwand
Fragen fokussieren sich auf zuvor ausgewählte Bereiche
die festen Fragen werden oftmals sehr unterschiedlich von den Teilnehmern interpretiert
Vorteil von Interviews
Der Interviewer erhält durch Nachfragene einen Einblick in die Arbeits- und Denkwelt
Nachteil von Interviews
geringe Anzahl der Benutzer, die interviewt werden = es besteht die Gefahr, dass die interviewten Benutzer nicht repräsentativ ausgewählt wurden
Vorteil: zu einer gegebenen Aufgabenstellung objektive Daten erhalten werden
Werkzeuge: Mobiles Aufzeichnungssystem (Screenvideo des Monitors sowie Videokameras, die den Benutzer aufzeichnen) oder Usability-Labor
Werkzeuge von Videoaufzeichnungen
Lautes Denken: Benutzer soll alle seine Gedanken und seine Interaktionen kommentieren
Videofeedback: Videoaufzeichnung wird im Anschluss den Benutzer gezeigt
Co-Discovery: zwei Benutzer bearbeiten die Aufgaben gemeinsam, Kommunikation viel natürlich und aussagekräftiger als beim Lauten Denken
Coaching Methode: gezielte Interaktion zwischen dem Testleiter und dem Benutzer wird erzeugt, der Benutzer kann Fragen den Testleiter stellen und gemeinsam
Attention Tracking: z.B. Mausbewegungen und Mausklicks werden aufgezeichnet
Zeit- und Fehlermessung
Verwendung von Usability-Laboren
von der Nutzung ist heute eher abzuraten
inziwschen lässt sich ein mobiler Testplatz erstellen
Gründe für die Durchführung des Usability-Tests direkt beim Benutzer und nicht im Usability-Labor
die realen Umgebungsbedinungen werden mit aufgenommen und können weitreichende Aufschlüsse über die Arbeitsumgebung des Benutzers liefern
die Anspannung der Benutzer bei der Durchführung eines Tests ist immer recht hoch und bei dem Besuch in einem Labor eher mit einem Arztbesuch als mit einer realen Situation zu vergleichen
Feldstudie
in der empirischen Forschung, wenn man den Benutzer am Arbeitsplatz besucht
Was kann gemessen werden bei Usability-Tests?
Die Zeit für die Bearbeitung einer Aufgabe
Die Anzahl der Aufgaben, die in einer bestimmten Zeit bearbeitet werden können
Das Verhältnis zwischen erfolgreichen Handlungen und Fehlern
Die Zeit für die Fehlerbehebung
Die Zahl der Fehler
Die Zahl der Befehle und Funktionen, die vom Probanden benutzt werden
Das Verhältnis von positiven und negativen Äußerungen
Die Zahl der eindeutig frustrierten oder begeisterten Äußerungen
Die Häufigkeit der Nutzung von Behelfslösungen („Workarounds“) bei nicht lösbaren Problemen
Das Verhältnis von Nutzern, die effektive Wege genutzt haben, zu Nutzern, die eher umständliche Lösungswege genutzt haben (bei mehreren möglichen Lösungswegen)
Nicht genutzte Zeiten, zum Beispiel Wartezeiten des Nutzers auf das System oder Wartezeiten des Systems auf Eingaben des Nutzers
Augenbewegungen der Benutzer wird aufgezeichnet
Somit kann erkannt werden, was angesehen wird und in welcher Reihenfolge die Blickbewegung erfolgt
Es kann somit auch erkannt werden, welche Bereiche einer Anwendung nicht angesehen werden
findet in der Regel am System (Arbeitsplatz, mobiles Endgerät) des Benutzers statt
Bei einer Beobachtung lässt man sich vom Benutzer eine Anwendung und seine Verwendung zeigen
ohne festgelgte Aufgaben
somit können viele Methoden und Werkzeuge eingesetzt werden
Einblick in die tatsächliche Benutzung der Anwendung zu bekommen
Unterschiedliche Ziele bei Beobachtungen
um selbst einen Überblick über die Anwendung und das Anwendungsgebiet zu bekommen
um zu sehen, wie "routiniert" der Benutzer die Anwendung nutzt
um zu sehen, welche Funktionalitäten der Benutzer zeigt
Vorteil von Beobachtungen
sehr gut geeignet um das Arbeitsgebiet des Benutzers kennen zu lernen und um sich somit im Rahmen einer Arbeits- und Aufgabenanalyse ein Bild von der realen Benutzung der Software zu machen
Werkzeug: Offene Beobachtung
angekündigte Beobachtung
Benutzer reagieren eher zurückhaltender
Routinetätigkeiten werden ermittelt (z.B. um Arbeitsabläufe gut zu verstehen und zu optimieren)
Werkzeug : verdeckte Beobachtung
eine reine Beobachtung ist für eine Evaluation eher ungeeignet
besser ist eine Kombination aus Interview und Beobachtung
Nachteil der Beobachtung
Benutzer werden ungern beobachtet
Aber Sie zeigen gern ihr Wissen und mit der richtigen Ansprache kann es gut gelingen, dass sich ein Benutzer nicht beobachtet fühlt, sondern gerne sein Wissen weitergibt
Methoden des Prinzips “Menschenzentrierte Gestaltung”
Informationsanalyse
Befragung, Usability-Test, Eye-Tracking, Beobachtung
Personas, Storyboards, Zukunftswerkstätten, Fokusgruppen, …
Vorgehen bei der Menschenzentrierten Gestaltung (Human Centered Design, HCD)
Benutzer werden in den Entwicklungsprozess mit einbezogen
die Art der Einbezieung kann sehr unterschiedlich ausfallen und auch davon abhängen, ob das System für die private und/oder gewerbliche Nutzung geplant ist
die Beteiligung der Benutzer am Gestaltungsprozess eines Systems ist überlegt, maßvoll und zielgerichtet einzusetzen
Wichtigsten Eckpunkte zur Einebeziehung von Benutzern in die benutzerorientierten Gestaltung
Wer wird beteiligt? Benutzer oder sofern es ein neues System noch ohne Benutzer ist: Benutzervertreter (z.B. potentielle Benutzer)
Wie wird beteiligt?
Wann wrid beteiligt? Die Beteiligung der Benutzer kann während des gesamten Entwicklungsprozesses, eines Teils des Entwicklungsprozesses oder nur zu ausgewählten Zeitpunkten in Workshops stattfinden
Woran wird beteiligt? Die Beteiligung der Benutzer kann sich auf alle Einzelbereiche der Software (Prozesse, Funktionalitäten, Schnittstellen etc.) beziehen
Passive Mitwirkung: Usability-Experten des Entwicklungsteams berücksichtigen die Bedürfnisse des Benutzers aufgrund von Evaluationsergebnissen -> diese Art der "Beteiligung" ist nicht sinnvoll und entspricht nicht den Vorgaben der Menschenzentrierten Gestaltung.⃘
Aktive Mitentscheidung: Die Benutzer treffen gemeinsam mit Produktverantwortlichen einige Entscheidungen zum System (z.B. über Funktionsumfänge, Metaphern etc.)⃘
Aktive Partizipation: Die Benutzer werden in den frühen Gestaltungsphasen direkt gestaltend tätig (Arbeitsprozesse abbilden, Designentwürfe vorbringen)
Vorteil von der Einbeziehung von Benutzern in die Gestaltung
spart erhebliche Kosten, denn eine einmal fertig entwickelte Software ist nur unter großen Anstrengungen und mit erheblichem (finanziellen) Aufwand anpassbar
Methode: Zukunftswerkstätten
Benutzergruppen werden eingeladen, um zusammen mit dem Moderator drei Phasen zu „durchleben“:
Kritik/Beschwerde
Vision/Zukunft
Praxis/Verwirklichung
Methode: Fokusgruppe
Bei der Methode „Fokusgruppen“ wird einer Gruppe von Benutzern (oder der Zielgruppe) ein Prototyp oder Anwendungsszenarien vorgestellt
Ein Moderator führt die geordnete Diskussion der Gruppe
Ideenfindung, Überprüfung der bisherigen Ergebnisse
Erfahren von Nutzungsproblemen und Wünschen
Methode: Card-Sorting
besonders gut zur Festlegung der Interaktions- und Navigationsstruktur bei umfangreichen Internetauftritten
mindestens 15 (zukünftige) Benutzer erhalten Karten mit Menüpunkten, die diese zu sinnvollen Obermenüs zusammenstellen müssen
in der Konzeptionsphase können die (verschiedenen) mentalen Modelle der Benutzer erfasst und die Begriffe (Navigationspunkte) entsprechend angepasst werden
Methode: Prototyping
Papier-Prototypen
sehr zu empfehlen
regen mehr Ideen und Diskussionen an als visuell gut ausgearbeitete Prototypen
Youtube-Video gucken? Seite 388/389
Methode: Pilot-und Betatests
Oftmals wird eine Software als Beta-Version auf den Markt gebracht, um daran weitere Evaluationen vorzunehmen
Jedoch ist zu bedenken, dass in dieser Phase bereits der Großteil der Arbeit geleistet wurde und nur noch „Feinschliff“ vorgenommen werden kann
Auch erwarten die Benutzer, die eine Beta-Version testen, dass sich die Endversion ungefähr genauso verhält
In der Beta-Phase mit ausführlichen Usability-Evaluationen zu beginnen ist definitiv zu spät
Andererseits sollte die Beta-Phase unbedingt für Tests verwendet werden, beispielsweise für Remote-Beobachtungen oder Remote-Test
Die Erkenntnisse sind insbesondere für die Erstellung weiteren Schulungsunterlagen und Hilfebeschreibungen unerlässlich.
Wann sollte man eine „Beobachtung“ und wann einen „Usability-Test“ durchführen?
Eine „Beobachtung“ eines Benutzers ist immer dann angebracht, wenn es um das Verständnis des Arbeitsprozesses geht. Fragestellung: was macht der Benutzer mit der Software und unter welchen Arbeitsbedingungen? Die Beobachtung dient dem Usability-Experten den Arbeitsprozess zu verstehen.
Ein „Usability-Test“ setzt voraus, dass die Arbeitsprozesse bekannt sind, die getestet werden. Das Verhalten des Benutzers in einem Test zeigt das Verbesserungspotential der Anwendung auf.
Welche Nachteile haben Usability-Tests in Usability-Laboren?
Das Usability-Labor ist für den Probanden eine ungewohnte Umgebung und auch die technische Ausstattung (Monitor, Tastatur) ist ungewohnt. Hinzu kommt, dass bei vielen Probanden (insbesondere aus dem nicht-akademischen Umfeld) eine „Schwellenangst“ besteht. Dies führt dazu, dass die Probanden sich nicht natürlich verhalten. Einige versuchen besondern stark zu kritisieren und andere möchten sich besonders gut darstellen. Dies macht die Testauswertung schwierig und teilweise komplett unbrauchbar.
Was bedeuten die Begriffe „Formative Evaluation“ und „Summative Evaluation“?
Unter der formativen Evaluation werden alle Evaluationsmethoden verstanden, die während der Entwicklung eines Systems verwendet werden und deren Ergebnisse direkt in den weiteren Entwicklungsprozess einfließen. Eine Evaluation ist summativ (=abschließend, zusammenfassend), wenn eine Beurteilung eiens vorhandenen Systems stattfindet. Summativ = abschließend, zusammenfassend.
Last changeda month ago