5. Evaluation

1. Usability-Tests:

   • Labor- und Feldtests zur Evaluation von Funktionen.

   • Formative (frühe Phase) und summative (fertiges System) Tests.

2. Beobachtungen:

   • Nutzerverhalten analysieren (z. B. Tagebuchstudien, Experience Sampling).

3. Fragebögen:

   • Standardisierte Tools wie AttrakDiff und VisAWI.

   • Likert-Skalen und semantische Differenziale.

4. 
   

1. Vorbereitung: Zielgruppe definieren, Testnutzer rekrutieren, Aufgaben festlegen, Moderationsskript erstellen.

2. Einführung: Testteilnehmer erhalten Infos über den Ablauf und unterschreiben eine Einverständniserklärung.

3. Testdurchführung: Teilnehmer lösen Aufgaben, während sie laut denken, der Moderator beobachtet und protokolliert.

4. Abschluss: Teilnehmer geben Feedback, beantworten Fragen und erhalten Incentives.

5. Auswertung: Analyse der Beobachtungen und Testergebnisse, Erstellung eines Berichts mit Verbesserungsvorschlägen.

Bei einer Expertenevaluation prüfen 2–3 Experten ein System systematisch anhand von Checklisten oder Heuristiken.

-> Sie dient dazu, frühzeitig Probleme zu erkennen und diese vor Usability-Tests mit echten Nutzern zu beheben.

-> Sie ist schnell, günstig, aber kein Ersatz für Tests mit Nutze

1. Teilnehmende und nicht-teilnehmende Beobachtung:

   • Beobachter ist aktiv in der Gruppe oder bleibt außenstehend.

2. Feld- und Laborbeobachtung:

   • Feld: Beobachtung in der echten Nutzungssituation.

   • Labor: Beobachtung in einer kontrollierten Umgebung.

3. Offene und verdeckte Beobachtung:

   • Offene: Nutzer weiß von der Beobachtung.

   • Verdeckte: Nutzer weiß nicht davon (nur bei berechtigtem Grund).

Summative Evaluation:

Abschließende Bewertung eines Interfaces, ohne Einfluss auf die Gestaltung, z. B. zum Vergleich von zwei Versionen.

GOMS-Modell:

Das GOMS-Modell (Goals, Operators, Methods, Selection Rules) bewertet die Performance von Benutzerschnittstellen basierend auf grundlegenden Benutzeraktionen.

Incentive:

Anreize wie kleine Geldbeträge oder Geschenke, um Teilnehmer für empirische Untersuchungen zu motivieren.

Ethnomethodologie:

Fokus auf das alltägliche Handeln, bei dem Vorgehensweisen beschrieben werden, ohne über Absichten zu spekulieren.

• Methode zur Bewertung der Gebrauchstauglichkeit eines Systems.

• Identifikation von Problemen bei Navigation, Funktionalität und Benutzerfreundlichkeit.

• Ziel: Verbesserung der User Experience (UX).

• Analytische Tests: Theoretische Analyse, z. B. mit Modellen (GOMS).

• Empirische Tests: Beobachtung echter Nutzer, oft mit Videoaufzeichnung.

• Formative Tests: Unterstützung im Designprozess, qualitative Daten.

• Summative Tests: Evaluation fertiger Systeme, quantitative Daten.

• Testraum: Testmoderator und Teilnehmer, Kamera und Mikrofon.

• Beobachtungsraum: Durch Zweiwegespiegel getrennt, Beobachter können Test live verfolgen.

• Zweck: Neutrale Umgebung, Aufzeichnung von Interaktionen und Ton.

• Neutrale Laborumgebung kann Nutzerverhalten verfälschen (z. B. höhere Konzentration).

• Tests in realen Nutzungskontexten liefern realistischere Ergebnisse.

1. Zielgruppe festlegen.

2. Testnutzer rekrutieren.

3. Aufgaben definieren.

4. Evaluation durchführen.

5. Ergebnisse auswerten und berichten.

• Zielgruppe sollte der späteren Nutzergruppe entsprechen.

• Screening-Kriterien: Demografie, Vorerfahrungen, Interessen.

• Typisch: 5–10 Testnutzer reichen, um die meisten Probleme zu finden.

• Aufgaben sollten repräsentativ, realistisch und spezifisch sein.

• Funktionsbereiche zusammenhängend testen.

• Aufgabenlänge: 5–10 Minuten, realistische Szenarien wählen.

• Moderator führt durch den Test, beobachtet und unterstützt bei Bedarf.

• Teilnehmer werden ermutigt, laut zu denken.

• Videoaufzeichnung und Protokollierung sichern alle Ergebnisse.

• Beobachtungen und Videoaufzeichnungen analysieren.

• Qualitative Probleme identifizieren und dokumentieren.

• Quantitative Metriken wie Erfolgsrate und Zeitaufwand berechnen.

• Effektivität: Erfolgsquote bei Aufgaben.

• Effizienz: Zeitaufwand und benötigte Schritte.

• Zufriedenstellung: Nutzerbefragung oder Verhaltensbeobachtung.

• Feldstudien: Tests in realen Nutzungskontexten.

• Remote-Tests: Durchführung online, unabhängig vom Standort.

• Guerilla-Tests: Schnelle, informelle Tests mit zufälligen Nutzern.

• Usability-Experten prüfen ein System anhand von Heuristiken oder Checklisten.

• Schnell und kostengünstig, aber keine echte Nutzerperspektive.

• Ideal als Vorbereitung für Usability-Tests.

• Überprüfung des Systems anhand von allgemeinen Usability-Prinzipien.

• Beispiele: Nielsen-Heuristiken oder ISO 9241.

• Ziel: Probleme vor Nutzer-Tests identifizieren.

• Technisches Verfahren zur Analyse von Blickbewegungen.

• Ergebnisse: Heatmaps (intensiv betrachtete Bereiche) oder Gazeplots (Betrachtungsreihenfolge).

• Hilfreich für visuelle Interfaces.

• Effektivität: Genauigkeit und Vollständigkeit beim Erreichen eines Ziels.

• Effizienz: Ressourcenaufwand im Verhältnis zum Ergebnis.

• Zufriedenstellung: Übereinstimmung mit den Erwartungen der Nutzer.

Bei einer Laborstudie findet der Test in einer kontrollierten Umgebung statt, die äußere Störquellen minimiert.

-> Dies ist hilfreich, um Fehler und Probleme zuverlässig zu finden. -> Es kann aber auch das Ergebnis verzerren, weil die Testumgebung nicht der Arbeitsumgebung entspricht.

Grundlegend für einen aussagekräftigen Usability-Test ist eine angemessene Auswahl an Testaufgaben. Diese sollte man so wählen, dass sie möglichst repräsentativ für die späteren Aktivitäten sind.

Methode zur Analyse des Nutzerverhaltens durch direkte Beobachtung.

• Werden für Ergänzt Befragungen, um unbewusste oder abweichende Verhaltensmuster zu erkennen. benutzt

1. Teilnehmend vs. nichtteilnehmend: Beobachter ist Teil der Gruppe oder nicht.

2. Feld- vs. Laborbeobachtung: Natürliches Umfeld oder kontrollierte Umgebung.

3. Offen vs. verdeckt: Zielpersonen wissen von der Beobachtung oder nicht.

   
   

1. Selbst- vs. Fremdbeobachtung: Nutzer dokumentiert selbst oder Beobachter analysiert.

2. Direkt vs. indirekt: Echtzeit-Beobachtung oder Analyse von Ergebnissen/Spuren.

3. Technisch vermittelt vs. unvermittelt: Mit oder ohne technische Hilfsmittel.

• Vorteile: Unabhängig von Nutzerangaben, Identifikation von Verhaltensmustern.

• Nachteile: Momentaufnahmen, können Nutzerverhalten beeinflussen.

• Selbstbeobachtung über längere Zeiträume durch schriftliche Berichte.

• Geeignet, um langfristige Nutzung und Veränderung des Verhaltens zu analysieren.

• Strukturiert: Vorgaben zu Inhalt und Format, bessere Vergleichbarkeit.

• Unstrukturiert: Freie Gestaltung, individueller Fokus der Teilnehmer.

1. Umfragen: Wiederholte Fragebögen, kombiniert qualitative und quantitative Daten.

2. Usability-Tests: Aufgaben dokumentieren und Erfahrungen berichten.

3. Problemberichte: Anlassbezogenes Dokumentieren bei auftretenden Problemen.

• Regelmäßige, kontextbezogene Selbstauskünfte über mobile Geräte.

• Erfasst Eindrücke zur User Experience in Echtzeit und über längere Zeiträume.

• Direkte und kontextbezogene Selbstauskünfte.

• Kombination von Fragebögen, Texten, Audio-, Videoaufzeichnungen oder Fotos.

• Ideal für Feldstudien und UX-Qualitätsmessung.

• Feldbeobachtung: Für realitätsnahe Daten zur UX in natürlicher Umgebung.

• Laborbeobachtung: Für präzise, kontrollierte Usability-Tests.

Antwort:

• Teilnehmer müssen zuverlässig dokumentieren.

• Aufwand für Teilnehmer kann hoch sein.

• Datenqualität hängt von Häufigkeit und Struktur der Berichte ab.

Das Kürzel steht für Experience Sampling Method, eine Methode der Selbstbeobachtung, bei der Testteilnehmer über ein Kommunikationsgerät nach Aufforderung Selbstauskünfte geben.

Strukturierte Tagebücher können die Form von Umfragen, Usability-Tests oder Problemberichten annehmen. Unstrukturierte Tagebücher verfügen auch über einen Fragebogen, der als Leitfaden für die Selbstauskunft dient.

• Sie ergänzen Beobachtungen durch gezielte Selbstauskunft der Nutzer.

• Erlauben die Erhebung emotionaler, ästhetischer und hedonischer Eindrücke.

• Kombinieren psychologische und marktforschungsbasierte Methoden.

• Validierte Werkzeuge zur objektiven Messung der User Experience.

• Ergebnisse sind vergleichbar und wissenschaftlich fundiert.

• Beispiele: VisAWI für visuelle Ästhetik, AttrakDiff für hedonische und pragmatische Qualitäten.

1. Unipolar: Bewertung auf einer Skala (z. B. von „schlecht“ bis „gut“).

2. Bipolar: Gegensätzliche Pole (z. B. „hässlich“ vs. „schön“).

3. Numerisch, verbal, symbolisch: Zahlen, Worte oder Symbole (z. B. Smileys).

• Zustimmungsskalen von „stimme vollkommen zu“ bis „stimme nicht zu“.

• Üblicherweise 5–7 Abstufungen, gerade Zahlen erzwingen eine Entscheidung.

• Erlauben das Addieren von Werten für Gesamtergebnisse.

• Visualisieren Emotionen auf zwei Achsen (z. B. Erregung und Vergnügen).

• Schnell und effektiv für emotionale Bewertungen, besonders in Längsschnittstudien.

1. Geneva Emotion Wheel: Emotionen in einer zweidimensionalen Matrix.

2. PrEmo: Cartoon-Charaktere, die Emotionen wie Freude, Stolz oder Ekel darstellen.

3. iScale und UXCurve: Grafische Skizzen emotionaler Erlebnisse über Zeit.

• Bewertung anhand von Begriffspaaren (z. B. „langsam“ vs. „schnell“).

• Messen affektive Qualitäten von Objekten oder Systemen.

• Ergebnisse werden oft mit Faktoranalyse ausgewertet.

• Methode zur Erforschung von Beweggründen und Zielen der Nutzer.

• Erfasst die Beziehung zwischen Produkteigenschaften und Nutzerwerten.

• Nutzt wiederholte Fragen, um Werte und Bedürfnisse zu ermitteln.

• Reduzieren sozialen Druck, da Nutzer alleine sprechen können.

• Bieten detaillierte Einblicke in spontane Reaktionen.

• Schwierig zu kontrollieren und oft zeitaufwendig in der Auswertung

• Nutzer definieren Eigenschaften (Konstrukte) und bewerten Systeme danach.

• Ergebnisse zeigen individuelle Bedeutungen und Vergleiche zwischen Systemen.

• Nutzt qualitative und quantitative Auswertung (z. B. Clusteranalyse).

Bei dem Fragebogen AttrakDiff handelt es sich um einen standardisierten Fragebogen, der ein semantisches Differenzial nutzt.

Bei dem Fragebogen VisAWI handelt es sich um einen standardisierten Fragebogen, der eine Likert-Skala nutzt.

Die Laddering-Technik ist eine Interviewmethode, die dazu dient, die Beweggründe von Konsumenten zu erforschen. Sie stellt eine Beziehung zwischen Produkteigenschaften und persönlichen Werten her.

1. Eyetracking & Körperdaten:

   • Blickverlauf und physiologische Reaktionen messen.

2. Expertenevaluationen:

   • Heuristische Evaluation, Checklisten oder Cognitive Walkthroughs.

3. Prototyping:

   • Papier- oder digitale Prototypen für Konzepttests.

1. Direkte und indirekte Beobachtung:

   • Direkt: Beobachtung während der Nutzung.

   • Indirekt: Analyse von Ergebnissen oder Spuren des Verhaltens.

2. Tagebuchstudien:

   • Nutzer dokumentiert Erfahrungen über einen längeren Zeitraum.

3. Experience Sampling Method (ESM):

   • Nutzer gibt regelmäßig Selbstauskunft in der Nutzungssituation.