5. EVALUATION

• Überprüft, ob das Design verständlich und benutzerfreundlich ist.

• Erkennt frühzeitig Probleme und verbessert das Produkt.

• Stellt sicher, dass Nutzererwartungen erfüllt werden.

• Usability: Misst Effizienz, Fehlervermeidung und Funktionalität.

• User Experience (UX): Betrachtet Emotionen und das Nutzungserlebnis über längere Zeit.

1. Formative Evaluation:

   • Während des Designprozesses.

   • Hilft, Probleme frühzeitig zu erkennen.

     
     

2. Summative Evaluation:

   • Nach Abschluss des Designs.

   • Vergleicht verschiedene Versionen eines Produkts.

Qualitative Methoden: Beobachtungen, Interviews, Tagebuchstudien.

Quantitative Methoden: Fragebögen, Nutzungsmetriken (Fehlerquote, Zeitmessungen).

• Labor vs. reale Umgebung:

  • Labor: Kontrollierte Testsituation.

  • Reale Umgebung: Realistischere Nutzungssituation.

• Entwickelt von Card, Moran und Newell.

• Bewertet, wie effizient Nutzer mit einer Benutzerschnittstelle interagieren.

• Zerlegt Aufgaben in einzelne Aktionen zur Analyse.

• Überprüft, ob ein System einfach und effizient genutzt werden kann.

• Erkennt Probleme frühzeitig während der Entwicklung.

• Hilft, Nutzerfreundlichkeit und Effizienz eines Systems zu verbessern.

• Analytische Tests:

  • Durchgeführt von Experten, ohne Nutzerbeteiligung.

  • Nutzen Modelle (z. B. GOMS), Checklisten oder Heuristiken.

• Empirische Tests:

  • Echte Nutzer testen das System, während sie beobachtet werden.

  • Aufzeichnung und spätere Analyse von Verhalten und Problemen.

1. Labortests: In einer kontrollierten Umgebung mit Kamera- und Mikrofonaufzeichnung.

2. Feldtests: In der echten Umgebung der Nutzer (z. B. Arbeitsplatz).

3. Remote-Tests: Online-Tests ohne physische Anwesenheit.

4. Guerilla-Tests: Spontane Tests mit zufälligen Nutzern (z. B. in einem Café).

• Formativer Test:

  • Während der Entwicklung durchgeführt.

  • Nutzt qualitative Daten, um Designentscheidungen zu verbessern.

    
    

• Summativer Test:

  • Nach Fertigstellung des Produkts durchgeführt.

  • Nutzt quantitative Daten, um die Effektivität messbar zu machen.

• Testraum:

  • Enthält Computer, Kamera und Mikrofon für die Testaufzeichnung.

• Beobachtungsraum:

  • Getrennt durch einen Zwei-Wege-Spiegel, damit Forscher Nutzer unbemerkt beobachten können.

• Bildschirmaufzeichnung:

  • Kommentare und Handlungen der Nutzer werden dokumentiert.

✅ Vorteile:

• Kontrollierte Umgebung ohne Ablenkungen.

• Genaue Beobachtung der Nutzerreaktionen möglich.

❌ Nachteile:

• Nutzer verhalten sich oft anders als in ihrer echten Umgebung.

• Fehlende äußere Ablenkungen können Testergebnisse verfälschen.

1. Zielgruppe identifizieren – Wer soll den Test durchführen?

2. Testnutzer rekrutieren – Auswahl passender Personen.

3. Aufgaben bestimmen – Welche Funktionen sollen getestet werden?

4. Evaluation durchführen – Durchführung des Tests mit Beobachtung.

5. Ergebnisse berichten – Erkenntnisse dokumentieren und analysieren.

• Damit die Ergebnisse die tatsächliche Nutzung widerspiegeln.

• Falsche Testpersonen können falsche Erkenntnisse liefern.

• Ziel ist es, Probleme frühzeitig zu identifizieren.

• 5–10 Personen sind ausreichend.

• Mehr Teilnehmer bedeuten oft keinen zusätzlichen Nutzen.

• Ein Rekrutierungsfragebogen, um passende Testnutzer auszuwählen.

• Enthält Kriterien wie Alter, Geschlecht, Erfahrung, Interesse am Produkt.

• Repräsentativ: Soll realistische Nutzungsszenarien abbilden.

• Sinnvolle Reihenfolge: Logisch aufeinander aufbauend.

• Klar formuliert: Vermeidet Missverständnisse.

• Motivierend: Durch fiktive Szenarien realistischer wirken.

• 1–2 Stunden insgesamt.

• Einzelne Aufgaben sollten 5–10 Minuten dauern.

• Sichert einen einheitlichen Ablauf der Tests.

• Gibt Anweisungen für Moderatoren (z. B. wann welche Informationen gegeben werden).

• Stellt sicher, dass Technik und Abläufe reibungslos funktionieren.

1. Einleitung: Erklärung des Tests, Einverständniserklärung, Vertrauen aufbauen.

2. Hauptteil: Teilnehmer bearbeiten Aufgaben, Moderator greift nur bei Bedarf ein.

3. Abschlussteil: Teilnehmer geben Feedback, beantworten Fragen, erhalten ggf. Incentives.

• Vertrauen aufbauen, damit Teilnehmer sich wohlfühlen.

• Unnötige Unterbrechungen vermeiden, um authentische Ergebnisse zu erhalten.

• Teilnehmer zum lauten Denken ermutigen.

• Den Fokus der Teilnehmer auf die Aufgabe lenken, falls sie abschweifen.

• Lösungsvorschläge testen und Nutzerreaktionen beobachten.

• Notizen und Protokolle durch Beobachter oder Protokollant.

• Videoaufzeichnungen zur detaillierten Analyse von Fehlern und Problemen.

• Getrennte Beobachtung durch Teammitglieder im Nebenraum oder durch Kameras.

• Qualitative Daten: Beobachtungen zu Nutzerproblemen, Verhalten und Reaktionen.

• Quantitative Daten: Erfolgs- und Abbruchraten, Zeit zur Lösung einer Aufgabe.

• Metriken zur Bewertung: Kategorien wie „Scheitern“, „langsamer Erfolg“, „schneller Erfolg“.

• Executive Summary: Kurze Zusammenfassung der wichtigsten Erkenntnisse.

• Hauptteil: Beschreibung der Testmethode, Teilnehmer und Ergebnisse.

• Illustration der Probleme: Screenshots, Zitate der Teilnehmer, konkrete Beispiele.

1. Experimente: Wissenschaftlich kontrollierte Tests mit isolierten Variablen.

2. Kooperative Evaluation: Enge Zusammenarbeit zwischen Nutzer und Gestalter.

• Überprüfung einer Ursache-Wirkungs-Beziehung im System.

• Messung, ob eine Änderung zu einer besseren oder schlechteren Nutzung führt.

• Anwendung meist in wissenschaftlichen Studien, nicht im Designprozess.

• Aufwendig und erfordert viele Testpersonen.

• Künstliche Testumgebungen, die nicht der echten Nutzung entsprechen.

• Geringe Motivation der Testpersonen durch unrealistische Aufgaben.

• Nutzer und Gestalter arbeiten direkt zusammen.

• Nutzer beschreibt Probleme während der Nutzung.

• Ziel: Frühzeitige Verbesserung des Designs durch direktes Feedback.

• Einfache und günstige Durchführung.

• Identifikation und Lösung von Problemen schon in frühen Entwicklungsphasen.

• Direkte Kommunikation zwischen Nutzer und Entwickler.

• Testen des Systems in der echten Umgebung der Nutzer.

• Erfasst, wie sich das Produkt unter realen Bedingungen verhält.

Vorteile:

• Zeigt echte Nutzungsszenarien und Probleme.

• Keine künstlichen Einschränkungen wie im Labor.

Nachteile:

• Teilnehmer müssen sich natürlich verhalten, obwohl sie beobachtet werden.

• Unkontrollierte Umgebung kann zu übersehenen Problemen führen.

• Messwerte zur Bewertung der Benutzerfreundlichkeit eines Systems.

• Sie ergänzen qualitative Usability-Tests mit quantifizierbaren Daten.

• Beispiele: Messung von Bediengeschwindigkeit, Fehlerquote, Nutzerzufriedenheit.

1. Effektivität: Wie genau und vollständig Nutzer ihre Ziele erreichen.

2. Effizienz: Wie viel Zeit und Ressourcen für eine Aufgabe benötigt werden.

3. Zufriedenstellung: Wie gut die Erwartungen der Nutzer erfüllt werden.

• Effektivität: Erfolgsquote bei der Aufgabenbewältigung (z. B. abgeschlossene Aufgaben).

• Effizienz: Zeitaufwand und Anzahl der benötigten Schritte pro Aufgabe.

• Durch Fragebögen nach der Nutzung.

• Durch direkte Beobachtung der Nutzerreaktionen.

• Messung emotionaler Reaktionen (z. B. Körpersprache, Gesichtsausdrücke).

• Eyetracking: Erfasst Blickbewegungen der Nutzer auf einem Bildschirm.

  
  

• Darstellungsarten:

  1. Heatmaps: Farblich hervorgehobene Bereiche zeigen, wo Nutzer am meisten hinschauen.

  2. Gazeplots: Zeigen Reihenfolge und Dauer der Blickbewegungen.

• Herzfrequenz, Hautleitfähigkeit, Blutdruck: Hinweise auf Stress oder Freude.

• Gesichtsmimik: Analyse emotionaler Reaktionen auf ein System.

Expertenevaluationen:

Usability-Überprüfung durch Fachleute statt durch Nutzer.

• Drei Hauptarten:

  1. Heuristische Evaluation: Experten bewerten das System anhand von Usability-Prinzipien.

  2. Walkthrough: Experten gehen typische Nutzeraufgaben durch.

  3. Checklistenbasierte Evaluation: System wird mit einer vorgefertigten Checkliste überprüft.

Experten simulieren den Denkprozess eines Nutzers bei der Nutzung eines Systems.

• Ziel: Probleme identifizieren, die Nutzern Schwierigkeiten bereiten könnten.

• Ergänzen oder widersprechen Nutzeraussagen aus Interviews und Fragebögen.

• Helfen, unbewusstes Nutzerverhalten zu erfassen.

• Zeigen, wie Nutzer tatsächlich mit einem System interagieren

1. Teilnehmend / nichtteilnehmend: Beobachter ist Teil der Gruppe oder nur Zuschauer.

2. Feld- / Laborbeobachtung: Natürliches Umfeld vs. kontrollierte Umgebung.

3. Offen / verdeckt: Nutzer weiß von der Beobachtung oder nicht.

4. Selbst- / Fremdbeobachtung: Nutzer beobachtet sich selbst oder wird beobachtet.

5. Direkt / indirekt: Verhalten wird live beobachtet oder aus Spuren abgeleitet.

6. Technisch vermittelt / unvermittelt: Mit Kameras oder ohne Technik.

• Usability-Tests messen Bedienbarkeit, aber nicht langfristige Nutzererfahrungen.

• Beobachtung im Labor zeigt nur Momentaufnahmen, keine Entwicklung über Zeit.

• UX-Qualität erfordert Methoden wie Selbstbeobachtung (z. B. Tagebuchstudien).

Nutzer dokumentiert seine Erfahrungen über längere Zeit.

• Vorteile:

  • Erfasst langfristige Veränderungen im Nutzerverhalten.

  • Geografisch verteilte Teilnehmer möglich.

  • Smartphone-Apps erleichtern Datenerfassung.

1. Unstrukturierte Tagebücher: Nutzer notiert frei, was er für wichtig hält.

2. Strukturierte Tagebücher: Vorgegebene Fragen für bessere Vergleichbarkeit.

   • Umfragen: Regelmäßige Fragebögen.

   • Usability-Tests: Nutzer beschreibt Erfahrungen bei Aufgaben.

   • Problemberichte: Eintrag nur bei Problemen.

• Nutzer gibt über den Tag verteilt regelmäßige Selbstauskünfte.

• Verwendet mobile Geräte für direkte Erfassung von UX-Erfahrungen.

• Erfasst kontextbezogene Daten, oft genutzt in Medizin und Psychologie.

• Beobachtung allein reicht nicht aus, um UX-Qualität vollständig zu erfassen.

• Befragungen helfen, Emotionen und subjektive Nutzererfahrungen zu verstehen.

• Sie stammen aus der Psychologie und Marktforschung.

• Vergleichbare und wissenschaftlich fundierte Ergebnisse.

• Ermöglichen eine objektive UX-Bewertung.

• Gut geeignet für den Vergleich verschiedener Systeme (summative Evaluation).

• VisAWI: Bewertet die visuelle Ästhetik eines User Interfaces.

• AttrakDiff: Misst die Attraktivität und das Nutzererlebnis.

• Beide existieren auch in Kurzformen für schnellere Anwendung.

• Unipolare Skala: Bewertung ohne Gegengewicht (z. B. 1 bis 5).

• Bipolare Skala: Zwei gegensätzliche Begriffe (z. B. „hässlich – schön“).

• Numerische Skala: Bewertung mit Zahlen (z. B. 1 bis 10).

• Verbale Skala: Begriffe für Abstufungen (z. B. „selten“, „oft“, „immer“).

• Symbolische Skala: Verwendet Smileys oder Symbole für Bewertungen.

• Likert-Skalen: Bewertungsskala mit Zustimmungsmöglichkeiten (z. B. „stimme zu“ – „stimme nicht zu“).

• Semantische Differenziale: Bewertung zwischen zwei gegensätzlichen Begriffen.

• Repertory-Grid-Technik: Individuelle Bewertungskriterien, visuell dargestellt

• Eine Methode zur Bewertung von Emotionen ohne Zahlen oder Worte.

• Erleichtert intuitive und schnelle Einschätzungen von Nutzererfahrungen.

• Nutzt Symbole (z. B. Gesichtsausdrücke) zur Erfassung von Affekten.

• Bewertet Emotionen auf zwei Achsen:

  • Erregung (Arousal): Aktiv vs. ruhig.

  • Vergnügen (Pleasantness): Positiv vs. negativ.

• 9x9 Raster, bei dem Nutzer ihre Emotionen eintragen.

• Gut für wiederholbare Bewertungen und Längsschnittstudien.

• Zwei Achsen:

  • Valenz (Valence): Positiv oder negativ empfundene Emotionen.

  • Kontrolle (Control): Gefühl der Kontrolle über eine Situation.

• Enthält 20 Emotionen mit vier Intensitätsstufen.

• Zeigt Emotionen in einer übersichtlichen Anordnu

• Nutzer zeichnen ihre Emotionen als Graph über einen Zeitraum.

• Kostengünstige Methode zur Analyse von Nutzererlebnissen.

• Ideal zur Sammlung von Erinnerungsdaten ohne langfristige Studien.

• Dient zur Bewertung der Nutzererfahrung über die Zeit.

• Wird in Interviews genutzt, um Veränderungen zu analysieren.

• Bewertet Aspekte wie Attraktivität, Benutzerfreundlichkeit und Nützlichkeit.

Bewertungsmethode für Emotionen mit animierten Figuren.

• Enthält 14 Emotionen (Freude, Angst, Stolz, Ekel usw.).

• Nutzer wählen mehrere Emotionen aus und bewerten deren Intensität.

• Besonders nützlich für kulturelle Vergleiche von Produktwahrnehmungen.

• Bewertungsskala für Zustimmung oder Ablehnung zu Aussagen.

• Meist 5–7 Abstufungen (z. B. „stimme vollkommen zu“ bis „stimme gar nicht zu“).

• Gerade Anzahl erzwingt eine Entscheidung, ungerade Anzahl erlaubt eine neutrale Antwort.

• Gesamtwert pro Teilnehmer kann berechnet werden.

• Bewertet emotionale Wahrnehmung eines Objekts mit bipolaren Begriffspaaren.

• Typisch: 20–30 Paare, z. B. „modern – altmodisch“.

• Bewertung auf siebenstufiger Skala.

• Wird zur Analyse von Stereotypen und Produktbewertungen genutzt.

• Kombination aus qualitativen und quantitativen Methoden.

• Nutzer bestimmen eigene Bewertungskriterien für Objekte.

• Vergleich der Objekte anhand dieser individuellen Kriterien.

• Auswertung:

  • Qualitativ: Analyse ungewöhnlicher Kriterien.

  • Quantitativ: Statistische Methoden wie Faktorenanalyse.

• Bewertet hedonische (Spaß, Ästhetik) und pragmatische (Effizienz, Funktionalität) UX-Qualitäten.

• Nutzt ein semantisches Differenzial mit 21 Begriffspaaren.

• Ergebnisse werden in einer 9-Felder-Matrix dargestellt.

• Bewertet die visuelle Ästhetik von Benutzeroberflächen.

• Bewertet 4 Bereiche:

  1. Einfachheit

  2. Vielseitigkeit

  3. Farbigkeit

  4. Kunstfertigkeit

• Nutzung einer siebenstufigen Likert-Skala.

• Teilnehmer beschreiben ihre Erfahrungen ohne direkten Interviewer-Einfluss.

• Vorteile:

  • Weniger sozialer Druck.

  • Ehrlichere und spontanere Antworten.

• Nachteil: Unkontrollierte Inhalte, oft viele irrelevante Infos.

• Erforscht Nutzerentscheidungen durch mehrfaches Nachfragen.

• Teilnehmer nennen Produktattribute, die ihnen wichtig sind.

• Fragen decken tiefere Beweggründe und persönliche Werte auf.

• Ziel: Verbindung zwischen Produktmerkmalen und Nutzererlebnis herstellen.

Bei einer Laborstudie findet der Test in einer kontrollierten Umgebung statt, die äußere Störquellen minimiert.

Dies ist hilfreich, um Fehler und Probleme zuverlässig zu finden. Es kann aber auch das Ergebnis verzerren, weil die Testumgebung nicht der Arbeitsumgebung entspricht.

Grundlegend für einen aussagekräftigen Usability-Test ist eine angemessene Auswahl an Testaufgaben.

Diese sollte man so wählen, dass sie möglichst repräsentativ für die späteren Aktivitäten sind.

Das Kürzel steht für Experience Sampling Method, eine Methode der Selbstbeobachtung, bei der Testteilnehmer über ein Kommunikationsgerät nach Aufforderung Selbstauskünfte geben.

Strukturierte Tagebücher können die Form von Umfragen, Usability-Tests oder Problemberichten annehmen.

Unstrukturierte Tagebücher verfügen auch über einen Fragebogen, der als Leitfaden für die Selbstauskunft dient.

Bei dem Fragebogen AttrakDiff handelt es sich um einen standardisierten Fragebogen, der ein semantisches Differenzial nutzt.

Bei dem Fragebogen VisAWI handelt es sich um einen standardisierten Fragebogen, der eine Likert-Skala nutzt.

Die Laddering-Technik ist eine Interviewmethode, die dazu dient, die Beweggründe von Konsumenten zu erforschen.

Sie stellt eine Beziehung zwischen Produkteigenschaften und persönlichen Werten her.