Designing Experiments for Ubicomp

• Kausale Zusammenhänge finden

• Der Grund muss dem Effekt vorausgehen

• Grund und Effekt sollten korrellieren, alle anderen Korrelationen sollten ausgeschlossen werden

• Experimentelle Gruppe mit Grund

• Kontrollgruppe ohne Grund

Qualitativ

• Um nicht direkt messbares Feedback zu erfassen

• Fehlende Funktionen des Produkts zu erfragen

• Während der Design Phase genutzt

• Hilft dem Produkt die richtige Passform zu geben

Quantitativ

• Um Performance zu messen

• Generiert statistische Daten

• Absicherung über die Qualität des fertigen Produkts

• Histograms

  • Gut, um zeitliche Trends abzubilden

• Boxplots

  • Gut, um die Distribution der Daten bezogen auf die gesamte Anzahl an Daten zu zeigen

• Scatter Plots

  • Um einzelne Datenpunkte abzubilden

• Wert zwischen 0 und 1

• Gibt an, wie nah die beiden Means der Populationen sind und somit wie wahrscheinlich Random Noise in den Daten ist

• Der herausgegebene Wert gibt die Chance an, wie wahrscheinlich es ist, dass beide Population denselben Mean besitzen

• Je höher, desto besser

Experimentell:

• Isolierte und kontrollierte Variablen

• Gefahr von beeinflussten Situationen, da die Teilnehmer in der gestellten Situation anders reagieren

Observativ:

• Natürliche Umgebung, beobachten der Probanden und wie sie sich natürlich verhalten

• Variablen können nicht isoliert betrachtet werden

• Sehr Zeitaufwendig

Daher:

• Findings mit Observationen stützen oder

• Hypothese durch Beobachten identifizieren

• Reale Experimente sind nicht immer möglich z.B. aus ethischen Gründen

• Es wird die Kontrolle über das Timing der Messungen übernommen

• Die unabhängigen Variablen können nicht ganz kontrolliert werden

One Group post-test design:

• Nach der Behandlung wird gemessen

One group pre-test/post-test design:

• Vor und nach der Behandlung wird gemessen

• Keine Garantie, dass der Effekt nicht auch ohne Behandlung eingetreten wäre

Interrupted time-series design:

• Eine Vielzahl von Messungen, vor und nach der Behandlung

• Historische Gefahren können dadurch nicht verhindert werden

Static Group Comparison Design:

• Experimentelle Gruppe mit Behandlung und Kontrollgruppe ohne Behandlung

• Probanden werden den Gruppen meistens nicht zufällig zugewiesen

Within-Subject Design:

• Alle Probanden sind alle Bedingungen ausgesetzt

• Zufällige Anordnung der Bedingungen, um Ordnungseffekte zu verhindern

• Man benötigt wenige Teilnehmer, aber es können Lerneffekte auftreten

Between-Group Design:

• Verteilung auf Gruppen

• Für jede Bedingung die Gruppe an Probanden separieren

• Vorsichtige Auswahl der Gruppen ist essenziell

• Benötigt viele Teilnehmer und die Signifikanz ist schwieriger zu zeigen, dafür keine Lerneffekte

Post-test only control group design:

• Zufällige Verteilung der Probanden auf Test- und Kontrollgruppe ohne Messung vor der Behandlung

• Auch durch zufällige Verteilung kann keine Gleichgewichtung der Gruppen garantiert werden

Pre-test / post-test control group design:

• Durch die Messung vor der Behandlung wird Gleichgewichtung der Gruppen garantiert

• Performance kann darunter leiden

Solomon four-group design:

• Zwei Kontroll- und Testgruppe

• Bei einer Kontoll- und Testgruppe wird vorab gemessen

• Bei den anderen Kontroll- und Testgruppen nicht

• Sehr viel Zeit und Probanden benötigt

Wizard of Oz:

• Den Probanden glauben lassen, das System funktioniert autonom

• Dabei steuert ein Mensch die Maschine so, wie es gewollt ist und darf dabei nicht gesehen werden

• Wissenschaftler können Feedback für das System sammeln, ohne es in Gänze zu entwickeln

Living Lab:

• Forschung und Entwicklung finden parallel in einem Ökosystem statt

• Direkte Erfahrung und Feedback mit den Prototypen

Participatory Design:

• Alle Probanden kooperieren mit den Entwicklern während Forschung und Entwicklung

• Benötigt konstanten Austausch zwischen den Parteien