VL 5 - Untersuchungsplanung

Merke! Das Design einer Untersuchung entscheidet darüber, ob die erhobenen Daten geeignet sind, eine richtige Entscheidung über eine Hypothese zu treffen

siehe Abbildung F.4

1. Wissenschaftstheoretischer Ansatz der Studie

2. Erkenntnisziel der Studie

3. Gegenstand der Studie

4. Datengrundlage bei empirischen Studien

5. Erkenntnisinteresse bei empirischen Studien

6. Bildung und Behandlung von Untersuchungsgruppen bei explanativen Studien

7. Untersuchungsort bei empirischen Studien

8. Anzahl der Untersuchungszeitpunkte bei empirischen Studien

9. Anzahl der Untersuchungsobjekte bei empirischen Studien

1. Quantitative Studie

2. Qualitative Studie

3. Mixed-Methods-Studie

• Grundlagenwissenschaftliche Studie (basic research study)

• Anwendungswissenschaftliche Studie (applied research study)

  • a) Unabhängige Studie

  • b) Auftragsstudie

• empirische Studie

  • Originalstudie

  • Replikationsstudie

• Methodenstudie

• Theoriestudie

  • Review/Forschungsüberblick

  • Metaanalyse

• Primäranalyse

• Sekundäranalyse

• Metaanalyse

• explorative (gegenstandsbeschreibende/theoriebildende) Studie

• deskriptive (populationsbeschreibende) Studie

• Explanative (hypothesenprüfende) Studie

• experimentelle Studie bzw. RCTs

• quasi-expeirmentelle Studie bzw. nicht randomisierte Studie (NRCT)

• nicht-experimentelle-Studie

• Laborstudie

• Feldstudie

• (Quasi-) Experimentelle Studien mit und ohne Messwiederholungen

  • a) (quasi-) experimentelle Studie ohne Messwiederholungen (“between-subject-designs”)

  • b) (quasi-) experimentelle Studien mit Messwiederhlungen (“within subjects design”)

• Nicht experimentelle Studien (z.B. korrelatives Design) mit und ohne Messwiederholungen

  • a) Querschnittstudie ->Eine Querschnittsstudie hingegen erhebt Daten von verschiedenen Individuen oder Einheiten zu einem bestimmten Zeitpunkt. Das Hauptziel einer Querschnittsstudie ist es, einen Überblick über die aktuelle Situation oder die Prävalenz von Merkmalen oder Variablen in einer bestimmten Population zu erhalten.

  • b) Trendstudie -> Es handelt sich um eine Art Querschnittsstudie, da zu jedem Zeitpunkt Daten von verschiedenen Individuen oder Einheiten gesammelt werden; Eine Trendstudie ist eine Art von Studie, bei der dieselben Variablen über einen längeren Zeitraum hinweg beobachtet werden, um Veränderungen oder Trends im Laufe der Zeit zu analysieren

  • c) Längsschnittstudie ->In einer Längsschnittstudie werden Daten von derselben Stichprobe oder Population über einen längeren Zeitraum hinweg gesammelt, oft mit regelmäßigen Intervallen; Im Gegensatz zur Trendstudie werden in Längsschnittstudien dieselben Individuen oder Einheiten über die Zeit beobachtet, um individuelle Veränderungen oder Entwicklungen zu verfolgen.

• Gruppenstudie

  • Stichprobenstudie

  • Vollerhebung

• Einzelfallstudie

Die APA Style Journal Article Reporting Standards (APA Style JARS) sind eine Reihe von Richtlinien, die für Autoren, Gutachter und Redakteure von Zeitschriften entwickelt wurden, um die wissenschaftliche Qualität von Zeitschriftenartikeln mit Peer Review zu verbessern. Lehrende und Studierende können die APA Style JARS als Lehr- und Lernmittel verwenden, um qualitativ hochwertige Forschung zu betreiben und zu bestimmen, welche Informationen in wissenschaftlichen Artikeln veröffentlicht werden sollen.

• 5 Steps

• 6 Tabellen

• Einschluss und Ausschluss

• Merkmale der Teilnehmer

• Stichprobenverfahren

• Stichprobengröße, Aussagekraft und Genauigkeit

• Messungen und Kovariaten

• Data collection/Datenerhebung

• Qualität der Messungen

• Instrumentierung

• Maskierung

• psychometrsiche Daten

• Bedingungen und Design

• Datendiagnose

• Analysestrategie

Definition Validität einer empirischen Untersuchung: Die Validität einer Untersuchung ist umso größer, je größer die Wahrscheinlichkeit ist, dass die Untersuchung Ergebnisse erbringt, die zu einer richtigen Entscheidung über die geprüfte Hypothese führen. (Westermann, 2000, S. 293)

Aus dieser Definition ergeben sich folgende Konsequenzen:

Die Validität einer Untersuchung wird größer, wenn sowohl die Wahrscheinlichkeit (e) für eine fälschliche Akzeptierung (Alpha-Fehler) als auch die Wahrscheinlichkeit (f) für eine fälschliche Ablehnung der empirischen Hypothese (Beta-Fehler) kleiner wird.

• Die Validität wird größer, wenn e sinkt und f gleichbleibt.

•  Die Validität wird größer, wenn f sinkt und e gleichbleibt.

  
  

  Merke:

• Wenn e klein gehalten wird, handelt es sich um eine strenge Prüfung der Hypothese.

• Wenn f klein gehalten wird, handelt es sich um eine wohlwollende Prüfung der Hypothese.

– Theorienvalidität

– Hypothesenvalidität

–  Interne Validität

–  Externe Validität

–  Psychometrische Validität (Konstruktvalidität, Kriteriumsvalidität)

–  Signifikanztestvalidität

–  Entscheidungsvalidität

–  Interpretationsvalidität

—> Untersuchungsplanung wichtig!

1. Kovarianz: Veränderungen in der angenommenen Ursache (unabhängige Variable, UV) müssen mit den Veränderungen im angenommenen Effekt (abhängige Variable, AV) in einem systematischen Zusammenhang stehen.

2. Zeitliche Abfolge: Die Ursache (UV) muss vor dem Effekt (AV) stattfinden.

3. Keine alternativen Erklärungen: Die angenommene Ursache muss die einzige mögliche Ursache für den Effekt (AV) sein (ceteris paribus Bedingung).

Merke: Wie unterteilt sich die Fehlervarianz?: Sekundärvarianz (systematischer Fehler) udn Zufallsfehler

Veranschaulichung des Signal-Rausch-Verhältnisses: Verrauschtes Bild (links), 2-fach gemittelt (Mitte), 8-fach gemittelt (rechts)

Das Signal-Rausch-Verhältnis (auch SNR, englisch: Signal-to-Noise Ratio) ist ein Begriff aus der Statistik und Signalverarbeitung, der das Verhältnis zwischen der Stärke eines nützlichen Signals (Signal) und der Stärke von unerwünschtem Rauschen (Rauschen) beschreibt. In anderen Worten, es misst das Verhältnis zwischen dem gewünschten Signal und den störenden Hintergrundgeräuschen oder Interferenzen.

In der Praxis wird das SNR verwendet, um die Qualität und die Zuverlässigkeit von Signalen oder Messungen zu bewerten. Ein höheres SNR bedeutet, dass das Signal im Verhältnis zum Rauschen stärker und besser erkennbar ist, während ein niedrigeres SNR auf eine geringere Signalqualität oder eine höhere Störung hinweist.

Ein hohes SNR ist in vielen Anwendungen wünschenswert, da es die Genauigkeit und Zuverlässigkeit von Messungen und Kommunikationssystemen verbessert, indem es das Signal besser vom Rauschen trennt.

1) Maximiere das Signal (Primärvarianz): z.B. Umwandlung eines Störfaktors in eine weitere UV

2) kontrolliere die Sekundärvarianz, also den systematischen Fehler: z.B. durch Randomisierung oder Eliminierung eines Störfaktors

3) Minimiere das Rauschen (Fehlervarianz): z.B. durch Block-Randomisierung oder Anheben der Standardisierung in Versuchssituationen und Erhöhung der Reliabilität und internen Validität (des Messinstruments)

• experiemntelle Designs

• quasi-experimentelle-Designs

• Ex post facto-designs

• korrelative Designs

Definition: Die externe Validität einer Studie ist dann hoch, wenn die Ergebnisse auch auf nicht untersuchte Personen und Situationen übertragen können.

• Kritik an der externen Validität psychologischer Studien:

  • –  Künstlichkeit der Situation (Laborexperiment)

  • –  Mangelnde Repräsentativität von Stichproben (ad-hoc-Stichproben, Psychologiestudierende)

• Für viele Experimente ist die externe Validität von untergeordneter Bedeutung, da das Hauptziel darin besteht, aus Theorien abgeleitete Kausalhypothesen zu prüfen, was die Herstellung geeigneter (künstlicher) Untersuchungssituationen erfordert (Sedlmeier & Renkewitz, 2018, S. 151)

• Maßnahmen zur Erhöhung der externen Validität:

  • Repräsentativität der Stichprobe sicherstellen (in Abhängigkeit von der Fragestellung)

  • Feldexperiment

  • Replikationsstudien und partielle Replikationsstudien

1.  Versuchspläne mit Zufallsgruppenbildung (Randomisierung, R),

2.  Versuchspläne mit wiederholten Messungen (Messwiederholung, W),

3.  Versuchspläne mit Blockgruppenbildung (B (R)),

4. Mischversuchspläne.

Pläne mit Zufallsgruppenbildung (Between-subjects-design) zielen auf die Kontrolle von Unterschieden zwischen den Versuchspersonen, indem durch Randomisierung eine Gleichheit der Ausgangsbedingungen für jede Versuchsgruppe gewährleistet wird (funktioniert nicht bei kleinen Stichproben).

Nachteile: die Fehlervarianz ist relativ hoch. Man braucht relativ viele Probanden.

Bei Plänen mit Messwiederholung (Within-subjects-design) wird jede Versuchsperson sowohl unter der Experimentalbedingung als auch der Kontrollbedingung getestet (perfekte Parallelisierung). Dadurch werden weniger Probanden benötigt. Darüber hinaus wird die Varianz zwischen den Personen aus der Analyse entfernt, so dass sich die Sensitivität (Power) des Testes erhöht.

Nachteil: Nicht alle Fragestellungen lassen sich mit within- subject-designs untersuchen, z.B. Unterschiede in der Wirksamkeit von zwei psychotherapeutischen Methoden (Carry-over-Effekt)

Das Experiment von Shepard & Cooper (1982) zur mentalen Rotation hatte ein Within-subjects-Design:

Den Versuchspersonen wurde nacheinander entweder ein normales R oder ein gespiegeltes R in unterschiedlichen Rotationswinkeln (UV) präsentiert. Die abhängige Variable ist die Reaktionszeit bis zur Entscheidung R oder gespiegeltes R

• Positionseffekte: Das Verhalten der VP verändert sich im Verlauf des Experiments. Mögliche Ursachen: Ermüdung, Motivationsverlust, Übung, besseres Verständnis der Aufgaben. Gegenmaßnahme: Ausbalancierung der Abfolge der Versuchsbedingungen

• Carry-over-Effekte: anders als Positionseffekte ist bei carry-over-Effekten entscheidend, dass eine frühere Bedingung das Verhalten der Teilnehmer in einer späteren Bedingung inhaltlich beeinflusst. Es gibt keine effektive Möglichkeit zur Kontrolle von Carry-over-Effekten. Ist mit carry-over- Effekten zu rechnen, sollte auf ein within-subjects-Design verzichtet werden.

Die ABBA-Methode (Spiegelbild- Methode) erlaubt die Kontrolle linearer Positionseffekte für jede einzelne Versuchsperson) Nichtlineare Positionseffekte (z.B. durch Übung) können so nicht kontrolliert werden.

Durch vollständiges Ausbalancieren können Positionseffekte über alle Teilnehmer hinweg (aber nicht für jeden einzelnen Teilnehmer) kontrolliert werden.

Bei drei Bedingungen (A,B,C)ergäben sich sechs mögliche Abfolgen. Bei nur zwei Bedingungen ergäben sich zwei Abfolgen (cross-over- design). Die Zuweisung zu einer der beiden Reihenfolgen erfolgt randomisiert.

Sequenzeffekte bei Befragungen am Beispiel von subjective wellbeing (SWB):

1. Wie zufrieden sind sie in ihrer Partnerschaft?

2. Wie zufrieden sind sie mit ihrem Leben im Allgemeinen?

Ergebnis:

• bei Reihenfolge Frage 1,2: r = .67

• bei Reihenfolge Frage 2,1: r = .32

• Mögliche Ursache: Verfügbarkeit von Informationen (availability) wirkt bei Reihenfolge 1,2, weil Frage 2 unspezifisch ist.

Eine Interaktion ist ein eigenständiger Effekt, der sich aus einer Wechselwirkung von zwei oder mehr Faktoren (Unabhängigen Variablen) ergibt.

Eine Interaktion resultiert also NICHT aus der Addition der Einzeleffekte der Uvs.

Eine ordinale Interaktion (a) liegt vor, wenn die Steigung der Funktion des Faktors A auf beiden Stufen des Faktors B das gleiche Vorzeichen hat und damit eine Faktorstufe (A1 oder A2) unter allen Stufen des zweiten Faktors (B1 und B2) in der Ausprägung mindestens ebenbürtig oder überlegen ist.

Eine disordinale Interaktion (c) liegt vor, wenn die Steigung der Funktion des Faktors A auf den Stufen des Faktors B verschiedene Vorzeichen hat und damit die Unterschiede der Faktorstufen von B unter A1 und A2 in unterschiedlicher Richtung ausfallen.

Eine hybride Interaktion liegt vor, wenn unter den Stufen des Faktors A ein anderer Interaktionstyp vorliegt als unter den Stufen des Faktors B.

Beschreibung folgt.

Interaktion: ordinal ?

Stehen immer hinter den experimentellen Designs!!!

Quasi-experimentelle Designs weisen das Merkmal der Manipulation und Variation der unabhängigen Variable auf, aber es lassen sich nicht alle Störvariablen kontrollieren. Wichtige, die interne Validität gefährdende Faktoren wurden von Stanley & Campbell (1966) zusammengestellt. (vgl. Reiß & Sarris, 2012), welche eben:

• Zeitgeschehen

• Reifung

• Merhfache Testung

• Instrumentierung

• statistische regression

• Auswahlverzerrung

• Ausfalleffekte

• Versuchsleitereffekte

• interaktive Effekte

sind.

Der Solomon-vier-Gruppen-Plan ist ein experimenteller Versuchsplan.

Er erfordert vier randomisierte Gruppen.

• Die erste Gruppe ist eine „klassische“ Experimentalgruppe (mit Pretest, Treatment und Posttest) und die

• zweite Gruppe eine „klassische“ Kontrollgruppe(Pretest und Posttest ohne Treatment).

• Die dritte Gruppe realisiert ein One-Shot-Case- Design, bei dem nach appliziertem Treatment nur eine Posttest-Messung durchgeführt wird.

• Die vierte Gruppe schließlich wird nur einer „Posttest-Messung“ unterzogen.

Das Posttest-Ergebnis in der ersten Gruppe ist eine Funktion von Treatment-, Pretest- und Zeit-Effekten.

Der Solomon-vier-Gruppenplan ist geeignet, um diese Effekte voneinander trennen und prüfen zu können (z.B. Untersuchung von Pretest-Effekten)

• Zeitreihen sind mehr oder weniger hochfrequente Messungen über einen entsprechend langen Zeitraum (>50 Messungen).

• Zeitreihendaten fallen in der Psychologie z.B. an bei...

  • Psychophysiologischen Messungen, z.B. Hirnelektrische Aktivität (EEG),

    elektrodermale Aktivität (EDA), Kardiovaskuläre Aktivität (Puls, EKG, Blutdruck)

  •  Ambulantes Assessment, event-sampling (Stimmung, Schmerztagebuch, mind- wandering)

  •  Bei der Beobachtung sozialer Interaktionen

• Zeitreihenanalysen im Rahmen von Zeitreihenplänen können eingesetztwerden, um...

  •  Vorhersagen zu treffen

  •  Interventionen zu evaluieren

  •  Wechselwirkungen zwischen zwei Zeitreihen zu analysieren (Transfermodelle)

• Zeitreihenstudien können eine hohe interne Validität aufweisen.

Beispiel für eine multivariate Zeitreihenanalyse (Transfermodell): Nonverbal Synchrony in Social Interactions of Patients with Schizophrenia Indicates Socio-Communicative Deficits (Kupper, Ramseyer, Hoffmann, & Tschachner, 2015):

• Datengrundlage sind digitale Videoaufnahmen der Kommunikation zwischen Therapeutin und Patient.

• Ausgewertet werden die Veränderung des Grauwertes pro Pixel innerhalb der ROIs als Maß für Gestik/Mimik.

• Für jede Person resultiert eine Zeitreihe mit 24 Frames pro Sekunde (= 23 Veränderungswerte/s).

• Diese Zeitreihen können gegeneinander verschoben und dann korreliert werden (cross-lagged), um z.B. die Synchronizität zu schätzen.

Definition: Ex post facto-Versuchsanordnungen können verwendet werden, wenn die unabhängige Variable nicht manipulierbar ist oder aus ethischen Gründen nicht manipuliert werden kann, z.B. in der epidemiologischen Forschung zu Risikofaktoren als Krankheitsursachen. Eine Kausalhypothese ist zwar begründbar, die Kontrolle von Störvariablen ist aber nur bedingt gegeben.

An einer Stichprobe von N = 100 zufällig ausgewählten Personen wird einmalig zu einem bestimmten Zeitpunkt das Selbstwertgefühl mit der Rosenberg Self-Esteem Scale (RSES) und die Depressivität mit der Allgemeinen Depressionsskala (ADS) gemessen. Die Korrelation beträgt r = -.45 und ist mit p < .01 signifikant.

Beispiel für einen cross-lagged-panel-Design zur längsschnittlichen Untersuchung des

Zusammenhanges zwischen Selbstwertgefühl und Depressivität

• β1, β3 sind autoregressive Effekte, welche die Stabilität interindividueller Unterschiede über die Zeit beschreiben.

• β2, β4 sind cross-lagged Effekte, die den Einfluss eines Konstruktes auf ein anderes Konstrukt über die Zeit beschreiben.

• Die Berücksichtigung der autoregressiven Effekte bedeutet z.B., dass Depressivität zu t1 die residuale Veränderung von Selbstwertgefühl zu t2 vorhersagt und umgekehrt (kotrolliert für Selbstwertgefühl zu t1).

• Die Validität einer cross-lagged-panel Analyse hängt von einer Reihe von Faktoren ab: Reliabilität, Measurement Invariance, Wahl des lags, sample selectivity, selective drop-outs, u.a.

• Eine Alternative sind Latent-growth-curve-models. vgl. (Selig & Little, 2013)

Aus ethischen und wissenschaftlichen Gründen muss die Fallzahl einer Studie sorgfältig geplant werden mittels einer apriori- Poweranalyse. Ziel ist ein optimaler Stichprobenumfang, der eine bestimmte Power garantiert, z.B. 95%.

• Zu kleine Stichprobe bedeutet niedrige Power, aber hoher Beta-Fehler (→ mehr falsch-negative Entscheidungen).

• Zu kleine Stichprobe bedeutet weniger Power , damit geringerer Anteil signifikanter Ergebnisse, die auf einem wahren Effekt beruhen. Abnahme des positive prädiktiven Wertes → mehr falsch-positive Ergebnisse.

• Zu große Stichprobe: signifikante Ergebnisse schon bei sehr kleinen Effekten.

• Zu große Stichprobe: bei klinischen Studien werden Patient:innen unnötig getestet, d.h. vermeidbare Belastung → unethisch

Wie hoch ist die Wahrscheinlichkeit, dass hinter einem signifikanten Testergebnis ein wahrer Effekt steht? P(wahr/signifikant) = positiver prädiktiver Wert

150 statistisch signifikante Tests kommen von wahren Effekten, 35 basieren auf einem Alpha- Fehler.

Positiver prädiktiver Wert = 150/(150+35) = .82

• Ein signifikanter p-Wert zeigt an, dass die beobachteten Ergebnisse unwahrscheinlich sind, wenn die Nullhypothese wahr ist. Die Nullhypothese besagt oft, dass es keinen Effekt oder keinen Unterschied zwischen Gruppen gibt.

• Ein p-Wert unter einem vordefinierten Signifikanzniveau (oft bei 0,05 oder 0,01 festgelegt) deutet darauf hin, dass genügend Beweise vorliegen, um die Nullhypothese zugunsten einer Alternativhypothese abzulehnen, die in der Regel besagt, dass es einen wahren Effekt oder einen Unterschied zwischen den Gruppen gibt.

• er garantiert jedoch nicht automatisch, dass der Effekt praktisch oder wissenschaftlich bedeutsam ist. Er sagt nur aus, dass die beobachteten Daten unter der Annahme der Nullhypothese unwahrscheinlich sind.

• Um die praktische Bedeutung des Effekts besser einschätzen zu können, müssen auch andere Faktoren wie die Effektgröße, die Stichprobengröße und der Kontext der Studie berücksichtigt werden.

• Wiederholung der Ergebnisse in unabhängigen Studien ist ebenfalls wichtig, um die Evidenz für das Vorliegen eines wahren Effekts zu stärken.

• Eine sorgfältige Interpretation und Berücksichtigung von Effektgröße und Kontext sind notwendig, um aussagekräftige Schlussfolgerungen aus statistischen Ergebnissen zu ziehen.

• Journal of Personality hat die höchste Aussagekraft (JP)

• Zur Bestimmung des optimalen Stichprobenumfanges Nmüssen folgende Festlegungen getroffen werden:

  
  

  1.  Wie groß ist der postulierte Effekt? (Effektstärke, z.B. r, Cohens d (Hedges g), f,n^2, etc.)

  2.  Wie groß soll der alpha-Fehler sein? (z.B. 5%)

  3.  Wie groß soll die statistische Power sein (1-beta)? (z.B. 95%)

  4.  Ist die Hypothese gerichtet (einseitig) oder nicht?

  5.  Welches inferenzstatistische Verfahren kommt zur Anwendung (z.B. ANOVA, F-Test)?

• Zwei Schätzmethoden: Algorithmus (z.B. g-power), simulationsbasiert

Die Interpretation einer Effektgröße kann schwieriger sein, wenn man keine vorherigen Ergebnisse hat, mit denen man sie direkt vergleichen kann. In solchen Fällen gibt es einige allgemeine Leitlinien, die bei der Interpretation helfen können:

• Betrachte die Größenordnung der Effektgröße (klein, mittel oder groß).

• Prüfe, ob die Effektgröße praktisch bedeutsam ist.

• Berücksichtige den theoretischen Hintergrund der Studie.

• Vergleiche die Effektgröße mit ähnlichen Studien oder Forschungsgebieten.

• Beachte die Unsicherheit durch Vertrauensintervalle.

• Ziehe eine umfassende Schlussfolgerung unter Berücksichtigung aller Informationen.

  
  

Cohen (1962, 1992) hat für diesen Fall Konventionen eingeführt:

Beispiel für eine Apriori-Poweranalyse mit g*power:

• t-Test für unabhängige Stichproben,

• gerichtete Hypothese,

• alpha = 5%,

• 1-β = 95%,

• d = 0.5,

• mit gleich großen Teilstichproben n1 = n2

• disordinale Interaktion:

• Grafen für Faktor A verlaufen nicht gleichsinnig

• ebenso für Faktor B nicht gleichsinnig

• hybride Interaktion:

• grafen in Diagramm für Faktor A verlaufen gleichsinnig absteigend

• Grafen in Diagramm für Faktor B verlaufen nicht gleichsinnig

• ordinale Interaktion:

• alle Grafen verlaufen Gleichsinnigje Diagramm