Forschungsmethoden

eigentlich:

= eine Aussagen, die aus einer formalen Theorie abgeleitet wurden, um diese Theorie zu überprüfen.

Problem:

• wird auf in Praxis auf vier verschdn. Weisen verwendet:

  • inhaltlich (aus einer Theorie abgeleitet)

  • inhaltlich (nicht aus einer Theorie abgeleitet)

  • formal (auf der Ebene von Variablen)

  • statistisch (H0 / H1).

-> häufig etwas als Hypothese bezeichnet, was eigentl. eine Forschungsfrage ist (keine theoretische Fundierung)

Fragestellungen, die nicht aus einer expliziten Theorie hervorgehen

-> Eine nicht theoriebasierte „Hypothese“ wird als „verkappte Forschungsfrage“ bezeichnet.

Experimentelle Begriffe:

Die Bezeichnungen:

• „unabhängige Variable“ (UV)

• „abhängige Variable“ (AV)

• „Störvariable“ (SV)

-> nur verwenden wenn Manipulation erfolgt

-> Verwendung impliziert Kausaulität

Alternative Begriffe als Vorschlag für nicht-experimentelle Designs:

• „Gruppierungsvariable“ (GV statt UV)

• „Prädiktor“ (P statt UV)

• „Kriterium“ (K statt AV)

echte Operationalisierung z.B.: physikalische Eigenschaft „Länge“:

• definiert ein Merkmal durch den Vergleichsprozess selbst

• Merkmal existiert nicht unabhängig von diesem Prozess und dessen theoretischer Grundlage (Relationen zu anderen Konzepten)

in Psychologie:

• gehen Forschende üblicherweise davon aus, dass ein latentes Merkmal unabhängig existiert

• Sie entwickeln dann „mehr oder weniger plausible und mehr oder weniger willkürliche“ Verfahren, um Objekten Zahlen zuzuordnen

  -> wird als Operationalisierung bezeichnet, obwohl es eigentlich „ein Verfahren, bei dem am Ende eine Zahl herauskommt“ ist

• Verwendung komplexer Forschungsdesigns als Impression Management, obwohl für Fragestellungen nicht notwendig

-> Empfehlung:

• zunächst für einzelne Forschungsfragen passende Designs entwickeln

• anschließend: überlegen wie Designs zu einer Studie zsmführbar sind

• Experimentell:

  • Erfordert die Manipulation einer unabhängigen Variablen

  • Ermöglicht kausale Schlussfolgerungen

• Korrelativ:

  • Keine experimentelle Manipulation

    (gilt für jede Studie ohne Manipulation – einschließlich des Vergleichs zweier Gruppen hinsichtlich einer metrischen Variablen –, und nicht nur auf die Berechnung eines Korrelationskoeffizienten zwischen zwei metrischen Variablen)

• Quasi-experimentell:

  • Experimentell auf Gruppenebene, jedoch nicht auf individueller Ebene (z.B. zwischen verschiedn. Firmen auslosen welche Firma Training bekommt)

  • Vergleich von bereits bestehender Gruppen (z. B. Patientengruppen) kein Quasi-Experiment, sondern eine korrelative Studie!

• Interne Validität:

  • eindeutige Kausalität -> Effekt durch UV oder SV?

• externe Validität

  • Angemessenheit

    • Beziehung zwischen dem experimentellen Modell und der Theorie

    • Ist das Laborexperiment ein valider Spezialfall der allgemeinen Theorie, die zur Erklärung eines Phänomens in der realen Welt herangezogen wird?

    • gleiche Vorhersagen für Experiment wie in Natur?

  • Übertragbarkeit

    • Betrifft die Beziehung zwischen Populationen

    • Können Ergebnisse aus einer Population (z. B. BALB/c-Mäuse) auf eine andere (z. B. Menschen) übertragen werden, weil die Theorie auf beide als Spezialfälle zutrifft

  • Generalisierbarkeit

    • Betrifft die Beziehung zwischen einer Stichprobe und ihrer Population

    • Es handelt sich um eine technische Frage: Gibt es ein Argument (z. B. eine Zufallsstichprobe), das es rechtfertigt, von den Ergebnissen der Stichprobe auf die Populationsebene zu schließen?

• Parallelisieren

• Konstanthalten

• Randomisieren (nur bei unendl. Menge Experimente -> keine systematischen Fehler, aber unsystematische)

Eine Störvariable ist eine Variable, die nicht die unabhängige Variable (UV) darstellt, aber einen Einfluss auf die abhängige Variable (AV) ausübt.

-> keine Variablen per se Störvariablen -> Ob eine Variable als Störvariable fungiert, lässt sich daher nur im spezifischen Kontext einer gegebenen UV und AV bestimmen

• inhaltl. leer

• z.B. Alter lediglich ein Maß für eine Zeitdauer, kann nicht selbst als kausaler Faktor wirken -> = Stellvertreter (Proxy) für andere, nicht näher spezifizierte biologische oder soziale Prozesse, die mit der Zeit korrelieren

Eigentliche Funktion:

• zufällige Zuweisung von Teilnehmenden zu Versuchsbedingungen -> SVs über eine unendliche Reihe von Wiederholungen hinweg zu kontrollieren – nicht innerhalb eines einzelnen Experiments.

  -> In einer einzelnen Studie: garantiert die Randomisierung nicht, dass SVs gleichmäßig auf die Gruppen verteilt sind; sie stellt lediglich sicher, dass etwaige Unterschiede nicht systematischer Natur sind

• Verwendung Begriff Stichprobe ist ohne eine zugehörige Grundgesamtheit (Population) sinnlos.

• Das Problem:

  häufig Verwendung Begriff „Stichprobe“, ohne zugrundeliegende Population zu definieren

  -> nicht korrekt; es handelt sich lediglich um „die Menge der untersuchten Fälle“.

• Effektive Grundgesamtheit:

  Oft keine Ziehung Zufallsstichprobe aus eigentlicher Zielpopulation (z. B. alle Psychologiestudierenden) mgl., sondern nur aus eingeschränkteren Teilpopulation (z. B. alle Psychologiestudierenden an ihrer eigenen Universität) -> = „effektive Grundgesamtheit“

• Implikation:

  • Generalisierbarkeit (techn. Problem):

    Bezug auf Schluss von der Stichprobe auf die effektive Population

  • Übertragbarkeit (theoretisches Problem) :

    Übergang von der effektiven Grundgesamtheit zur umfassenderen Zielpopulation

• keine Eigenschaft Stichprobe

• sondern: bezieht sich auf Verhältnis zwischen Population und Stichprobe

• eine erklärende/ unabhängige kategoriale Variable (UV) und eine metrische abgängige Variable/ Kriterium (AV)

  • Im Experiment:

    Effekt eines unabhängigen Merkmals auf ein abhängiges Merkmal

  • In nichtexperimentellen Designs:

    Unterschiede in den mittleren Ausprägungen eines Merkmals in Populationen, die durch unterschiedliche Kategorien bestimmt sind

• Mittelwertsunterschiede zwischen Gruppen/ Kategorien? -> Unterschiede in den Erwartungswerten

  • auf Populationsebene: (H0: µ₁ = µ₂ = µ₃ = ...); (H1: µ₁ ≠ µx)

• wir haben keine Vermutung wo Unterschied(e) liegen -> wenn wir a priori schon Annahmen darüber haben welche Gruppen sich unterscheiden: geplante Vergleiche

1. Vorraussetzungen prüfen

   • informelle Überprüfung:

     durch Inspektion der Stichprobenverteilungen

   • formelle Überprüfung:

     durch geeignete statistische Tests, z.B.

     • Shapiro-Wilk-Test auf Normalverteilung

     • Bartlett-Test auf Varianzenhomogenität

2. ANOVA

3. Post-Hoc-Tests (identifizieren wo signifikante(r) Unterschied(e) liegen und wo nicht)

   Alpha-Korrektur:

   • Bonferroni (bei kleiner Anzahl Vergleiche; wird bei großer Anuahl übermäßig konservativ

   • Scheffé (weniger konservativ bei großer Anzahl Vergleiche)

Zerlegung der Varianz der metrischen Variable in unabhängige Anteile:

• Varianz innerhalb der Gruppen (um Stichprobenmittelwert)

• Varianz zwischen den Gruppen (Varianz der Stichprobenmittelwerte; Abweichung vom Gesamtmittelwert)

-> daraus Schätzung Populationsvarianz

-> aus Vergl. beider Konstruktion F-verteilter Prüfstatistik

Unter H0: Varianz innerhalb größer als Varianz zwischen -> F < o- = 1

Unter H1: Varianz zwischen größer als Varianz innerhalb (+ Varianz durch Effekt) -> F>1

• weniger effizient und statistisch problematisch

-> Alpha-Fehler-Kumulierung:

• Jeder einzelne Test birgt eine gewisse Wahrscheinlichkeit (Alpha, z. B. 5 %) für einen Fehler erster Art (ein falsch positives Ergebnis). Bei mehreren Tests steigt die Gesamtwahrscheinlichkeit, mindestens einen Fehler erster Art zu begehen, signifikant an.

• Die Notwendigkeit einer Korrektur:

  Um der Alpha-Inflation entgegenzuwirken, muss das Signifikanzniveau für jeden einzelnen Test angepasst werden (z. B. durch eine Bonferroni-Korrektur) -> einzelnen Tests konservativer, verringert ihre statistische Teststärke (Power) und erschwert es, tatsächlich vorhandene Effekte zu identifizieren

• Lösung durch die ANOVA:

  Die ANOVA umgeht dieses Problem, indem sie eine einzige, globale Testgröße (die F-Statistik) bereitstellt, mit der die Nullhypothese – dass die Mittelwerte aller Gruppen gleich sind – simultan für alle Gruppen geprüft wird.

Voraussetzungen für die Konstruktion einer F-verteilten Teststatistik

• normalverteilte Populationen

• varianzenhomogene Populationen

• unabhängige Datenpunkte

Die konstruierte Teststatistik ist relativ robust gegenüber Abweichungen von den Verteilungsannahmen, vor allem, wenn das Design balanciert ist (gleich Stichprobengrößen)

• nach ANOVA

• Zweck:

  Es werden paarweise Vergleiche zwischen allen möglichen Gruppenmittelwerten vorgenommen, um den Ursprung des signifikanten Gesamteffekts zu identifizieren

• Methode:

  modifizierte t-Tests, die die gepoolte Varianzschätzung (Stichprobenvarianzen zur Populationsvarianzschätzung herrangezogen) aus der innerhalb der Gruppen berechneten Varianz der ANOVA verwenden -> liefert einen präziseren Fehlerterm und somit eine höhere statistische Teststärke (Power) im Vergleich zu herkömmlichen t-Tests

• Alpha-Korrektur:

  Da mehrere Vergleiche durchgeführt werden, muss das Alpha-Niveau korrigiert werden, um die ansteigende „familienbezogene“ Fehlerrate (family-wise error rate) zu kontrollieren. Kann auch dazu führen, dass keiner der Einzelvergleiche signifikant wird (trotz signifikanter ANOVA). Tests korrigieren alpha unterschiedl. -> unterschdl. konservativ:

  • Bonferroni-Korrektur:

    Geeignet für eine geringe Anzahl an Vergleichen; bei einer größeren Anzahl von Gruppen wird sie jedoch übermäßig konservativ.

  • Scheffé-Test:

    Ein weniger konservatives Verfahren, das sich besser eignet, wenn eine größere Anzahl an Vergleichen erforderlich ist.

• eine erklärende/ unabhängige kategoriale Variable (UV) und eine metrische abgängige Variable/ Kriterium (AV)

  • Im Experiment:

    Effekt eines unabhängigen Merkmals auf ein abhängiges Merkmal

  • In nichtexperimentellen Designs:

    Unterschiede in den mittleren Ausprägungen eines Merkmals in Populationen, die durch unterschiedliche Kategorien bestimmt sind

• Wenn spezifische Hypothesen (wo Unterschiede zwischen Gruppen) vorliegen, treten geplante Vergleiche an die Stelle der globalen ANOVA

• Konzept:

  Anstelle eines einzelnen, unspezifischen F-Tests erstellen Forschende für jede vorab formulierte Hypothese einen spezifischen statistischen Test.

• Mechanismus:

  • Bildung einer gewichteten Linearkombination der Gruppenmittelwerte

  • Gewichte (Koeffizienten) so gewählt, dass sie die zu prüfende Hypothese widerspiegeln; ihre Summe muss null ergeben.

  • ermöglicht Vergleich:

    • einer einzelnen Gruppe mit einer anderen

    • einer Gruppe mit dem Mittelwert mehrerer anderer Gruppen

    • des Mittelwerts einer Gruppe von Gruppen mit dem Mittelwert einer anderen Gruppe von Gruppen

• Hauptvorteil:

  Da jeder geplante Vergleich einer spezifischen, a priori formulierten Forschungsfrage entspricht, ist in der Regel keine Alpha-Korrektur erforderlich. Dies führt im Vergleich zu einem konservativen Post-hoc-Ansatz zu einer höheren statistischen Teststärke, um hypothetisierte Effekte nachzuweisen.

• Analyse von Trends in Designs, bei denen die kategoriale Variable aus der Klassifizierung einer metrischen Variable (UV) gebildet wird

• AV ist auch metrisch

• sind spezifische geplante Vergleiche

• Gewichte der einzelnen Stichprobenmittelwerte werden so gewählt, dass die Varianz zwischen ihnen in unabhängige Komponenten zerlegt wird, die jeweils eine bestimmte Art von Trend repräsentieren

Wann

• unabhängige kategoriale Variable (UV) und eine metrische abgängige Variable (AV)

• Mittelwertsunterschiede zwischen Gruppen/ Kategorien? -> Unterschiede in den Erwartungswerten

  • auf Populationsebene: (H0: µ₁ = µ₂ = µ₃ = ...); (H1: µ₁ ≠ µx)

• wir haben keine Vermutung wo Unterschied(e) liegen -> wenn wir a priori schon Annahmen darüber haben welche Gruppen sich unterscheiden: geplante Vergleiche

• statt ANOVA anwendbar, wenn zusätzl. zu Vorrausetzungen ANOVA Paralellitätsannahme gegeben:

  Steigungen der Regressionen der post- auf die prä-Werte in allen Gruppen die gleiche ist (kognitives Training darf z.B. nicht bei zunhemender Intelligenz stärker wirken)

• Prä-Werte müssen erhoben werden können

Wann Nicht:

• Parallelitätsanahme verletzt

• nicht-experimentelle Designs

  • es resultieren artifizielle Variablen

  • es resultieren artifizielle Populationen

Vorteil:

• Powererhöhung, wenn substantielle Variation in der metrischen Variable vorliegt (umso höher, je höher der Anteil der substantiellen Variation an der Fehlervarianz ist)

• informell:

  durch Inspektion der geplotteten Regressionsgeraden (inkl. der Scatterplots)

• formell:

  durch statistische Tests über die Gleichheit von Regressionskoeffizienten

Der Stichprobenfehler basiert auf substantiellen Unterschieden zwischen den Personen einer Population und auf dem Messfehler.

• Kovarianzanalyse ist ein Verfahren zur „Bereinigung“ der Fehlervarianz durch „Eliminierung“ der substantiellen Variation (Varianz in Prä und Post gleich -> kann rausgerechnet werden)

Zerlegung der Quadratsumme:

• In der Ergebnistabelle gibt es einen separaten F-Test für die Kovariate, der

  prüft, ob die Steigung signifikant von 0 verschieden sind

• Die Fehlerquadratsumme weist einen Freiheitsgrad weniger auf, weil das Modell einen Parameter mehr enthält

• Der F-Test für die Gruppenunterschiede bezieht sich nun auf die adjustierten Mittelwerte