3. Effektstärken: Stichprobengröße und Power

für Planung und zur Einschätzung der methodischen Güte von Studien

-> Finden optimaler Stichprobengröße zum statistisch signifikanten Nachweis eines Effekts definierter Größe

man muss 3 der 4 Parameter kennen

• Signifikanzniveau (plus Entscheidung: einseitig/zweiseitig)

• Testmacht

• Effektgröße

= Wahrscheinlichkeit, dass H0 verworfen wird, wenn sie in der Population nicht gilt

• Power = 1 - Beta; Beta = Wahrscheinlichkeit 2. Art = Wahrscheinlichkeit, dass Ho nicht verworfen wird, wenn sie in der Population nicht gilt

• Testmacht üblicherweise mit 0.80 festgelegt

die Größe des erwarteten Effekts muss inhaltlich begründet festgelegt werden

• wie groß muss der Effekt minimal ausfallen, damit er inhaltlich bedeutsam ist?

• häufig mittlerer Effekt nach Cohen

weiteres nützliches Konzept in dem Kontext

• anwendbat, wenn erwarteter Effekt, Power, N & Signifanzniveau schon feststehen

• SESOI ist kleinster Effekt, der unter den Bedingungen überhaupt signifikant werden kann

• zB. d=0.5, Power=90%, Alpha=5%, N pro Gruppe = 86 -> SESOI=0.3

• ist der inhaltlich bedeutsame Effekt kleiner als SESOI, muss N erhöht werden

aus Vorstudien (Primärstudien, Meta-Analysen)

zB. psychotherapeutische Interventionen haben oft eher große Behandlungseffekte (d ist rund 0.6-0.8)

= Selektionskriterium für Pblukation

• Publizierte Effekte häufig zu groß, da sie auf selektierter Auswahl an Studien basieren (=publcation bias)

• “Realistischere” Effektgröße: Korrektur nach unten

• zB. untere Grenze des 80% oder 95% KI des publizierten Effekts (=safeguard power)

sie macht aus einer unspezifischen H1 eine spezifische H1

den optimalen Stichprobenumfang bestimmen

-> hilfreich für die planung jeder empirischen Studie

den minimalen Stichprobenumfang

• gibt N an, mit dem die gewünschte Power gerade so erreicht wird - höhere Power aber immer besser

• auch viele Vorannahmen relevant, die im kobkreten Fall nicht alle exakt zutreffen müssen

• reale Effekte können kleiner sein als erwartet (publication bias)

• erwartete Dropouts erfordern weitere Erhöhung von N

• berechnetes N somit pragmatisch betrachtet nur die Untergrenze

mit Tabellen oder Formeln

-> Anwendbar für alle möglichen Analysearten (z.B. t-Test, ANOVA, Korrelation, Regression, etc. )

z.B. G*Power oder Sample Size Planner (für unterschiedliche Zwei-Gruppen-Vergleiche)

siehe Folien Beispiel

Mit N -> unendlich wird jede beliebige H0 mit Sicherheit verworfen

jeder beliebig kleine Effekt wird signifikant

wenn die Stichprobe zu klein ist, um Signifikanz nachweisen zu können

ein bedeutsamer Effekt gefunden wurde

kein Effekt existiert

• um inhaltlich unbedeutende Effekte als soche zu erkennen

• um Hinweise auf das Vorliegen hypothesenkonformer Effekte zu erhalten, selbst wenn die Studie möglicherweise underpowered war (nicht-signifikant)

-> Praxis: Signifikanztestung durchführen plus Effektstärke bestimmen -> gemeinsame Interpretation

a priori Berechnungen der Stichprobengröße-> in klinischer und nicht-klinischer Forschuung bereits Standard

• obligatorischer Teil von Präregistrierung, Studienkontrollen und Forschungsanträgen

• auch in Bachelor- und Masterarbeit und TEWA