Wofür sind Effektgrößen wichtig?
für Planung und zur Einschätzung der methodischen Güte von Studien
-> Finden optimaler Stichprobengröße zum statistisch signifikanten Nachweis eines Effekts definierter Größe
Wie hängenb die 4 Parameter zusammen:
Signifikanzniveau
Effektgröße
Testmacht
Stichprobenumfang
Was muss erfüllt sein, damit man einen der Parameter berechnen kan?
man muss 3 der 4 Parameter kennen
Was muss alles festgelegt sein um N (Stichprobenumfang) zu berechnen?
Signifikanzniveau (plus Entscheidung: einseitig/zweiseitig)
Was sind die Merkmale von Testmacht (Power)?
= Wahrscheinlichkeit, dass H0 verworfen wird, wenn sie in der Population nicht gilt
Power = 1 - Beta; Beta = Wahrscheinlichkeit 2. Art = Wahrscheinlichkeit, dass Ho nicht verworfen wird, wenn sie in der Population nicht gilt
Testmacht üblicherweise mit 0.80 festgelegt
Was macht man, wenn keine Information aus Vorstudien vorhanden ist?
die Größe des erwarteten Effekts muss inhaltlich begründet festgelegt werden
wie groß muss der Effekt minimal ausfallen, damit er inhaltlich bedeutsam ist?
häufig mittlerer Effekt nach Cohen
Was versteht man unter “Smallest effect size of interest”?
weiteres nützliches Konzept in dem Kontext
anwendbat, wenn erwarteter Effekt, Power, N & Signifanzniveau schon feststehen
SESOI ist kleinster Effekt, der unter den Bedingungen überhaupt signifikant werden kann
zB. d=0.5, Power=90%, Alpha=5%, N pro Gruppe = 86 -> SESOI=0.3
ist der inhaltlich bedeutsame Effekt kleiner als SESOI, muss N erhöht werden
Wie können Effekte noch erschlossen werden?
aus Vorstudien (Primärstudien, Meta-Analysen)
zB. psychotherapeutische Interventionen haben oft eher große Behandlungseffekte (d ist rund 0.6-0.8)
Wofür ist die Signifikanz aufseiten von Autorinnen und Herausgeberinnen wichtig?
= Selektionskriterium für Pblukation
Publizierte Effekte häufig zu groß, da sie auf selektierter Auswahl an Studien basieren (=publcation bias)
“Realistischere” Effektgröße: Korrektur nach unten
zB. untere Grenze des 80% oder 95% KI des publizierten Effekts (=safeguard power)
Was hat die Festlegung der Effektgröße für einen EInfluss auf die H1?
sie macht aus einer unspezifischen H1 eine spezifische H1
Was macht man, um eine spezifische H1 bestmöglich zu testen?
den optimalen Stichprobenumfang bestimmen
-> hilfreich für die planung jeder empirischen Studie
Was versteht man in der Praxis unter dem “optimalen” Stichprobenumfang?
den minimalen Stichprobenumfang
gibt N an, mit dem die gewünschte Power gerade so erreicht wird - höhere Power aber immer besser
auch viele Vorannahmen relevant, die im kobkreten Fall nicht alle exakt zutreffen müssen
reale Effekte können kleiner sein als erwartet (publication bias)
erwartete Dropouts erfordern weitere Erhöhung von N
berechnetes N somit pragmatisch betrachtet nur die Untergrenze
Wie kann der optimale Stichprobemumfang bestimt werden?
mit Tabellen oder Formeln
-> Anwendbar für alle möglichen Analysearten (z.B. t-Test, ANOVA, Korrelation, Regression, etc. )
z.B. G*Power oder Sample Size Planner (für unterschiedliche Zwei-Gruppen-Vergleiche)
Benchmarks: N & statistisch nachweisbare Effekte?
siehe Folien Beispiel
Welches wichtige Phänomen veranschaulichen wechselseitige zusammenhänge zwischen N, Power, effektgröße und Signifikanzniveau?
Mit N -> unendlich wird jede beliebige H0 mit Sicherheit verworfen
Was passiert, wenn die Stichprobe groß genug ist?
jeder beliebig kleine Effekt wird signifikant
Was versteht man unter underpowered study?
wenn die Stichprobe zu klein ist, um Signifikanz nachweisen zu können
Verwerfen der H0 bedeutet nicht unbedingt, dass…
ein bedeutsamer Effekt gefunden wurde
Beibehalten der H0 bedeutet nicht unbedingt, dass…
kein Effekt existiert
Wozu ist das Verwenden von Effektgrößen hilfreich?
um inhaltlich unbedeutende Effekte als soche zu erkennen
um Hinweise auf das Vorliegen hypothesenkonformer Effekte zu erhalten, selbst wenn die Studie möglicherweise underpowered war (nicht-signifikant)
-> Praxis: Signifikanztestung durchführen plus Effektstärke bestimmen -> gemeinsame Interpretation
Was versteht man unter Poweranalysen?
a priori Berechnungen der Stichprobengröße-> in klinischer und nicht-klinischer Forschuung bereits Standard
obligatorischer Teil von Präregistrierung, Studienkontrollen und Forschungsanträgen
auch in Bachelor- und Masterarbeit und TEWA
Zuletzt geändertvor 6 Monaten
