VL5: Effektstärke, Power, Stichporbengröße

• Wirksamkeit: durch Maßnahme verursachte, beobachtbare Konsequenzen (=Effekte)

• Wirkung: angenommene Mechanismen (prozesse), die zu Effekte geführt haben

-> warum wirkung (mechanismen) untersuchen?

• Optimierung der Wirkung

• unterschiedung relevanten und irrelevanten Faktoren v. Intervention

• Reduktion der Kosten v. intervention

• Falls Maßnahme nicht Effekt gebracht hat, kann es Gründe auf versch. Ebenen geben:

1. Grundlagenebene

• Theorien der Grundlagenforschung falsch/gelten nur unter bestimmten bedingungen

1. Technologische Ebene

• Interventionshypothese stimmt nicht

1. Implemnetationsebene

• intervention mangelhaft umgesetzt

1. Evaluationsebene

• Studie zur Wirksamkeitsüberprüfung (Evaluation) weist Mängel auf

.

• Durchführung von mehreren Messung zur Bestimmung von Persistenzgradienten

• miz pre,post und follow up: veränderung?

• Maßnahmenspezifische Wirkungen

  • Wirkungen die auf Verum (Hauptwirkstoff) zurückgehen

    • Netto und Brutto wirkung

• Neben und Folge Wirkung

  • Können maßnahmenspezifisch sein, aber i.d.R. nicht intendiert

    • Netto und Brutto

• Maßnahmenunspezifische Wirkung

  • keine Effekte des Verums sondern andere Bestandteile v. Intervention

    • Brutto

• Externe Wirkung

  • Artifizielle Wirkung (Placebo, Rosenthal)

    • Brutto

• meistens Nullhypothesen Signifikanztests berechnet

  • Irtumswahrscheinlichkeit (alpha) 5%

  • Teststärke (1-beta) (80%)

• Effektgrößem Stichporbenumfang, Teststärke zbd Signifiakzn stehen im verhältnis:

  • wenn 3 bekannt sind, kann 4. berehcnet werden

• wirken sich zwar auf statistische Signikanz aus, wird allerdings neben signifakanz auch betrachtet

• für verschiedene Analysefragestellunge, Reihe von Effektstärke Maße

  • Gruppendifferenz-Effektgrößenmaße

  • Zusammenhangs.Effektgrößenmaße

  • Varianzaufklärungs-Effektgrößenmaße

  • Risiko-Effektgrößenmaße

-> gibt es unterschiede zwischen den Gruppen?

-> wie ist der Effekt des Zusammenhangs?

• Bivariater Korrelationskoeffizient/ Produkt-Moment-Korrelation Pearson r (2 intervall skalierte Variablen)

• Standardisierter Regressionskoeffizienz b (Beta-Gewichtin Regressionen)

• Partialkorrelationskoeffizient r (Korrelation bei Kontrolle fpr dritte Variable)

• Multipler Korrelationskoeffinzient R (Voraussage einer Kriteriumsvariablen durch mehrere Prädiktoren unter Berücksichtigung von deren Interkorrelationen)

• Punktbiserialer Korrelationskoeffizient rpbis (Korrelation zwischen einer intervallskalierten und dichotomen variablen)

• Rangkorrelationskoeffizient Spearmans rho. (Differenz der Ränge)

• Rangkorrelationskoeffizient Kendalls tau (Unterschied in den Rängen)

• eigentlich soll Zusammenhang zwischen latenten Variablen geschätzt werden, allerdings können nur deren Indikatoren gemessen werden

• Herausforderungen:

  • Stichprobenfehler

  • Messfehler in abhäniggen oder unabhängigen Variablen

  • Dichotomisierung stetiger abhängiger oder unabhängiger Variablen

  • Variabilitätseinschränkung in unabhängigen Varibalen

  • Abweichung von perfekter Kosntruktvalidität in abhängigen oder unabhängigen Variablen

  • Berichts/Transkriptionsfehler

  • Varianz die auf Drittvariablen zurückzuführen ist

• siehe VL5, folie 20/21

• siehe VL5, folie 22/23

• Kleiner Effekt: 0.40, große Überschneidung

• mittlerer Effekt: 0.8, mittlere Überschneidung

• großer Effekt 1.40, kleinere

• Möglich bei

  • cohens d

  • bivariatee korrelationskoeffizient r

  • n gleiche, ähnliche Gruppengrösse

  • seperar: t-wer ähnliche gruppengrösse in die oben genannten

Gruppendifferenzmaße

• Cohens d

  • klein: 0.2; mittel: 0.50, groß: 0.80

Zusammenhangmaße

• bivariater Korrelationskoeffizient r’2

  • klein: 0.10; mittel: 0.30, groß: 0.50

Varianzaufklärungsmaße

• bivariater Determinationskoeffizient r’2

  • klein: .01; mittel: .09, groß: .25

• Eta-Quadrat n’2

  • klein: .01; mittel: .06, groß: .14

Risikomaße

• Odds Ratio OR

  • klein: ≈2.00; mittel: ≈3.00, groß: ≈7.0

    
    

A priori Teststärkenanalyse

• vor durchführung wrid Teststärke festgelegt die min. erreicht werden soll

• alpha und 1-beta werden festgeögt

• lässt sich berechnen ab welchem N ein derartiger Effekt signfiaknt wär

• bei mehreren AVs sollte das größte N für kleinsten Effekt gewählt werden

• wenn möglich: schon bei studienplanung durchführen um N zu bestimmen

• Nach Durchfphrung wird Effekt bestimmt durch N Kenntnis und Wahl des alpha-Levels kann Teststärke bestimmt werden

• Wenn Teststärke zu gering ist, kann aus einem nicht-signfikaten Befund kein valider Schluss gezogen werden

Sensivitäts Teststärkenanalyse

• wie groß muss Effekt sein um unter gegeben Umständen aufgedeckt zu werden?

Kriteriums Teststärkenanalyse

• Wie muss alpha Level festgelegt werden um einen Effekt aufzuzeigen=

Kompromiss Teststärkeanalyse

• wie soll Verhältnis von alpha und beta sein?

• Meistens 1:4 (a=.05, b=.20) .> 4mal wichitger keinen a-Fehler (falsch positv) zu begehen

• kann auch anders muss begrpndbar sein und ist schwieriger publizierbar

Effektivität

• Hat Maßnahme Effekt?

• Wie groß ist der Effekt

Effizienz

• Wie viel Wirkung wird pro Investitionseinheiterreicht?

• Lohnt sich maßnahme?

Monetarisierung

• Versuch, Kosten und Nutzen in einer Einheit zu verreichnen und so Effizienz als Zahl auszudrücken

Manifeste Kostenarten

• planungskosten, personalkosten, Marerialkosten, Ausfallkosten, administrative Kosten (Raummiete)

Latente Kosten

• Kosten die schwer direkt belegt werden können

  • z.b. Versorgungsmaßnahme die durch Steuergelder finanziert wird

• Tatsächlcihe kosten vs. marktübliche kosten

  • Wenn unbezahlter Praktikant mitarbetet, soll dieser in Kalkulation mitberehcnet werren=

  • Ja -> entspricht den realen kosten des programs

• Opportunitötskosten

  • Entscheidet man sich fpr Maßnahme B statt A:

    • nimm man Nachteile von B in kauf

    • verzichtet auf Vorteile von A

• Nutzen = Wirksamkeit* Wert

• werd ist oft subjektiv bewertet und höngt von perspektive ab

  • (Autraggeber, Betroffene, Gesellschaft)

steigt an und fällt wieder: