Termin 11: Power

• Fehler 2. Art (β-Fehler):

  • Die Nullhypothese (H₀) wird beibehalten, obwohl sie falsch ist.

• Damit wird ein tatsächlich vorhandener Effekt nicht erkannt.

• Fehler 1. Art (α-Fehler):

  • Die Nullhypothese (H₀) wird abgelehnt, obwohl sie richtig ist.

• Die Wahrscheinlichkeit dieses Fehlers wird über das Signifikanzniveau α kontrolliert.

• Durch die Festlegung des Signifikanzniveaus (α) wird die Wahrscheinlichkeit eines Fehlers 1. Art kontrolliert.

• Dadurch stellt sich die Frage, wie mit dem Fehler 2. Art umgegangen wird.

• Teststärke (Power = 1 − β):

  • Wahrscheinlichkeit, die Nullhypothese zugunsten einer spezifischen H₁ abzulehnen, wenn H₀ tatsächlich falsch ist.

• Sie beschreibt somit die Wahrscheinlichkeit, einen tatsächlich vorhandenen Effekt zu entdecken.

• Zur Berechnung der Teststärke muss eine konkrete H₁-Verteilung angenommen werden.

Wenn die Effektgröße vorgegeben ist, kann die Teststärke bestimmt werden, nachdem festgelegt wurden:

1. Signifikanzniveau (α)

2. Stichprobenumfang (n)

Es wird der Vergleich einer neuen Lehrmethode mit einer Standard-Lehrmethode verwendet.

Fragestellung:

• Um wie viele Punkte verbessert sich die durchschnittliche Lernleistung durch die neue Lehrmethode?

Es wird angenommen:

• H₀: μ₀ = 40

• H₁: μ = 43

Erfahrene Pädagogen fordern dabei einen Effekt von mindestens 3 Leistungspunkten, damit sich die Einführung der neuen Methode rechtfertigt.

Es wird bestimmt,

• mit welcher Wahrscheinlichkeit ein tatsächlich existierender Effekt entdeckt wird.

Die Folie definiert die standardisierte Effektgröße als:

δ = (μ − μ₀) / σ

Dabei werden verglichen:

• μ = Mittelwert unter H₁

• μ₀ = Mittelwert unter H₀

• σ = Standardabweichung

Gegeben:

• μ = 44

• μ₀ = 40

• σ = 4

Berechnung:

• δ = (44 − 40) / 4 = 1

Die Folie ergänzt:

• Eine Mittelwertsdifferenz entspricht genau einer Standardabweichung der Rohwerte.

Gegeben:

• μ = 42

• μ₀ = 40

• σ = 4

Berechnung:

• δ = (42 − 40) / 4 = 0,5

Nach Cohen (1988):

• kleiner Effekt: d = 0,2

• mittlerer Effekt: d = 0,5

• großer Effekt: d = 0,8

Die Folie weist darauf hin:

• Die Werte dienen als grobe Orientierungspunkte.

• Die Interpretation der Effektgrößen hängt vom Untersuchungsgegenstand ab.

Ein mittlerer Effekt (medium ES) ist laut Cohen:

• ein Effekt, der für einen sorgfältigen Beobachter mit bloßem Auge erkennbar sein sollte.

Außerdem wird erwähnt:

• Er entspricht ungefähr der durchschnittlichen Größe beobachteter Effekte in verschiedenen Forschungsfeldern.

Nach Cohen:

• kleine Effekte sind merklich kleiner als mittlere Effekte, aber nicht trivial.

• große Effekte liegen ungefähr im gleichen Abstand über dem mittleren Effekt, wie kleine Effekte darunter liegen.

Die Einteilung entstand subjektiv, wurde jedoch seit der Ausgabe von 1977 unverändert übernommen und allgemein verwendet.

Die Folie gibt für den z-Test an:

• zβ = z₁₋α − √n · δ

Außerdem:

• 1 − β = 1 − Φ(zβ)

Dabei bezeichnet Φ(z) die Verteilungsfunktion der Standardnormalverteilung.

Zur Berechnung der Teststärke (1 − β) müssen bekannt sein:

• α (Signifikanzniveau)

• n (Stichprobenumfang)

• δ (Effektgröße)

Diese Größen werden durch die Formel miteinander in Beziehung gesetzt.

Gegeben:

• μ = 43

• μ₀ = 40

• σ = 4

Berechnung:

• δ = (43 − 40) / 4 = 0,75

Für die Berechnung gelten:

• Stichprobenumfang: n = 12

• Standardabweichung: σ = 4

• kritischer Wert: z₁₋α = 1,65 (z₉₅%)

Berechnung:

• zβ = z₁₋α − √n · δ

• = 1,65 − √12 · 0,75

• ≈ 1,65 − 2,60

• = −0,95

Ergebnis:

• zβ = −0,95

Aus der Folie:

1. β = Φ(−0,95) = 0,17

2. Teststärke = 1 − β

3. 1 − β = 1 − 0,17 = 0,83

Ergebnis:

• β = 0,17

• Teststärke = 0,83

Die Folie nennt drei Determinanten der Teststärke:

• Effektgröße

• Stichprobenumfang

• Signifikanzniveau

• Mit wachsender Effektgröße vergrößert sich die Teststärke.

• Mit wachsendem Stichprobenumfang vergrößert sich die Teststärke.

• Eine Vergrößerung des Signifikanzniveaus (α) führt zu einer größeren Teststärke.

Die a-priori-Poweranalyse bestimmt:

• die erforderliche Stichprobengröße (N) als Funktion von

  • Effektgröße (ES)

  • Signifikanzniveau (α)

  • Teststärke (1 − β)

Sie ist laut Folie die häufigste (und wohl wichtigste) Form der Teststärkeanalyse.

Ziel ist die Bestimmung einer Stichprobengröße, sodass:

• eine vorab festgelegte Teststärke erreicht wird und

• ein tatsächlich vorhandener Effekt mit der Wahrscheinlichkeit 1 − β entdeckt wird.

Die Folie nennt häufig verwendete Werte:

• α = 0,05

• 1 − β = 0,80

Sind festgelegt:

• Signifikanzniveau (α)

• Teststärke (1 − β)

• Populationseffektstärke (ES)

kann für ein statistisches Testverfahren die Stichprobengröße N berechnet werden.

Die Folie nennt:

• Eine exakte Berechnung kann mit Softwarepaketen durchgeführt werden.

• Als Beispiel wird G*Power genannt.

Die Post-hoc-Teststärkeanalyse berechnet:

• die Teststärke (1 − β)

als Funktion von:

• Effektgröße (ES)

• Signifikanzniveau (α)

• Stichprobengröße (N)

Sie wird nach einer bereits durchgeführten Studie berechnet.

Sie dient der Evaluation einer bereits durchgeführten Studie, indem bestimmt wird:

• die Power

• und damit auch die Wahrscheinlichkeit eines Fehlers 2. Art (β)

unter den gegebenen Bedingungen N, ES und α.

• A-priori-Poweranalyse:

  • Instrument der Versuchsplanung

• Post-hoc-Poweranalyse:

  • Instrument zur Evaluation einer bereits durchgeführten Studie

Die Folie betont:

• Ergibt die Post-hoc-Teststärkeanalyse, dass eine Studie eine geringe Power besitzt, ist es bereits zu spät.

• Deshalb sollte die Teststärkeanalyse bereits bei der Versuchsplanung (a priori) durchgeführt werden.

Die Folie nennt zwei Gründe:

• Eine Teststärkeanalyse von Hand ist häufig sehr aufwändig.

• Für beliebige Testverfahren greift man daher in der Regel auf spezialisierte Software zurück.

Als kostenloses Programm wird genannt:

• G*Power

Dieses Programm dient zur Durchführung von Teststärkeanalysen.