VL 8- Inferenz I; frequentistische und bayeranische Inferenz

ALLE FALSCH: Verschiedene Arten der Inferenzstatistik werden verwechselt

WARUM?:

Merke!

• :(  P ist kein Indikator für die Größe eines Effektes.

• :(  P ist keine Hypothesenwahrscheinlichkeit.

• :(  P ist keine Irrtumswahrscheinlichkeit.

• :(  P ist kein Indikator für die Replizierbarkeit.

:) P ist die (bedingte) Wahrscheinlichkeit der Daten (inklusive noch extremerer Ereignisse) unter der Bedingung, dass die Nullhypothese wahr ist [p(D I H0)].

• stellt dar, wie viele Falsch-Annahmen es über verschiedene Gruppen hinweg gibt zu dem Signifikanzniveau “p=0.01”

• Die Prozentangaben beziehen sich auf die Teilnehmer in jeder Gruppe, die eine oder mehrere der sechs falschen Aussagen bestätigten.

Merke!

•  P ist kein Indikator für die Größe eines Effektes.

•  P ist keine Hypothesenwahrscheinlichkeit.

•  P ist keine Irrtumswahrscheinlichkeit.

•  P ist kein Indikator für die Replizierbarkeit.

☺ P ist die (bedingte) Wahrscheinlichkeit der Daten (inklusive noch extremerer Ereignisse) unter der Bedingung, dass die Nullhypothese wahr ist [p(D->H0)].

1. Frequentistischer Ansatz (Fisher, Neyman & Pearson)

2. Bayesianischer Ansatz (Bayes)

3. Resampling-Ansätze (Bootstraping, Rerandomisierung)

• Klassische inferenzstatistische Tests basieren auf dem frequentistischen Wahrscheinlichkeitskonzept.

• Der frequentistische Wahrscheinlichkeitsbegriff interpretiert die Wahrscheinlichkeit eines Ereignisses als die relative Häufigkeit, mit der es in einer großen Anzahl gleicher, wiederholter, voneinander unabhängiger Zufallsexperimente auftritt.

• Wichtige „Frequentisten“ waren u.a. Egon Pearson, Jerzy Neyman und Ronald. A. Fisher

1. Ziehen einer Zufallsstichprobe (N = 11) Paare

2. Wir könnten ein Paar mit „+“ kennzeichnen, wenn der Partner den höheren Schulabschluss hat, und mit „-“, wenn die Partnerin den höheren Abschluss hat. Gleichheit bei den Bildungsabschlüssen werden mit einem „=“ gekennzeichnet.

3. Ergebnis: bei 7 von 11 Paaren hat der Partner den höheren Abschluss. Ein Paar hat gleiche Abschlüsse.

4. Anwendung des Vorzeichenrangtestes (= wird nicht berücksichtigt, dadurch N = 10)

5. Annahme: Würden sich die Lebenspartner hinsichtlich ihrer Bildungsabschlüsse nicht unterscheiden, wären gleich viele positive und negative Vorzeichen zu erwarten (Nullhypothese). Der zu erwartende Anteil „+“ in der Population wäre also 50% (Mü = 0,5).

6. Konstruktion der theoretischen Stichprobenverteilung (Binomialverteilung mit Mü = 0,5, N = 10)

7. Wie wahrscheinlich ist das Stichprobenergebnis eines Anteiles (p) = 7/10 unter der Annahme, dass in der Population Mü = 0,5 gilt?

1. Ziehen einer Zufallsstichprobe des Umfanges N

2. Berechnen einer Stichprobenstatistik (z.B. Mittelwertdifferenz)

3. Vorgabe eines zu erwartenden Populationsparameters (Nullhypothese; H0)

4. Konstruktion der zu H0 gehörenden theoretischen Stichprobenverteilung

5. Bestimmen der bedingten Wahrscheinlichkeit p(DatenIH0)

6. Wenn der p-Wert sehr klein ist (z.B. unter 5%), ist es sehr unwahrscheinlich solche oder noch extremere Ergebnisse zu erhalten, wenn man davon ausgeht, dass die Nullhypothese wahr ist.

7. Man spricht in diesem Fall von einem signifikanten Ergebnis, was soviel wie „statistisch bedeutsam“ bedeutet.

1. a)  Der Nullhypothese (H0) wird eine Alternativhypothese (H1) gegenüber gestellt. Damit kann zwischen zwei Entscheidungsfehlern unterschieden werden (alpha-Fehler und β-Fehler)

2. b)  Einführung der Teststärke (power = 1 - beta) als Wahrscheinlichkeit, dass ein Test den in der Alternativhypothese festgelegten Effekt auch tatsächlich aufdecken kann. Darauf aufbauend resultiert ein optimaler Stichprobenumfang.

3. c)  Lösung des Problems der Interpretation eines Signifikanztestergebnisses durch eine Verhaltensinterpretation: „Wenn der Test signifikant ist, verhalte dich so, als wenn die H1 wahr wäre, und wenn er nicht signifikant ist, verhalte dich so, als wenn die H0 wahr wäre“

1. Formuliere eine Nullhypothese (H0, und konstruiere die entsprechende Stichprobenverteilung, falls Stichprobengröße vorgegeben)

2. Formuliere eine Alternativhypothese (H1, und konstruiere die entsprechende Stichprobenverteilung, falls Stichprobengröße vorgegeben)

3. Entscheide dich für die Größe von alpha oder beta, wäge die relative Wichtigkeit von alpha und beta ab und konstruiere aufgrund der daraus ermittelten Stichprobengröße die entsprechenden Stichprobenverteilungen (Poweranalyse).

4. Prüfe, ob der p-Wert, die Wahrscheinlichkeit des Stichprobenergebnisses unter der Annahme, dass die Nullhypothese zutrifft, größer oder kleiner/gleich alpha ist.

5. Wenn der p-Wert nicht größer als alpha ist, dann ist das Ergebnis des Testes signifikant, ansonsten ist es nicht signifikant.

6. Wenn das Ergebnis signifikant ist, verhalte dich so, als wenn die Alternativhypothese wahr wäre, wenn es nicht signifikant ist, als wenn die Nullhypothese zuträfe.

• Die Abbildungen illustrieren die Auswirkung der Populations-Effektgröße auf die Teststärke (Power).

• Die Zahlen auf den Säulen sind die Wahrscheinlichkeiten (in Prozent) für die einzelnen Ergebnisse unter der Gültigkeit der H0 (jeweils helle Verteilung) und H1 (jeweils dunkle Verteilung.)

• Die Teststärke ist jeweils repräsentiert durch die Fläche der grünen unschraffierten Balken.

Theoretische Stichprobenkennwerteverteilung für H0 und H1 mit einer optimalen Stichprobengröße N = 213

1.  Je kleiner der Effekt in der Population, desto geringer die Teststärke

2.  Je kleiner die Stichprobe, desto geringer die Teststärke

3.  Je heterogener die Population(en), desto geringer die Teststärke

4.  Die Abwägung der Fehler erster und zweiter Art beeinflusst die Teststärke; alpha-Fehler und beta-Fehler sind gegenläufig, d.h. je kleiner der alpha- Fehler gewählt wird, desto geringer ist die Teststärke (1- beta)

5.  Ein einseitiger Test hat eine höhere Teststärke als ein zweiseitiger Test.

6. Je größer der experimentelle Fehler (Fehlervarianz aufgrund von Störvariablen und unzuverlässigen Messinstrumenten), desto geringer ist die Teststärke

• In der klassischen Inferenzstatistik sagt ein signifikantes Ergebnis nichts darüber aus, mit welcher Wahrscheinlichkeit die geprüfte Hypothese korrekt ist!

• Forscher möchten aber gerne wissen, mit welcher Wahrscheinlichkeit die geprüfte Hypothese in Anbetracht des Studienergebnisses korrekt ist (vgl. Folie 8, Gigerenzer, 2004).

• Genau dies ermöglicht die Bayes-Statistik auf der Basis eines subjektiven Wahrscheinlichkeitskonzeptes.

• Eine subjektive Wahrscheinlichkeit ist definiert als der Grad der Überzeugung in eine Hypothese.

• Das grundlegende Ziel der Bayes-Statistik besteht darin, zu prüfen, wie sich die Wahrscheinlichkeit für ein Ereignis verändert, wenn eine neue Information zu diesem Ereignis vorliegt (Wahrscheinlichkeitsrevision).

Zur Beantwortung der Frage stehen folgende Informationen zur Verfügung:

1. Die Wahrscheinlichkeit, dass eine Frau, die sich einer Mammographie unterzieht, Brustkrebs hat, beträgt 1%

2. Wenn eine Frau, die Brustkrebs hat, sich einer Mammographie unterzieht, liegt die Wahrscheinlichkeit für ein positives Ergebnis bei 80%.

3. Wenn eine Frau, die keinen Brustkrebs hat, sich einer Mammographie unterzieht, liegt die Wahrscheinlichkeit für ein positives Ergebnis bei 10%.

Darstellung des Mammografieproblems: Die 1000 Kästchen repräsentieren eine Zufallsstichprobe von 1000 Frauen in den 40ern. Bei 10 der Frauen (1%) kann erwartet werden, dass sie an Brustkrebs leiden (dunkle Kästchen), bei den anderen 990 (99%), dass das nicht der Fall ist (helle Kästchen). Von den 10 kranken Frauen, wird bei 8 (80%) durch die Mammografie der Brustkrebs entdeckt. Aber auch bei 99 der 990 gesunden Frauen (10%) ergibt der Test ein positives Ergebnis. Alle Frauen mit positivem Ergebnis sind durch Kästchen mit einem Kreuz gekennzeichnet (erstellt mit dem Programm aus Sedlmeier & Köhlers, 2001).

Die Wahrscheinlichkeit der Hypothese Brustkrebs ist aufgrund der neuen Evidenz von 1% auf 7,5% gestiegen. Dieser Wert wird auch als positiv prädiktiver Wert bezeichnet.

Das Bayes-Theorem ist eine mathematische Regel der Wahrscheinlichkeitstheorie, die besagt, wie man die bedingte Wahrscheinlichkeit einer Hypothese anhand von Beobachtungen aktualisiert. Es ist benannt nach dem englischen Mathematiker Thomas Bayes und ist eine grundlegende Methode zur statistischen Inferenz und zum Umgang mit Unsicherheit.

Mathematisch ausgedrückt lautet das Bayes-Theorem:

P(H|E) = (P(E|H) * P(H)) / P(E)

Das Bayes-Theorem erlaubt es uns, eine Hypothese H zu bewerten, indem wir vorhandenes Wissen über P(H) mit neuen Beobachtungen E in Form von P(E|H) und P(E) kombinieren. Es ermöglicht eine aktualisierte Schätzung der Wahrscheinlichkeit der Hypothese H, nachdem wir die Beobachtung E gemacht haben.

nächste Folie:Bestimmung der Likelihoods

übernächste Folie: Bestimmung der Posteriors

Die Likelihoodfunktion bringt zum Ausdruck, wie gut verschiedene Annahmen über den Populationsparameter zu den Daten (x = 7) „passen“.

Die Posteriorverteilung ist die revidierte Priorverteilung unter Berücksichtigung der Liklihoodverteilung (→ Bayes-Theorem)

Stetige Priorverteilungen und konjugierte Priors

• Zur Überprüfung der Wirksamkeit einer Ernährungsumstellung wird an einer Stichprobe von N = 30 Studienteilnehmer*innen eine Pretestmessung und eine Posttestmessung des Körpergewichts durchgeführt.

• Als Priorverteilung wird eine Normalverteilung mit MPrior = - 3Kg und SD = 2Kg.

• Die Studie führt zu dem Ergebnis: MDaten = -1,5Kg und SD = 10Kg (Standardfehler (SE) = 1,83Kg)

• Bestimmung der Likelihoodfunktion

• Bestimmung der Posteriorverteilung

Priorverteilung und Posteriorverteilung werden als konjugiert bezeichnet, wenn sie den gleichen Verteilungstyp haben. Ferner ist ein 95%-Glaubwürdigkeitsintervall unter der Posteriorverteilung eingezeichnet. Die Wahrscheinlichkeit dass der unbekannte Parameter in dem Glaubwürdigkeitsintervall liegt, beträgt 95% (Klassisches Konfidenzintervall: in 95% aller Fälle überdeckt das Intervall den unbekannten Populationsparameter)

Priorverteilung eines Skeptikers mit M = 0 und SD = 1 (im Unterschied zu M = -1,5 und SD = 10).

Die Priorverteilung hat einen großen Einfluss auf die Posteriorverteilung!

Ursprüngliche Studie mit N = 30. Neue Studie mit N = 300 Bei gleichem Studienergenis (M = -1,5 und SD = 10) reduziert sich der Der Standardfehler des Mittelwertes von 1,83 auf 0,58

Die größere Stichprobe liefert eine präzisere Schätzung des Populationsparameters

Der Bayes-Faktor:

Der Bayes-Faktor (BF) ist definiert als Odds der Likelihoods zweier Hypothesen H1 und H0. Die Likelihoods bringen zum Ausdruck, wie gut eine Hypothese zu dem Ergebnis der Studie passt. Der Bayes-Faktor ist das Äquivalent zum klassischen Signifikanztest. BF>1 stützt die H1, ein BF<1 stützt die H0. BF=1 bedeutet, dass beide Hypothesen gleichermaßen mit den Daten vereinbar sind.

1. Vorwissen einbeziehen

2. Zur Quantifizierung der Wahrscheinlichkeit, dass 0 in einem bestimmten Intervall liegt

3. Bedingung für das, was bekannt ist (d. h. die Daten)

4. kohärent sein (d. h. nicht in sich widersprüchlich)

5. Natürliche Ausweitung auf komplizierte Modelle Desiderata für Hypothesentests

1. Quantifizierung der Beweise, die die Daten für H0 vs. H1 liefern.

2. Quantifizierung der Evidenz zugunsten von H0

3. Ermöglicht die Überwachung der Beweise, wenn sich die Daten häufen

4. Keine Abhängigkeit von unbekannten oder fehlenden Stichprobenplänen

5. Nicht "gewaltsam voreingenommen" gegen H0 sein

Eine boxerische Analogie des p-Wertes . Der Schiedsrichter verwendet den Signifikanztest der Nullhypothese und berücksichtigt daher nur den beklagenswerten Zustand des Boxers H0 (d. h. die Nullhypothese). Seine Entscheidung, H0 zu verwerfen, verwirrt die Öffentlichkeit.

Zusammenfassung von Folie 41:

• Die JASP-Philosophie basiert auf Transparenz und Hypothesentests.

• JASP konzentriert sich auf häufig verwendete statistische Methoden und verwendet Add-ons für spezialisierte Verfahren.

• Es hat eine benutzerfreundliche grafische Benutzeroberfläche und unterstützt Open Science.

• Die Benutzeroberfläche ist ähnlich wie bei SPSS und verwendet R für Inferenzanalysen.

• Langfristiges Ziel: Benutzerfreundlichkeit verbessern und Abhängigkeit von teurer Software wie SPSS reduzieren.