VL08_ML_Einfuehrung

Ein anderes Hauptziel psychologischer Forschung besteht darin,

kausale Zusammenhänge zu identifizieren.

Beispiel 1:

• In der Personalpsychologischen Eignungsdiagnostik ist es das Ziel der Unternehmen, möglichst passende Bewerber*innen zu finden

• Vorhersage von Berufserfolg mithilfe von Variablen aus dem Bewerbungsverfahren (IQ-Test, Persönlichkeitstest, Aufgaben im Assessmentcenter)

Beispiel 2:

• In der klinischen Psychologie ist es ein Ziel Suizidversuche zu verhindern

• Vorhersage von Suizidversuchen durch Smartphone-Nutzung/Social-Media Verhalten

Beispiel 3:

• In der Verkehrspsychologie möchte man sicher stellen, dass Personen nur in fahrtauglichem Zustand Auto fahren.

• Vorhersage von Fahrtauglichkeit mithilfe von Kameradaten (Lidschlag etc.), chemischen Daten (Alkoholmessgerät im Auto), Lenkverhalten (Mikrobewegungen etc.)

Fase de entrenamiento

Las diferentes clases de modelos tienen diferentes parámetros de modelo.

• Antes de poder calcular predicciones concretas, es necesario estimar los parámetros del modelo. También se dice que el modelo predictivo se «entrena».

• Si para la estimación del modelo se utiliza un conjunto de datos en el que se conocen tanto los valores de los predictores como los valores de la variable criterio, se habla de «aprendizaje supervisado (»de máquina»)».

Primero sacas los valores de los predictores y tienes tus Schätzwerte. Encuentras la mejor gerade con el metodo del cuadrado de los fehlers y con los Schätzwerte puedes hacer una Vorhersage para la neue Beobachtung 𝑗 (yⱼ)

Ejemplo: Nos interesamos por extraversion (CRITERIUM) y handynutzung.

Hace 20 años hice un modelo para esto pero se mandaban SMS. El Zusammenhang en la Populacion ya cambió

Tenemos tanto los datos duros como los estimados.

Primero tienes que saber si tu Kriterio es continuo o cateforial.

Después tienes que ver el Performancemaße.

R ² kann negativ sein. Wertebereich zw. - unendlich bis 1

MMCE: ANTEIL der falsch klassifizierter Fälle:

Alle Fälle = 800

a) = 0 + 200 / 800 = 0.25

b) = 100 + 100 / 800 = 0.25

nicht aussagenkräftig

Hier scheint ein MMCE von 0,1 gut zu sein ( je KLEINER umso besser) aber wenn man die Sensitivität sieht, merkt man, dass die Sensitivität nicht so gut ist (Sensitivität sollte groß sein).

• El error de predicción esperado de un modelo predictivo aleatorio depende de los tres factores siguientes:

• Sesgo

• Varianza

• Error irreductible

Cuanto mayor sea uno de estos factores, mayor será el error de predicción esperado (suponiendo que los otros dos factores se mantengan constantes).

• Dado que nunca conocemos la verdadera relación en la población, ninguno de los tres factores puede determinarse con exactitud en la práctica.

• No obstante, estos factores son extremadamente útiles como metaheurísticas para comprender el modelado predictivo.

_________________________________

Warum unterscheiden sich trainierte prädiktive Modelle hinsichtlich der Güte ihrer Vorhersagen?

• Der erwartete Vorhersagefehler eines zufälligen prädiktiven Modells hängt von den folgenden drei Größen ab:

• Bias

• Varianz

• Nicht reduzierbarer Fehler

Je höher eine der Größen, desto höher der erwartete Vorhersagefehler (unter Annahme der Konstanthaltung der anderen beiden Größen)

• Da wir den wahren Zusammenhang in der Population niemals kennen, kann keine der drei Größen in der Praxis exakt bestimmt werden.

• Trotzdem sind diese Größen als Metaheuristiken zum Verständnis von prädiktiver Modellierung extrem hilfreich.

No hay Bias: para todas las observaciones, un modelo aleatorio predice en promedio (es decir, a través de muchos modelos fijos entrenados concretamente) el valor esperado correcto.

• Existe Bias: el modelo aleatorio en promedio no predice el valor esperado correcto para algunas observaciones

• Incluso si las clases de modelos flexibles pueden representar teóricamente la relación real, los parámetros del modelo siempre deben estimarse a partir de datos muestrales.

• Es decir, cada modelo concreto entrenado se equivocará en alguna ocasión; la cuestión en cuanto al sesgo es si todos los modelos (hipotéticos) entrenados de un modelo aleatorio predicen el valor correcto en promedio.

• Sin embargo, un sesgo bajo por sí solo no es suficiente para obtener un error de predicción esperado bajo.

Por ejemplo si usamos una regresion linear cuando el Zusammenhang no es linear.

Wie stabil sind die Vorhersagen des Modells?

entrena el modelo con 1000 muestras o sea 1000 regresiones lineares. Luego sacas una observación nueva de la misma populación, y la comparas con los valores de prediccion de las 1000 muestras.

No hay Bias: para todas las observaciones, un modelo aleatorio predice en promedio (es decir, a través de muchos modelos fijos entrenados concretamente) el valor esperado correcto.

• Existe Bias: el modelo aleatorio en promedio no predice el valor esperado correcto para algunas observaciones.

PERO SI LA VARIANZA ES GRANDE NO IMPORTA SI EL BIAS ES POCO O NADA.

Si la varianza es poca pero el Bias grande, todos los modelos van a dar valores similares pero no son lo que quiero.

Von 3 Aspekten:

1. Art des Zusammenhangs

2. Höhe des nicht reduzierbaren Fehlers

3. Größe der Stichprobe

Auf der linken Seite kann man sehen, dass obwohl die Varianz niedrig ist, das Modell ist nicht in der Lage, die Wahrheit korrekt abzubilden.

Auf der rechten Seite sieht mann ein niedriges Bias aber hohe Varianz. Die Wahrheit ist sehr nah abgebildet aber die Varianzen streuen sehr

Bei Overfitting nimmt das Model auch die unsystematische Anteile “noise”. Modelliert auch den nicht reduzierbarer Fehler. Deswegen kann ein Modell nicht bei neuen Stichproben anwenden.

Wie beurteilt man die Vorhersagegüte eines trainierten prädiktiven Modells anhand des gleichen Datensatzes, der auch für das Schätzen der Modellparameter verwendet wurde?

—> Resampling Methoden