Was ist Regularisierung?
Was ist in-sample performance?
Was ist out of sample performance?
«Sin embargo, en la práctica, la mayoría de las veces, [en la regresión] es mejor utilizar ponderaciones unitarias: +1 para los predictores relacionados positivamente, -1 para los predictores relacionados negativamente y 0, es decir, descartar los predictores poco relacionados.
• El problema es que las betas vienen con garantías de ser mejores que las ponderaciones unitarias solo para la muestra en la que se determinaron.
• Pero al investigador no le interesa hacer predicciones para esa muestra, ya que conoce los valores de criterio para esos casos. La idea es combinar los predictores para obtener la máxima predicción para muestras futuras».
Gleichung der Multiplen Linearen Regression
Gleichung der Multiplen Logistische Regression
Wie werden beide Modellklassen in der prädiktiven Modellierung bezeichnet und wieso?
Wann funktionieren lineare Modelle am besten (im Bezug auf die Stichprobengröße)?
Wann wird die Vorhersagegüte der linearen Modelle schlechter?
Wann sind diese Modelle überhaupt nicht identifiziert bzw wann können die Modellparameter mit der Standardmethode nicht geschätzt werden?
Was können regularisierte lineare Modelle?
Wie schaffen wir es, dass die lineare Modelle noch unflexibler werden? (2 Ideen mit Begründung)
Problem bei diesen beiden Strategien
Vorteil?
Was ist Best Subset Selection?
Wann macht es Sinn dies zu machen?
Was ist dabei zu beachten?
Una estrategia obvia para crear mejores modelos predictivos cuando hay muchos predictores:
• Selección de un número reducido de «buenos» predictores
• Uso del modelo predictivo solo con las variables predictivas seleccionadas
• La selección del mejor subconjunto es un algoritmo automatizado para la lógica que acabamos de describir:
• Estimación del rendimiento predictivo esperado para modelos con todas las combinaciones posibles de variables predictivas.
• Elección del modelo con el mayor rendimiento predictivo esperado (o el menor error predictivo esperado).
Problem der Best Subset Selection
Wieso? Wann?
Alternative und Vorteil der Alternative??
Problemas:
• No funciona con 𝑁 < 𝑝, ya que los modelos con un número de predictores superior al tamaño de la muestra no se pueden estimar.
• Cuando hay muchos predictores, existen muchas combinaciones posibles de predictores (2ᴾ) y, por lo tanto, se tarda mucho tiempo en calcular los modelos para todas las combinaciones. Por lo general, a partir de unos 40 predictores, el cálculo ya no es posible ni siquiera en ordenadores modernos.
• Regularisierte lineare Modelle sind moderne Alternativen zur Best Subset Selection, die auch bei sehr vielen Prädiktoren eine gute Vorhersageleistung liefern und gleichzeitig sehr effizient berechnet werden können.
Methode der kleinsten Quadrate der linearen Regression
Gleichung und Ziel
Gleichung
Ziel
Name der Parameter und Wertebereich
Gleichung des Regularisierungsterm
Alternativen Name. Wieso heißt er so?
Was entscheidet der Regularisierungsparameter? Nomenglatura? Was passiert falls 0?
Wenn der Regularisierungsterm alleine entscheiden würde, wie die optimalen Werte 𝛽^𝑗 gewählt werden, welche Werte würden diese nehmen?
Bei regularisierten Modellen gibt es auch ein Trade-off… zwischen was und was?
Wie bezeichnet man Lineare oder Logistische Regressionsmodelle, die mit der LASSO- Regularisierung geschätzt werden?
Wofür steht LASSO?
Was ist LASSO
Welche Effekte hat die LASSO auf die Regressionsgewichte?
De este modo, el resultado con LASSO es similar al de la selección del mejor subconjunto: se obtiene un modelo lineal simplificado en el que solo se utiliza un número reducido de predictores. También se puede demostrar matemáticamente que la regularización LASSO resuelve un problema de optimización muy similar al de la selección del mejor subconjunto.
In welchen Situationen sollte man eine LASSO Regularisierung vorteilhaft nutzen?
Wie ist die Flexibilität der regularisierten Modellen im Vergleich mit normalen linearen Modellen?
Wie funktioniert die LASSO Regularisation?
Was wird dadurch verschiebt?
Was passiert mit der Parameterschätzung mit LASSO im Vergleich zu ohne Regularisierung?
Los modelos lineales regularizados son menos flexibles que los modelos lineales normales no regularizados (con el mismo conjunto de predictores):
La regularización LASSO establece algunos parámetros del modelo en 0, eliminando así la influencia de los predictores correspondientes en las predicciones.
• En el caso de los parámetros del modelo que no se establecen en 0, las estimaciones de los parámetros están más cerca de 0 que sin regularización.
• De este modo, la regularización modifica la relación entre sesgo y varianza:
• Mayor sesgo.
• Menor varianza.
• En situaciones con muchos predictores en comparación con el tamaño de la muestra, la relación de los modelos regularizados suele ser ventajosa para el rendimiento de la predicción. (Atención: en otros escenarios de predicción, es mejor otra compensación entre sesgo y varianza).
Wovon hängt die Größe der Modellparameter?
Was muss man erstmal machen, bevor man ein Modell regularisiert?
Wieso?
Wie werden die Parameterschätzungen am Ende angegeben?
Depression
Stichprobe: 183 Personen
Kriteriumsvariable: ICD10 Diagnose für Depression vorhanden (𝑌𝑖 = 1) oder nicht (𝑌𝑖 = 0)
• Prädiktoren: Alter, Geschlecht, 21 BDI Items, 30 FIE Items
Was ist hier der SPV (subject-to-variable ratio)?
Welche ist die Faustregel?
Was ist der Einfluss von 𝜆 auf die Parameterschätzungen 𝛽 ^𝑗?
Wie entscheidet man welches 𝜆 gewählt werden soll?
Was sieht man hier? Welcher Wert von λ sollten wir auswählen?
Konservative Alternative?
3 Limitationen
Bessere Option gegeben die Szenarios der Limitationen?
Wie sieht das Output eines LASSO Models aus?
Was sollte zusätzlich angegeben werden?
Wie werden die Modellparameterschätzungen in regularisierten linearen Modellen interpretiert?
Interpretiere diesen Output
Welche wäre eine alternative Regularisierung zu LASSO und wann würde man diese anwenden? Wieso
Zuletzt geändertvor 13 Tagen