VL10_ML_3_LASSO

von diana F.

Regularisierte Lineare Modelle

Was ist Regularisierung?

Was ist in-sample performance?

Was ist out of sample performance?

«Sin embargo, en la práctica, la mayoría de las veces, [en la regresión] es mejor utilizar ponderaciones unitarias: +1 para los predictores relacionados positivamente, -1 para los predictores relacionados negativamente y 0, es decir, descartar los predictores poco relacionados.

• El problema es que las betas vienen con garantías de ser mejores que las ponderaciones unitarias solo para la muestra en la que se determinaron.

• Pero al investigador no le interesa hacer predicciones para esa muestra, ya que conoce los valores de criterio para esos casos. La idea es combinar los predictores para obtener la máxima predicción para muestras futuras».

Regularisierte Lineare Modelle

Lineare und Logistische Regression

Gleichung der Multiplen Linearen Regression

Gleichung der Multiplen Logistische Regression

Wie werden beide Modellklassen in der prädiktiven Modellierung bezeichnet und wieso?

Regularisierte Lineare Modelle

Wann funktionieren lineare Modelle am besten (im Bezug auf die Stichprobengröße)?
Wann wird die Vorhersagegüte der linearen Modelle schlechter?
Wann sind diese Modelle überhaupt nicht identifiziert bzw wann können die Modellparameter mit der Standardmethode nicht geschätzt werden?
Was können regularisierte lineare Modelle?

Regularisierte Lineare Modelle

Bias-Varianz Tradeoff

Wie schaffen wir es, dass die lineare Modelle noch unflexibler werden? (2 Ideen mit Begründung)
Problem bei diesen beiden Strategien
Vorteil?

Regularisierte Lineare Modelle

Best Subset Selection

Was ist Best Subset Selection?

Wann macht es Sinn dies zu machen?

Was ist dabei zu beachten?

Una estrategia obvia para crear mejores modelos predictivos cuando hay muchos predictores:

• Selección de un número reducido de «buenos» predictores

• Uso del modelo predictivo solo con las variables predictivas seleccionadas

• La selección del mejor subconjunto es un algoritmo automatizado para la lógica que acabamos de describir:

• Estimación del rendimiento predictivo esperado para modelos con todas las combinaciones posibles de variables predictivas.

• Elección del modelo con el mayor rendimiento predictivo esperado (o el menor error predictivo esperado).

Regularisierte Lineare Modelle

Best Subset Selection

Problem der Best Subset Selection

Wieso? Wann?

Alternative und Vorteil der Alternative??

Problemas:

• No funciona con 𝑁 < 𝑝, ya que los modelos con un número de predictores superior al tamaño de la muestra no se pueden estimar.

• Cuando hay muchos predictores, existen muchas combinaciones posibles de predictores (2ᴾ) y, por lo tanto, se tarda mucho tiempo en calcular los modelos para todas las combinaciones. Por lo general, a partir de unos 40 predictores, el cálculo ya no es posible ni siquiera en ordenadores modernos.

• Regularisierte lineare Modelle sind moderne Alternativen zur Best Subset Selection, die auch bei sehr vielen Prädiktoren eine gute Vorhersageleistung liefern und gleichzeitig sehr effizient berechnet werden können.

Regularisierte Lineare Modelle

Methode der kleinsten Quadrate der linearen Regression

Gleichung und Ziel

Regularisierte Lineare Modelle

Regularisierte lineare Regression

Gleichung

Ziel

Name der Parameter und Wertebereich

Regularisierte Lineare Modelle

Interpretation der Regularisierungsformel

Gleichung des Regularisierungsterm
Alternativen Name. Wieso heißt er so?
Was entscheidet der Regularisierungsparameter? Nomenglatura? Was passiert falls 0?
Wenn der Regularisierungsterm alleine entscheiden würde, wie die optimalen Werte 𝛽^𝑗 gewählt werden, welche Werte würden diese nehmen?
Bei regularisierten Modellen gibt es auch ein Trade-off… zwischen was und was?

Regularisierte Lineare Modelle

LASSO

Wie bezeichnet man Lineare oder Logistische Regressionsmodelle, die mit der LASSO- Regularisierung geschätzt werden?

Wofür steht LASSO?

Was ist LASSO

Welche Effekte hat die LASSO auf die Regressionsgewichte?

De este modo, el resultado con LASSO es similar al de la selección del mejor subconjunto: se obtiene un modelo lineal simplificado en el que solo se utiliza un número reducido de predictores. También se puede demostrar matemáticamente que la regularización LASSO resuelve un problema de optimización muy similar al de la selección del mejor subconjunto.

Regularisierte Lineare Modelle

In welchen Situationen sollte man eine LASSO Regularisierung vorteilhaft nutzen?

Wie ist die Flexibilität der regularisierten Modellen im Vergleich mit normalen linearen Modellen?

Wie funktioniert die LASSO Regularisation?

Was wird dadurch verschiebt?

Was passiert mit der Parameterschätzung mit LASSO im Vergleich zu ohne Regularisierung?

Los modelos lineales regularizados son menos flexibles que los modelos lineales normales no regularizados (con el mismo conjunto de predictores):

La regularización LASSO establece algunos parámetros del modelo en 0, eliminando así la influencia de los predictores correspondientes en las predicciones.

• En el caso de los parámetros del modelo que no se establecen en 0, las estimaciones de los parámetros están más cerca de 0 que sin regularización.

• De este modo, la regularización modifica la relación entre sesgo y varianza:

• Mayor sesgo.

• Menor varianza.

• En situaciones con muchos predictores en comparación con el tamaño de la muestra, la relación de los modelos regularizados suele ser ventajosa para el rendimiento de la predicción. (Atención: en otros escenarios de predicción, es mejor otra compensación entre sesgo y varianza).