Was ist lineare Regression?
- Statistisches Modell, das den Zusammenhang zwischen einer abhängigen Variablen Y und einer oder mehreren unabhängigen Variablen X modelliert./Ziel: Vorhersage von Y durch lineare Kombination der X-Werte.
Was beschreibt die Regressionsgerade?
- Die beste lineare Annäherung zwischen X und Y nach dem Kleinste-Quadrate-Prinzip (Least Squares).
Was ist das Ziel der linearen Regression?
- Minimierung der Summe der quadrierten Abweichungen zwischen beobachteten Y und vorhergesagten Ŷ Werten.
Was bedeutet „einfache Regression“?
- Nur eine unabhängige Variable X → Y = β₀ + β₁X + ε.
Was bedeutet „multiple Regression“?
- Mehrere unabhängige Variablen X₁,…,Xₙ → Y = β₀ + β₁X₁ + … + βₙXₙ + ε.
Was ist das Fehlerterm ε?
- Erfasst zufällige Abweichungen zwischen Modell und tatsächlichen Beobachtungen.
Was sind die Annahmen der linearen Regression?
- (1) Linearität zwischen X und Y,/ (2) Unabhängigkeit der Residuen,/ (3) Homoskedastizität = gleiche Varianz der Fehler,/ (4) Normalverteilung der Fehler.
Was bedeutet Homoskedastizität?
- Gleiche Streuung (Varianz) der Residuen über alle X-Werte./Verletzung = Heteroskedastizität.
Was bedeutet Multikollinearität?
- Starke Korrelation zwischen unabhängigen Variablen → verzerrte β-Schätzungen.
Was ist der Bestimmtheitsmaß R²?
- Anteil der Varianz in Y, der durch das Modell erklärt wird (0–1)./R² = 1 → perfekte Anpassung.
Was ist das Adjusted R²?
- R² korrigiert um die Anzahl der Prädiktoren – bestraft zu viele Variablen (Overfitting-Korrektur).
Was ist RMSE?
- Root Mean Squared Error = Wurzel des mittleren quadratischen Fehlers → Maß für Modellgüte in Originaleinheiten.
Was ist MAE?
- Mean Absolute Error = mittlere absolute Abweichung zwischen Y und Ŷ./Robuster gegen Ausreißer als RMSE.
Was ist der Max Error?
- Größter absoluter Fehler zwischen vorhergesagtem und beobachtetem Wert.
Was ist die logistische Regression?
- Modell für binäre Zielvariablen (Y ∈ {0,1})./Verwendet Sigmoid-Funktion zur Transformation linearer Kombinationen in Wahrscheinlichkeiten.
Was ist die Sigmoid-Funktion?
- σ(z) = 1 / (1 + e⁻ᶻ)./Wandelt lineare Ausgabe in Wert zwischen 0 und 1 um.
Was ist die Entscheidungsgrenze bei logistischer Regression?
- Standardmäßig 0.5 → Wahrscheinlichkeit ≥ 0.5 = Klasse 1,/ sonst Klasse 0.
Was ist Log-Odds?
- log(p/(1−p)) = β₀ + β₁X + … + βₙXₙ./Lineare Beziehung zwischen Prädiktoren und Wahrscheinlichkeit.
Was ist der Unterschied zwischen linearer und logistischer Regression?
- Linear → kontinuierliche Zielvariable (Y ∈ ℝ),/ Logistisch → binäre Zielvariable (Y ∈ {0,1}) mit Sigmoid Transformation.
Was ist die Kostenfunktion bei logistischer Regression?
- Log-Loss = −[y·log(p) + (1−y)·log(1−p)]./Minimiert Abweichung zwischen tatsächlicher und vorhergesagter Wahrscheinlichkeit.
Was ist eine Konfusionsmatrix?
- Tabelle von True Positives, False Positives, True Negatives und False Negatives → zeigt Klassifikationsleistung.
Was ist Accuracy?
- Anteil korrekt klassifizierter Beobachtungen = (TP + TN)/(TP + FP + TN + FN).
Was ist Precision?
- Anteil tatsächlich positiver Treffer unter allen als positiv klassifizierten → TP/(TP + FP).
Was ist Recall (Sensitivity)?
- Anteil erkannter positiver Fälle unter allen tatsächlich positiven → TP/(TP + FN).
Was ist der F1-Score?
- Harmonischer Mittelwert aus Precision und Recall → 2·(Precision·Recall)/(Precision + Recall).
Was ist die ROC-Kurve?
- Plot von True-Positive-Rate gegen False-Positive-Rate bei verschiedenen Schwellenwerten.
Was ist AUC (Area Under Curve)?
- Fläche unter der ROC-Kurve → Maß für Gesamtklassifikationsgüte (1 = perfekt).
Was besagt der Bayes’sche Satz?
- P(A|B) = [P(B|A)·P(A)] / P(B)./Verknüpft bedingte Wahrscheinlichkeiten zweier Ereignisse.
Was ist der Naive-Bayes-Klassifikator?
- Wahrscheinlichkeitsbasiertes Modell mit Annahme unabhängiger Merkmale → wählt Klasse mit höchstem Posterior P(Class|Features).
Was bedeutet „naiv“ bei Naive Bayes?
- Annahme, dass alle Merkmale gegeben der Klasse unabhängig sind./Erlaubt vereinfachte Berechnung von P(X|Y).
Was sind die Haupttypen von Naive-Bayes?
- Gaussian (continuous Features), Multinomial (zählend, Textdaten), Bernoulli (binär).
Was ist Likelihood bei Naive Bayes?
- P(X|Y) → Wahrscheinlichkeit der Merkmalswerte X unter Annahme der Klasse Y.
Was ist Prior?
- P(Y) → A-priori-Wahrscheinlichkeit der Klasse vor Beobachtung von X.
Was ist Posterior?
- P(Y|X) → bedingte Wahrscheinlichkeit der Klasse nach Beobachtung der Merkmale.
Was ist Laplace-Glättung?
- Hinzufügen von kleinem Wert (α, z. B. 1) zu Zählungen, um Nullwahrscheinlichkeiten zu vermeiden./P(X|Y) = (count+α)/(N+α·k).
Was sind typische Anwendungsgebiete von Naive Bayes?
- Textklassifikation, Spamfilter, Sentiment Analysis, Dokumentenklassifikation.
Was ist der Vorteil von Naive Bayes?
- Schnell, robust bei vielen Features, funktioniert auch mit kleinen Datenmengen.
Was ist der Nachteil von Naive Bayes?
- Unabhängigkeitsannahme oft nicht realistisch → ungenau bei korrelierten Merkmalen.
Was ist der Unterschied zwischen Gaussian und Multinomial Naive Bayes?
- Gaussian: kontinuierliche Werte (Ann. Normalverteilung)./Multinomial: diskrete Zählwerte (z. B. Wortfrequenzen).
Was ist der Unterschied zwischen Naive Bayes und logistischer Regression?
- Naive Bayes modelliert bedingte Wahrscheinlichkeiten direkt aus Daten./Logistische Regression lernt Parameter durch Optimierung (Log-Loss).
Wann verwendet man lineare Regression?
- Wenn die Zielvariable stetig ist (z. B. Gewicht, Umsatz, Temperatur)./Beziehung zwischen X und Y sollte linear sein.
Wann ist lineare Regression ungeeignet?
- Wenn Zielvariable binär oder kategorisch ist,/oder Residuen nicht normalverteilt bzw. heteroskedastisch sind.
Wann verwendet man multiple Regression?
- Wenn mehrere Prädiktoren gleichzeitig berücksichtigt werden sollen./Ermöglicht Kontrolle von Störeinflüssen.
Wann deutet ein niedriger R²-Wert auf ein Problem hin?
- Wenn das Modell nur wenig Varianz erklärt → möglicherweise fehlende Variablen oder Nichtlinearität.
Wann ist Adjusted R² besser als R²?
- Bei Modellen mit vielen Prädiktoren → bestraft übermäßige Komplexität und Overfitting.
Wann ist RMSE aussagekräftiger als MAE?
- Wenn große Fehler stärker bestraft werden sollen./MAE ist robuster bei Ausreißern.
Wann liegt Multikollinearität vor?
- Wenn Variablen stark korreliert sind (VIF > 10)./Führt zu instabilen β-Schätzungen.
Wann sollte man Variablen standardisieren?
- Wenn Prädiktoren stark unterschiedliche Skalen haben oder β-Werte verglichen werden sollen.
Wann ist die logistische Regression angebracht?
- Wenn Zielvariable binär ist (0/1, ja/nein)./Beispiel: Krank vs. gesund, Spam vs. kein Spam.
Wann ist logistische Regression besser als Naive Bayes?
- Wenn genügend Daten vorhanden sind und Merkmale korreliert sein dürfen./Liefert interpretierbare Koeffizienten (Odds Ratios).
Wann ist Naive Bayes besser als logistische Regression?
- Bei vielen unabhängigen Features, kleinen Datensätzen oder Textdaten./Sehr schnell und robust, auch mit wenigen Beobachtungen.
Wann ist der β₁-Koeffizient positiv interpretierbar?
- Wenn X steigt und Y im Mittel ebenfalls steigt./β₁ > 0 → positive Korrelation.
Wie interpretiert man β₁ in der logistischen Regression?
- Änderung der Log-Odds von Y=1 bei einer Einheit X./exp(β₁) = Odds Ratio.
Wann ist ein β₁-Wert signifikant?
- Wenn p < 0.05 im t- oder z-Test → Variable trägt signifikant zur Modellgüte bei.
Wann verwendet man Odds Ratio?
- Zur Interpretation logistischer Modelle./OR > 1 = erhöhtes Risiko, OR < 1 = reduziertes Risiko.
Wann ist ein Schwellenwert ≠ 0.5 sinnvoll?
- Wenn Fehlklassifikationen unterschiedlich schwer wiegen (z. B. medizinische Tests)./Schwelle an Kosten oder Sensitivität anpassen.
Wann sollte man ein Modell über ROC-Kurve bewerten?
- Wenn Klassifikationsschwelle variiert werden soll./AUC ≈ 1 = perfektes Modell.
Wann ist hohe Accuracy irreführend?
- Bei unausgeglichenen Klassen → z. B. 95 % Negativfälle = hohe Accuracy trotz schlechtem Modell.
Wann ist der F1-Score besser als Accuracy?
- Wenn Klassen unausgeglichen sind./F1 balanciert Precision und Recall.
Wann ist Recall wichtiger als Precision?
- Wenn falsche Negative kritisch sind (z. B. Krankheit nicht erkannt)./Beispiel: COVID-Screening.
Wann ist Precision wichtiger als Recall?
- Wenn falsche Positive problematisch sind (z. B. Spamfilter).
Wann ist ein lineares Modell zu einfach?
- Wenn Residuenmuster nicht zufällig sind oder systematische Nichtlinearität auftritt./Dann: polynomiale oder nichtlineare Modelle.
Wann ist Regularisierung (Lasso/Ridge) sinnvoll?
- Bei vielen Prädiktoren oder Multikollinearität → stabilisiert β-Schätzungen.
Wann ist Gradient Descent nötig?
- Wenn (XᵀX)⁻¹ nicht berechnet werden kann (viele Features) oder Daten zu groß sind.
Wann sollte man Outlier prüfen?
- Wenn Residuen groß oder R² niedrig sind → Ausreißer verzerren β und Varianzannahmen.
Wann deutet Heteroskedastizität auf Problem hin?
- Wenn Varianz der Residuen mit X zunimmt oder abnimmt./Varianzstabilisierung (z. B. log) oder robuste Regression verwenden.
Wann ist Normalverteilung der Residuen kritisch?
- Nur für Inferenz (Tests, Konfidenzintervalle)./Nicht zwingend für reine Vorhersage.
Wann ist Naive Bayes empfindlich?
- Wenn Features stark korreliert sind → verletzt Unabhängigkeitsannahme → Fehlklassifikation.
Wann profitiert Naive Bayes von Laplace-Glättung?
- Wenn seltene oder neue Merkmalskombinationen vorkommen → verhindert P=0.
Wann ist Gaussian NB sinnvoll?
- Für kontinuierliche Features mit ungefähr normaler Verteilung.
Wann ist Multinomial NB sinnvoll?
- Für diskrete Zählwerte (z. B. Wortfrequenzen, Bag-of-Words-Texte).
Wann ist Bernoulli NB sinnvoll?
- Für binäre Features (z. B. Wort vorhanden ja/nein).
Wann ist logistische Regression robuster als NB?
- Wenn Daten lineare Entscheidungsgrenze haben und Feature-Korrelationen vorliegen.
Wann ist Naive Bayes robuster als logistische Regression?
- Bei kleinem n und hoher Dimensionalität (n << Features)./NB benötigt keine Optimierung.
Wann überprüft man Modellannahmen in R?
- plot(model), qqnorm(resid(model)), shapiro.test(resid(model)), vif(model)./Zur Diagnose von Normalität, Linearität und Kollinearität.
Wann ist Kreuzvalidierung erforderlich?
- Um Modellleistung realistisch zu bewerten und Overfitting zu vermeiden.
Wann ist Feature-Selektion wichtig?
- Wenn zu viele irrelevante Variablen enthalten sind → senkt Varianz und Overfitting-Risiko.
Wann ist Naive Bayes fehlertolerant?
- Bei Rauschen oder wenigen Trainingsdaten – weil wahrscheinlichkeitsbasiert arbeitet.
Wann sollte man Modelle standardisiert vergleichen?
- Wenn man mehrere Modelle (z. B. logistisch vs. Naive Bayes) anhand gleicher Metriken bewerten möchte (R², AUC, F1).
Last changed2 months ago