Lineare Regression

Gewicht und Bias anpassen, die Linie an die Daten fitten und den MSE beobachten.

Was ist lineare Regression?

Die lineare Regression ist eines der grundlegendsten Verfahren im Machine Learning. Sie modelliert den Zusammenhang zwischen einer Eingabevariable $x$ und einer Zielvariable $y$ durch eine Gerade:

$\hat{y} = w \cdot x + b$

Dabei ist w (Gewicht/Weight) die Steigung der Geraden und b (Bias) der y-Achsenabschnitt. Das Ziel: die Parameter so wählen, dass die Vorhersagen $\hat{y}$ möglichst nah an den tatsächlichen Werten $y$ liegen.

Wie gut die Gerade passt, messen verschiedene Fehlermetriken:

  • MSE. Mittlerer quadratischer Fehler. Grundlage der Optimierung, aber schwer intuitiv einzuordnen.
  • MAE. „Im Schnitt liegt die Vorhersage X k€ daneben." Leicht verständlich.
  • RMSE. Wie MAE, aber große Ausreißer werden stärker bestraft (ein Fehler von 100k wiegt mehr als zehn von 10k).
  • R². „Wie viel Prozent der Schwankung im Hauspreis erklärt das Modell?" (1.0 = perfekt, 0 = nutzlos).

Probiere es aus:

  • Bewege die Slider für Gewicht und Bias und beobachte, wie sich MSE und Fehlerquadrate verändern.
  • Ziehe Datenpunkte im Diagramm, um zu sehen, wie Ausreißer die Regression beeinflussen.
  • Klicke ins Diagramm, um neue Datenpunkte hinzuzufügen.
  • Shift+Klick auf einen Punkt, um ihn zu entfernen.
Hauspreis (k€) Wohnfläche (m²) 0 200 400 600 800 0 50 100 150 200
Trainingsdaten Regressionslinie Fehler (Residuen)
$\hat{y} = 3.20 \cdot x + 50$
3.20
50
Klick = neuer Punkt · Ziehen = verschieben · Shift+Klick = entfernen
MSE-Berechnung
$\text{MSE} = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2$

1. Für jeden Punkt: Fehler $= y - \hat{y}$

2. Fehler quadrieren: $(y - \hat{y})^2$

3. Alle aufsummieren: $\sum(y - \hat{y})^2$

–

4. Durch n = 10 teilen: – / 10

MSE (k€²)
–
RMSE (k€)
$= \sqrt{\text{MSE}}$
–
Wurzel des MSE. Gleiche Einheit wie der Hauspreis. Bestraft große Ausreißer stärker als MAE.
MAE (k€)
$\frac{1}{n}\sum|y_i - \hat{y}_i|$
–
Im Schnitt liegt die Vorhersage – k€ daneben; robust gegenüber Ausreißern.
R² (0–1)
$1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2}$
–
$SS_{res}$ = $\sum(y_i - \hat{y}_i)^2$ = –
$SS_{tot}$ = $\sum(y_i - \bar{y})^2$ = –
Wie viel % der Gesamtstreuung erklärt das Modell? 1.0 = perfekt, 0 = nutzlos.
Datentabelle (n = 10)
# x (m²) y (k€) ŷ (k€) y−ŷ (y−ŷ)²