Statistical Learning umfasst Werkzeuge zur Datenanalyse. Es gibt zwei Haupttypen: supervised und unsupervised learning.

Supervised Learning baut Modelle zur Vorhersage von Outputs (Y) aus Inputs (X):

Regression: Vorhersage eines quantitativen Outputs.

Classification: Vorhersage eines qualitativen Outputs.

Unsupervised Learning bestimmt Beziehungen aus Inputs (X), ohne supervisierte Outputs:

Clustering: Gruppierung basierend auf Ähnlichkeiten.

Association: Identifizierung von Regeln in Daten.

Das Hauptproblem ist, dass wir (Y) und (X) kennen, jedoch nicht die wahre Funktion (f):

(\epsilon) ist dabei das Rauschen bzw. der Messfehler.

Wir wollen eigentlich die Approximation herausfinden:

Warum schreibt man hier $(X)$ und $(Y)$ groß $(Y=f(X)+ϵ)$? :: Weil (Y) und (X) Zufallsvariablen aus der Stochastik sind.

• Welcher ist der reduzierbare Fehler? :: $([f(X)-\hat{f}(X){]}^2$)
• Welcher Fehler ist der irreduzible Fehler? :: $(\text{Var}(ϵ)$)

Die Bias-Varianz-Zerlegung hilft dabei, den erwarteten quadratischen Fehler einer Vorhersage zu verstehen. Sie teilt den Fehler in reduzierbare und irreduzierbare Komponenten auf. Der reduzierbare Fehler kann durch Verbesserung des Modells verringert werden, während der irreduzierbare Fehler durch Zufallsrauschen verursacht wird und nicht eliminiert werden kann.

• $\mathbb{E}$ ist der Erwartungswert
• $Y$ ist die tatsächliche Zielvariable
• $\hat{Y}$ ist die vorhergesagte Zielvariable
• $f(X)$ ist die wahre Funktion
• $\hat{f}(X)$ ist die vorhergesagte Funktion
• $ϵ$ ist der irreduzible Fehler (Rauschen)
• $\text{Var}(ϵ)$ ist die Varianz des irreduziblen Fehlers

Die Bias-Varianz-Zerlegung ist ein Konzept in der Statistik, das die erwartete quadratische Abweichung eines Schätzers (\hat{f}(x_0)) von einem tatsächlichen Wert (y_0) in drei Komponenten zerlegt:

• ($\mathbb{E}{(y_0-\hat{f}(x_0))}^2$: Erwartete quadratische Abweichung
• $\text{Var}(\hat{f}(x_0))$: Varianz des Schätzers
• ${[\text{Bias}(\hat{f}(x_0))]}^2$: Quadrat des Bias des Schätzers
• $\text{Var}(ϵ)$: Varianz des irreduziblen Fehlers

Die Bias-Varianz-Zerlegung beschreibt, wie die Erwartung des quadratischen Fehlers einer Vorhersage durch die Varianz der Vorhersage, den Bias der Vorhersage und die Varianz des irreduziblen Fehlers beeinflusst wird. Diese Zerlegung hilft, die Fehlerquellen eines Modells zu analysieren und zu verstehen.

• $y_0$ ist der tatsächliche Wert
• $\hat{f}(x_0)$ ist der vorhergesagte Wert
• $\text{Var}(\hat{f}(x_0))$ ist die Varianz der Modellvorhersage
• $\text{Bias}(\hat{f}(x_0))$ ist der Bias der Modellvorhersage
• $\text{Var}(ϵ)$ ist die Varianz des irreduziblen Fehlers

Der Bayes-Klassifikator im maschinellen Lernen nutzt die bedingte Wahrscheinlichkeit, um die Wahrscheinlichkeit eines bestimmten Klassenergebnisses $Y=j$ gegeben die Beobachtung $X=x_0$ zu bestimmen. Diese Methode basiert auf dem Bayes-Theorem und ist besonders nützlich bei der Klassifizierung und Entscheidungsfindung.

• $Y$ ist die Zielvariable oder Klasse
• $j$ ist ein spezifischer Wert oder eine Klasse, die $Y$ annehmen kann
• $X$ ist die Merkmalsvariable
• $x_0$ ist ein spezifischer Wert oder Beobachtung, die $X$ annimmt

Der k-Nearest Neighbors (k-NN) Klassifikator ist eine einfache, nicht-parametrische Methode, die verwendet wird, um die Wahrscheinlichkeit zu berechnen, dass ein Punkt $x_0$ zu einer Klasse $j$ gehört, basierend auf den Klassen der $K$ nächsten Nachbarn von $x_0$.

• $Y$ ist die Zielvariable oder Klasse
• $j$ ist eine spezifische Klasse, die $Y$ annehmen kann
• $X$ ist die Merkmalsvariable
• $x_0$ ist der spezifische Wert der Merkmalsvariable
• $K$ ist die Anzahl der nächsten Nachbarn
• ${\mathcal{N}}_0$ ist die Menge der $K$ nächsten Nachbarn von $x_0$
• $I(y_i=j)$ ist eine Indikatorfunktion, die 1 ist, wenn $y_i=j$, und 0 sonst

Die Formeln für die Standardfehler der Koeffizienten (\beta_0) und (\beta_1) in der linearen Regression lauten:

• (\sigma^2): Varianz der Fehlerterme
• (n): Anzahl der Beobachtungen
• (\bar{x}): Mittelwert der Prädiktorwerte
• (x_i): Einzelne Prädiktorwerte

Annahmen:

• Unabhängige Stichproben
• Normalverteilung der Fehler
• Konstante Varianz der Fehler (Homoskedastizität)

Die Residual Sum of Squares (RSS) ist eine Metrik, die verwendet wird, um die Abweichung der vorhergesagten Werte von den tatsächlichen Werten in einem linearen Regressionsmodell zu messen. Sie summiert die quadrierten Residuen, die die Differenzen zwischen den beobachteten und den vorhergesagten Werten darstellen.

oder äquivalent

• ${\hat{y}}_i={\hat{\beta }}_0+{\hat{\beta }}_1{x}_i$ ist die Vorhersage für $Y$ basierend auf dem $i$-ten Wert von $X$
• $e_i=y_i-{\hat{y}}_i$ ist das $i$-te Residuum
• $\text{RSS}$ ist die Residual Sum of Squares
• $y_i$ ist der beobachtete Wert
• ${\hat{\beta }}_0$ ist der geschätzte Achsenabschnitt
• ${\hat{\beta }}_1$ ist der geschätzte Koeffizient für $X$
• $x_i$ ist der $i$-te Wert von $X$

Die lineare Regression ist ein statistisches Verfahren, das verwendet wird, um die Beziehung zwischen einer abhängigen Variablen $Y$ und einer oder mehreren unabhängigen Variablen $X$ zu modellieren. Die grundlegenden Annahmen und Modelle der linearen Regression sind wie folgt:

• $Y$ ist die abhängige Variable
• ${\beta }_0$ ist der Achsenabschnitt (Intercept) des Modells
• ${\beta }_1$ ist der Koeffizient für die unabhängige Variable $X$
• $X$ ist die unabhängige Variable
• $ϵ$ ist der Fehlerterm, der die Residuen darstellt

Die Fehlerterme $ϵ$ werden als normalverteilt angenommen:

• $ϵ\sim \mathcal{N}(0,{\sigma }^2)$ bedeutet, dass die Fehler normalverteilt sind mit einem Mittelwert von 0 und einer Varianz von ${\sigma }^2$

Die Residuen $e_i$ werden als die Differenz zwischen den beobachteten Werten $y_i$ und den vorhergesagten Werten ${\hat{y}}_i$ berechnet:

• $e_i$ ist das Residuum für die $i$-te Beobachtung
• $y_i$ ist der beobachtete Wert für die $i$-te Beobachtung
• ${\hat{y}}_i$ ist der vorhergesagte Wert für die $i$-te Beobachtung

Die lineare Regression basiert auf mehreren grundlegenden Annahmen, die sicherstellen, dass die Schätzungen der Regressionskoeffizienten unverzerrt und effizient sind, und dass die Inferenzstatistik gültig ist.

1. Linearität:

   • Die Beziehung zwischen der unabhängigen Variable (X) und der abhängigen Variable (Y) ist linear. Das bedeutet, dass (Y) als eine lineare Funktion von (X) beschrieben werden kann.
   $$Y={\beta }_0+{\beta }_{1}X+ϵ$$

2. Unabhängigkeit der Fehler:

   • Die Fehlerterme (\epsilon) sind voneinander unabhängig. Das bedeutet, dass der Fehlerterm einer Beobachtung keine Informationen über den Fehlerterm einer anderen Beobachtung liefert.

3. Homoskedastizität:

   • Die Varianz der Fehlerterme (\epsilon) ist konstant über alle Werte von (X). Das bedeutet, dass die Streuung der Fehler über den Bereich der unabhängigen Variablen gleich bleibt.

4. Normalverteilung der Fehler:

   • Die Fehlerterme (\epsilon) sind normalverteilt mit einem Mittelwert von 0 und einer Varianz von (\sigma^2).
   $$ϵ\sim \mathcal{N}(0,{\sigma }^2)$$

5. Keine perfekte Multikollinearität (für multiple lineare Regression):

   • Keine der unabhängigen Variablen ist eine perfekte lineare Funktion einer anderen. Dies stellt sicher, dass die Koeffizienten der Regression eindeutig bestimmt werden können.

6. Exogenität:

   • Die unabhängigen Variablen sind nicht korreliert mit den Fehlertermen. Das bedeutet, dass die erklärenden Variablen nicht systematisch mit den Störgrößen zusammenhängen.

Die Maximum-Likelihood-Schätzung (MLE) ist eine Methode zur Schätzung der Parameter eines statistischen Modells. In der linearen Regression wird MLE verwendet, um die Koeffizienten zu finden, die die Wahrscheinlichkeit der beobachteten Daten maximieren.

Die Wahrscheinlichkeit der Beobachtungen gegeben die Parameter ${\beta }_0$ und ${\beta }_1$ wird wie folgt ausgedrückt:

Dies kann vereinfacht werden zu:

Um die MLE zu berechnen, maximieren wir das Log-Likelihood:

Da der erste Term eine Konstante ist, können wir ihn ignorieren:

• $Y$ ist die abhängige Variable
• $X$ ist die unabhängige Variable
• ${\beta }_0$ ist der Achsenabschnitt (Intercept) des Modells
• ${\beta }_1$ ist der Koeffizient für die unabhängige Variable $X$
• $y_i$ ist der beobachtete Wert für die $i$-te Beobachtung
• ${\hat{y}}_i$ ist der vorhergesagte Wert für die $i$-te Beobachtung
• $ϵ$ ist der Fehlerterm, der die Residuen darstellt
• ${\sigma }^2$ ist die Varianz des Fehlerterms

Standardfehler der Koeffizientenschätzungen:
Der Standardfehler gibt an, wie die Schätzung bei wiederholter Stichprobenziehung variiert.

wobei ${\sigma }^2=\text{Var}(ϵ)$ ist.

Konfidenzintervalle:
Ein 95%-Konfidenzintervall für ${\hat{\beta }}_1$ lautet:

Dieses Intervall enthält den wahren Wert von ${\beta }_1$ mit einer Wahrscheinlichkeit von 95% unter wiederholter Stichprobenziehung.

• ${\sigma }^2$: Varianz der Fehlerterme
• $n$: Anzahl der Beobachtungen
• $\overline{x}$: Mittelwert der Prädiktorwerte
• $x_i$: Einzelne Prädiktorwerte
• $SE$: Standardfehler
• ${\beta }_0$: Interzept des Modells
• ${\beta }_1$: Koeffizient für den Prädiktor

In der linearen Regression wird häufig ein Hypothesentest verwendet, um zu überprüfen, ob eine Beziehung zwischen der unabhängigen Variable $X$ und der abhängigen Variable $Y$ besteht.

Die Nullhypothese ($H_0$) und die Alternativhypothese ($H_a$) lauten wie folgt:

versus die Alternativhypothese

Mathematisch entspricht dies dem Testen der folgenden Hypothesen:

versus

• $H_0$ ist die Nullhypothese, die besagt, dass der Koeffizient ${\beta }_1$ gleich null ist, was bedeutet, dass keine lineare Beziehung zwischen $X$ und $Y$ besteht.
• $H_a$ ist die Alternativhypothese, die besagt, dass der Koeffizient ${\beta }_1$ ungleich null ist, was bedeutet, dass eine lineare Beziehung zwischen $X$ und $Y$ besteht.

Wenn ${\beta }_1=0$, dann reduziert sich das Modell auf:

Dies würde bedeuten, dass $X$ keinen Einfluss auf $Y$ hat und $Y$ nur durch den Mittelwert (${\beta }_0$) und den Fehlerterm ($ϵ$) bestimmt wird.

Um die Hypothese zu testen, verwenden wir den t-Test, der wie folgt definiert ist:

Hierbei ist:

• ${\hat{\beta }}_1$ der geschätzte Koeffizient für die unabhängige Variable $X$
• $SE({\hat{\beta }}_1)$ der Standardfehler von ${\hat{\beta }}_1$

Der t-Wert gibt an, wie viele Standardabweichungen der geschätzte Koeffizient von der Nullhypothese abweicht. Ein großer absoluter Wert von $t$ deutet darauf hin, dass ${\hat{\beta }}_1$ signifikant von null verschieden ist, was die Nullhypothese widerlegt.

Z-Score im Vergleich zum t-Score:

• Der t-Score wird verwendet, wenn die Stichprobengröße klein ist (normalerweise $n<30$) und/oder die Populationsvarianz unbekannt ist. Er folgt der t-Verteilung.
• Der Z-Score wird verwendet, wenn die Stichprobengröße groß ist (normalerweise $n\ge 30$) und die Populationsvarianz bekannt ist. Er folgt der Standardnormalverteilung (Normalverteilung mit Mittelwert 0 und Varianz 1).

Der Residual Standard Error (RSE) ist ein Schätzwert für die Standardabweichung des Fehlerterms $ϵ$ im linearen Regressionsmodell. Er gibt grob gesagt an, um wie viel die Antwortvariable im Durchschnitt von der wahren Regressionslinie abweicht.

Der RSE wird mit der folgenden Formel berechnet:

wobei:

• $n$ die Anzahl der Beobachtungen ist
• $\text{RSS}$ die Residual Sum of Squares ist
• $y_i$ der beobachtete Wert der $i$-ten Beobachtung ist
• ${\hat{y}}_i$ der vorhergesagte Wert der $i$-ten Beobachtung ist

Die RSS (Residual Sum of Squares) ist definiert als:

Der RSE schätzt die durchschnittliche Abweichung der beobachteten Werte von den vorhergesagten Werten, wenn das Modell die wahre Beziehung zwischen den Variablen perfekt beschreiben würde.

• $n$ ist die Anzahl der Beobachtungen
• $\text{RSS}$ ist die Residual Sum of Squares
• $y_i$ ist der beobachtete Wert der $i$-ten Beobachtung
• ${\hat{y}}_i$ ist der vorhergesagte Wert der $i$-ten Beobachtung

Um die Nullhypothese zu testen, berechnen wir die t-Statistik:

Diese folgt einer t-Verteilung mit ( n - 2 ) Freiheitsgraden, unter der Annahme, dass ( \beta_1 = 0 ) ist.

Mit statistischer Software lässt sich die Wahrscheinlichkeit berechnen, einen Wert gleich oder größer als (|t|) zu beobachten. Diese Wahrscheinlichkeit nennt man den p-Wert.

• ${\hat{\beta }}_1$: Geschätzter Koeffizient
• $SE({\hat{\beta }}_1)$: Standardfehler des geschätzten Koeffizienten
• $n$: Anzahl der Beobachtungen
• $t$: t-Statistik

In der multiplen linearen Regression wird die F-Statistik verwendet, um zu überprüfen, ob alle Regressionskoeffizienten gleich null sind, also ob das Modell signifikant zur Erklärung der Varianz der abhängigen Variablen beiträgt.

Die Nullhypothese ($H_0$) und die Alternativhypothese ($H_a$) lauten wie folgt:

versus

• $H_0$ ist die Nullhypothese, die besagt, dass alle Regressionskoeffizienten gleich null sind, was bedeutet, dass die unabhängigen Variablen keinen Einfluss auf die abhängige Variable haben.
• $H_a$ ist die Alternativhypothese, die besagt, dass mindestens ein Regressionskoeffizient ungleich null ist, was bedeutet, dass mindestens eine unabhängige Variable einen Einfluss auf die abhängige Variable hat.

Dieser Hypothesentest wird durch Berechnung der F-Statistik durchgeführt:

wobei:

• $\text{TSS}$ (Total Sum of Squares) die totale Quadratsumme ist und berechnet wird als:

• $\text{RSS}$ (Residual Sum of Squares) die Residualquadratsumme ist und berechnet wird als:

• $p$ die Anzahl der Prädiktoren ist
• $n$ die Anzahl der Beobachtungen ist

Die F-Statistik vergleicht das Modell mit allen Prädiktoren gegen ein Modell ohne Prädiktoren. Ein hoher F-Wert deutet darauf hin, dass das Modell einen signifikanten Teil der Varianz der abhängigen Variablen erklärt.

In diesem Beispiel verwenden wir eine binäre Variable als Prädiktor in der Regressionsgleichung. Das resultierende Modell ist:

• ${\beta }_0$ kann als der durchschnittliche Wert von $y$ interpretiert werden, wenn $x_i=0$.
• ${\beta }_0+{\beta }_1$ kann als der durchschnittliche Wert von $y$ interpretiert werden, wenn $x_i=1$.
• ${\beta }_1$ ist der durchschnittliche Unterschied im Wert von $y$ zwischen den Gruppen $x_i=1$ und $x_i=0$.

Die Schätzungen der Koeffizienten und andere Informationen, die mit dem Modell verbunden sind, liefern wichtige Einblicke in die Beziehung zwischen der binären Prädiktorvariablen und der Zielvariablen $y$.

Beispielhafte Interpretationen könnten sein:

• Der durchschnittliche Wert von $y$ für die Gruppe mit $x_i=0$.
• Der durchschnittliche Wert von $y$ für die Gruppe mit $x_i=1$.
• Der Unterschied im durchschnittlichen Wert von $y$ zwischen den beiden Gruppen.

In der linearen Regression können Dummy-Variablen verwendet werden, um kategoriale Prädiktoren darzustellen. Wenn Interaktionen zwischen Dummy-Variablen einbezogen werden, ermöglicht dies die Untersuchung der kombinierten Effekte dieser Variablen auf die Zielvariable $Y$.

Betrachten wir folgendes Modell:

Hierbei sind $X_1$ und $X_2$ Dummy-Variablen. Die Terme in diesem Modell bedeuten:

• ${\beta }_0$: Der durchschnittliche Wert von $Y$, wenn $X_1=0$ und $X_2=0$.
• ${\beta }_1$: Die Veränderung des durchschnittlichen Werts von $Y$, wenn $X_1$ von 0 auf 1 wechselt, während $X_2$ konstant bleibt.
• ${\beta }_2$: Die Veränderung des durchschnittlichen Werts von $Y$, wenn $X_2$ von 0 auf 1 wechselt, während $X_1$ konstant bleibt.
• ${\beta }_3$: Der Interaktionseffekt zwischen $X_1$ und $X_2$. Dies ist die zusätzliche Veränderung im durchschnittlichen Wert von $Y$, wenn sowohl $X_1$ als auch $X_2$ von 0 auf 1 wechseln, im Vergleich zur Summe der einzelnen Effekte von $X_1$ und $X_2$.

Das Modell kann die folgenden Szenarien erklären:

1. Beide Dummy-Variablen sind 0 ($X_1=0$, $X_2=0$):

   $$Y={\beta }_0+ϵ$$

   Dies ist der Grundwert (Referenzkategorie).

2. Nur $X_1$ ist 1 ($X_1=1$, $X_2=0$):

   $$Y={\beta }_0+{\beta }_1+ϵ$$

   Der Effekt von $X_1$ alleine.

3. Nur $X_2$ ist 1 ($X_1=0$, $X_2=1$):

   $$Y={\beta }_0+{\beta }_2+ϵ$$

   Der Effekt von $X_2$ alleine.

4. Beide Dummy-Variablen sind 1 ($X_1=1$, $X_2=1$):

   $$Y={\beta }_0+{\beta }_1+{\beta }_2+{\beta }_3+ϵ$$

   Der kombinierte Effekt von $X_1$ und $X_2$ sowie deren Interaktion.

Die Interaktionsterm ${\beta }_3$ zeigt, ob der Effekt der gleichzeitigen Anwesenheit von $X_1$ und $X_2$ größer (oder kleiner) ist als die Summe ihrer individuellen Effekte.

Betrachten wir das folgende lineare Regressionsmodell mit Dummy-Variablen:

In diesem Modell:

• $x_1=1$, wenn die Person aus dem Süden kommt, und $0$ sonst.
• $x_2=1$, wenn die Person aus dem Westen kommt, und $0$ sonst.
• Die Referenzkategorie (Osten) ist durch das Fehlen beider Dummy-Variablen ($x_1=0$ und $x_2=0$) dargestellt.

Problem der linearen Abhängigkeit:

Wenn wir eine weitere Dummy-Variable ${\beta }_3{x}_3$ hinzufügen würden, um Personen aus dem Norden zu repräsentieren, würde dies zu einer linearen Abhängigkeit in der Design-Matrix führen. Die Dummy-Variable $x_3$ wäre definiert als:

• $x_3=1$, wenn die Person aus dem Norden kommt, und $0$ sonst.

Dies würde das Modell folgendermaßen ändern:

Da jede Person aus dem Süden, Westen, Osten oder Norden kommen muss, würden die Dummy-Variablen $x_1$, $x_2$, und $x_3$ eine lineare Kombination ergeben, die die Konstante $1$ ergibt:

Hierbei ist $x_0=1$ für alle Beobachtungen, um die Interzept-Variable darzustellen.

Diese lineare Abhängigkeit führt zu Multikollinearität, was bedeutet, dass die Design-Matrix nicht mehr invertierbar ist und die Regressionskoeffizienten ${\beta }_0,{\beta }_1,{\beta }_2,{\beta }_3$ nicht eindeutig geschätzt werden können. Dies wird als das Dummy-Variablen-Falle bezeichnet.

Um dieses Problem zu vermeiden, sollte man nur $k-1$ Dummy-Variablen für $k$ Kategorien verwenden. In diesem Fall sind $x_1$ und $x_2$ ausreichend, um die drei Kategorien (Süden, Westen, Osten) darzustellen, wobei die vierte Kategorie (Norden) die Referenzkategorie ist.

Nichtlineare Beziehungen zwischen Variablen können in einem linearen Regressionsmodell dargestellt werden, indem nichtlineare Terme der unabhängigen Variablen hinzugefügt werden. Ein Beispiel ist die Hinzufügung eines quadratischen Terms:

Betrachten wir das folgende Modell:

Hierbei:

• ${\beta }_0$ ist der Achsenabschnitt (Intercept) des Modells.
• ${\beta }_1$ ist der Koeffizient für den linearen Term der unabhängigen Variable "horsepower".
• ${\beta }_2$ ist der Koeffizient für den quadratischen Term der unabhängigen Variable "horsepower".
• $ϵ$ ist der Fehlerterm.

Obwohl das Modell einen quadratischen Term enthält, bleibt es ein lineares Modell, weil die Koeffizienten (${\beta }_0$, ${\beta }_1$, ${\beta }_2$) linear in der Gleichung auftreten. Die Lineareität bezieht sich auf die Parameter des Modells, nicht auf die Variablen selbst.

Vorteile der Hinzufügung quadratischer Merkmale:

• Erfassen von Nichtlinearitäten: Das Modell kann die nichtlineare Beziehung zwischen "horsepower" und "mpg" besser erfassen, da es den Effekt von "horsepower" sowohl linear als auch quadratisch berücksichtigt.

• Flexibilität: Durch das Hinzufügen von Polynomtermen (z.B. quadratische, kubische) kann das Modell flexibler gestaltet werden, um komplexere Beziehungen zu modellieren.

Beispielhafte Interpretation:

• Der Koeffizient ${\beta }_1$ beschreibt die Änderung in "mpg" für eine Einheit Änderung in "horsepower", wenn alle anderen Terme konstant gehalten werden.
• Der Koeffizient ${\beta }_2$ beschreibt den zusätzlichen Effekt, der auftritt, wenn "horsepower" quadratisch zunimmt.

Zusammengefasst: Durch das Hinzufügen von nichtlinearen Termen wie ${\text{horsepower}}^2$ bleibt das Modell linear in Bezug auf die Koeffizienten, während es in der Lage ist, nichtlineare Beziehungen zwischen den Variablen zu modellieren. Dies ermöglicht es, die Komplexität der Daten besser zu erfassen, ohne die grundlegende Struktur und die Interpretierbarkeit eines linearen Modells zu verlieren.

Lineares Modell:

Quadratisches Modell mit quadratischem Term:

Definition: Heteroskedastizität liegt vor, wenn die Varianz der Störgrößen ((\epsilon)) in einem Regressionsmodell nicht konstant ist, sondern von den Werten der unabhängigen Variablen abhängt.

Formel: Es gibt keine spezifische Formel für Heteroskedastizität, aber es betrifft die Varianz der Fehlerterme:

• (\epsilon_i): Fehlerterm für die (i)-te Beobachtung
• (\sigma_i^2): Varianz des Fehlerterms, die von (i) abhängt
  Konsequenzen: Heteroskedastizität kann zu ineffizienten und verzerrten Schätzungen der Regressionskoeffizienten führen, da die Annahme der konstanten Varianz verletzt wird.
  Erkennung: Heteroskedastizität kann durch visuelle Inspektion von Residuenplots oder statistische Tests wie den Breusch-Pagan-Test oder den White-Test identifiziert werden.
  Behandlung: Es gibt mehrere Methoden, um Heteroskedastizität zu behandeln, einschließlich der Verwendung von robusten Standardfehlern, Transformation der Daten (z.B. Log-Transformation), oder gewichtete kleinste Quadrate (WLS).

Multikollinearität tritt auf, wenn zwei oder mehr Prädiktoren in einem Regressionsmodell stark korreliert sind, was zu instabilen Schätzungen der Regressionskoeffizienten führt. Hier sind einige Maßnahmen, um Multikollinearität zu adressieren:

1. Prädiktoren entfernen:

• Entfernen hoch korrelierter Prädiktoren, um die Modellstabilität zu verbessern.

2. Hauptkomponentenanalyse (PCA):

• Reduziert die Dimensionen der Daten, indem sie die Daten auf unkorrelierte Hauptkomponenten projiziert.

3. Regularisierungsmethoden:

• Ridge Regression und Lasso Regression können verwendet werden, um die Auswirkungen von Multikollinearität zu verringern.

4. Datenzentrierung und -skalierung:

• Zentrieren und skalieren der Prädiktoren, um die Multikollinearität zu reduzieren.

Restquadratsumme (RSS):

Totalquadratsumme (TSS):

Bestimmtheitsmaß ((R^2)):

(R^2) misst den Anteil der Gesamtvarianz, der durch das Modell erklärt wird.

• (\text{RSS}): Restquadratsumme
• (\text{TSS}): Totalquadratsumme
• (y_i): Beobachteter Wert
• (\hat{y}_i): Vorhergesagter Wert
• (\bar{y}): Mittelwert der beobachteten Werte
• (n): Anzahl der Beobachtungen

Eine Decision Boundary ist eine Grenze im Merkmalsraum, die verschiedene Klassen in einem Klassifikationsproblem voneinander trennt. Sie wird durch ein Klassifikationsmodell definiert und trennt Regionen, in denen verschiedene Klassen dominieren.

• In linearen Modellen (z.B. Logistic Regression) ist die Decision Boundary eine lineare Trennlinie.
• In nichtlinearen Modellen (z.B. Support Vector Machines mit Kerneln) kann die Decision Boundary komplexe Formen annehmen.

Eine Decision Boundary kann durch visuelle Darstellung der Klassen im Merkmalsraum veranschaulicht werden.
Was ist der Threshhold in Logistic Regression ::

Maximum-Likelihood-Schätzung wird verwendet, um die Parameter zu schätzen. Die Likelihood-Funktion für die logistische Regression lautet:

Diese Likelihood gibt die Wahrscheinlichkeit der beobachteten Nullen und Einsen in den Daten an. Wir wählen ${\beta }_0$ und ${\beta }_1$ so, dass die Likelihood der beobachteten Daten maximiert wird.

• ${\beta }_0$: Interzept
• ${\beta }_1$: Koeffizient für die Variable
• $p(x_i)$: Wahrscheinlichkeitsvorhersage für Beobachtung (i)
• $y_i$: Beobachteter Wert

In R kann das Modell mit der glm-Funktion angepasst werden.

Die Z-Statistic misst, wie viele Standardabweichungen ein Datenpunkt vom Mittelwert entfernt ist. Sie wird verwendet, um Hypothesentests durchzuführen und zu bestimmen, ob ein Datenpunkt signifikant von einem erwarteten Wert abweicht.

• ( X ): Beobachteter Wert
• ( \mu ): Erwartungswert
• ( \sigma ): Standardabweichung

Die Bernoulli-Verteilung modelliert einen binären Ausgang (Erfolg oder Misserfolg) mit einer Wahrscheinlichkeit ( p ) für Erfolg und ( 1-p ) für Misserfolg.

Varianz der Bernoulli-Verteilung:

Die Varianz kann berechnet werden, da sie die Streuung der binären Ausgänge um den Mittelwert ( p ) misst:

• ( p ): Wahrscheinlichkeit für Erfolg
• ( 1-p ): Wahrscheinlichkeit für Misserfolg

Diese Berechnung ist möglich, weil die Varianz der Bernoulli-Verteilung die Wahrscheinlichkeit berücksichtigt, dass ein Ausgang von der Erwartung ( p ) abweicht.

Der T-Statistic wird in der linearen Regression verwendet, um die Signifikanz eines einzelnen Regressionskoeffizienten zu testen. Da die Varianz des Fehlerterms (\sigma^2) unbekannt ist, muss sie aus den Daten geschätzt werden.
Die Formel für die T-Statistic lautet:

• ${\hat{\beta }}_j$: Geschätzter Koeffizient für den (j)-ten Prädiktor
• $SE({\hat{\beta }}_j)$: Standardfehler des geschätzten Koeffizienten
• Diese Teststatistik folgt unter der Nullhypothese einer t-Verteilung mit (n - p - 1) Freiheitsgraden, wobei (n) die Anzahl der Beobachtungen und (p) die Anzahl der Prädiktoren ist.

Logistic Regression modelt die Wahrscheinlichkeit, dass die Antwortvariable ( Y ) einer bestimmten Kategorie angehört. Das Modell wird wie folgt ausgedrückt:

Dies kann in die Logit-Funktion umgeschrieben werden:

• ${\beta }_0$: Interzept
• ${\beta }_1$: Koeffizient für den Prädiktor ( X )

Die Koeffizienten werden durch das Maximum-Likelihood-Verfahren geschätzt, das versucht, ${\beta }_0$ und ${\beta }_1$ so zu finden, dass die Wahrscheinlichkeit der beobachteten Daten maximiert wird.

Um zu überprüfen, ob ein Zusammenhang zwischen der Wahrscheinlichkeit einer Klasse und einem Prädiktor besteht, wird ein Hypothesentest durchgeführt:

• ( z )-statistic misst die Anzahl der Standardabweichungen, die ( \beta_1 ) von 0 entfernt ist.

Wenn mehrere Prädiktoren vorhanden sind, wird das Modell wie folgt erweitert:

• Die Interpretation der Koeffizienten bleibt ähnlich, wobei die Werte der anderen Prädiktoren konstant gehalten werden.

LDA modelliert die Verteilungen der Prädiktoren in jeder Antwortklasse und verwendet den Satz von Bayes, um diese in Schätzungen zu überführen:

• ( ${\pi }_k$ ): A-priori-Wahrscheinlichkeit für Klasse ( k )
• ( $f_k(x)$ ): Dichtefunktion der Prädiktoren für Klasse ( k )

Für ein Zwei-Klassen-Problem kann gezeigt werden, dass für LDA:

Dies hat die gleiche Form wie die logistische Regression. Der Unterschied liegt in der Schätzung der Parameter.

Logistische Regression:

• Nutzt die bedingte Likelihood basierend auf $\text{Pr}(Y|X)$ (bekannt als diskriminatives Lernen).

LDA:

• Nutzt die vollständige Likelihood basierend auf $textPr(X,Y)$ (bekannt als generatives Lernen).

Trotz dieser Unterschiede sind die Ergebnisse in der Praxis oft sehr ähnlich.

• $p_1(x)$: Wahrscheinlichkeit, dass die Beobachtung (x) zu Klasse 1 gehört
• $p_2(x)$: Wahrscheinlichkeit, dass die Beobachtung (x) zu Klasse 2 gehört
• $c_0,c_1,\dots ,c_p$: Koeffizienten der linearen Kombination der Prädiktoren
• $x_1,\dots ,x_p$: Prädiktoren

Thomas Bayes war ein Mathematiker, dessen Theorem ein bedeutender Teilbereich der Statistik und probabilistischen Modellierung ist. Das Bayes-Theorem wird für die Klassifikation wie folgt verwendet:

Für die Diskriminanzanalyse wird es leicht abgewandelt:

• $Y$: Zufallsvariable der Klasse
• $k$: Spezifische Klasse
• $X$: Eingabevektor
• $x$: Spezifische Beobachtung von $X$
• $K$: Gesamtzahl der Klassen
• ${\pi }_k$: A-priori-Wahrscheinlichkeit für Klasse $k$
• $f_k(x)$: Dichtefunktion für $X$ in Klasse $k$
• $\text{Pr}(Y=k|X=x)$: Posteriori-Wahrscheinlichkeit für Klasse $k$ gegeben $X=x$
• $\text{Pr}(X=x|Y=k)$: Likelihood von $X=x$ gegeben Klasse $k$
• $\text{Pr}(Y=k)$: A-priori-Wahrscheinlichkeit für Klasse $k$
• $\text{Pr}(X=x)$: Gesamtwahrscheinlichkeit von $X=x$

QDA lockert die Annahme einer gemeinsamen Kovarianzmatrix und erlaubt jede Klasse ihre eigene Kovarianzmatrix zu haben, was es flexibler macht, aber auch zu höherer Varianz führt.

KNN klassifiziert Beobachtungen basierend auf den ( K ) nächsten Nachbarn:

• Die Wahl von ( K ) beeinflusst die Flexibilität und Bias-Varianz-Abwägung des Modells.

LDA (Linear Discriminant Analysis):

• Verwenden, wenn die Kovarianzmatrizen der Klassen ungefähr gleich sind.
• Geeignet für große Datensätze mit vielen Beobachtungen pro Klasse.
• Stabiler bei kleineren Datensätzen.

QDA (Quadratic Discriminant Analysis):

• Verwenden, wenn die Kovarianzmatrizen der Klassen unterschiedlich sind.
• Nützlich für komplexere Modelle mit größeren Unterschieden zwischen den Klassen.
• Erfordert größere Datensätze, da es mehr Parameter schätzt.

Logistische Regression:

• Verwenden, wenn eine lineare Entscheidungsgrenze erwartet wird.
• Flexibler als LDA bei kleineren Datensätzen und weniger Annahmen über die Verteilung der Prädiktoren.
• Wird nicht verwendet, wenn die Daten nicht gut durch eine lineare Entscheidungsgrenze getrennt werden können.

LDA ist eine Methode zur Klassifizierung, die die Varianz zwischen den Klassen maximiert und die Varianz innerhalb der Klassen minimiert. Die Entscheidungsregel basiert auf der größten diskriminanten Funktion ( \delta_k(x) ):

• $x$: Eingabevektor
• $Sigma$: Gemeinsame Kovarianzmatrix
• $m{u}_k$: Mittelwert der Klasse ( k )
• $p{i}_k$: A-priori-Wahrscheinlichkeit der Klasse ( k )

QDA ist eine Erweiterung von LDA, bei der jede Klasse ihre eigene Kovarianzmatrix hat. Die Entscheidungsregel basiert auf der größten diskriminanten Funktion ( \delta_k(x) ):

• ( x ): Eingabevektor
• ( \Sigma_k ): Kovarianzmatrix der Klasse ( k )
• ( \mu_k ): Mittelwert der Klasse ( k )
• ( \pi_k ): A-priori-Wahrscheinlichkeit der Klasse ( k )

Accuracy ist der Anteil der korrekten Vorhersagen:

Sensitivity (auch Recall genannt) ist ein Maß dafür, wie gut ein Modell tatsächlich positive Fälle korrekt identifiziert. Es ist der Anteil der tatsächlich positiven Fälle, die vom Modell korrekt als positiv klassifiziert wurden.

Die Formel für Sensitivity / Recall lautet:

• ( TP ): True Positives (Anzahl der korrekt als positiv klassifizierten positiven Fälle)
• ( FN ): False Negatives (Anzahl der tatsächlich positiven, aber als negativ klassifizierten Fälle)

Ein hoher Recall-Wert bedeutet, dass das Modell nur wenige tatsächliche positive Fälle übersieht.

Precision ist ein Maß dafür, wie viele der als positiv klassifizierten Fälle tatsächlich positiv sind. Es ist der Anteil der korrekt vorhergesagten positiven Fälle an allen vorhergesagten positiven Fällen.

Die Formel für Precision lautet:

• ( TP ): True Positives (Anzahl der korrekt als positiv klassifizierten positiven Fälle)
• ( FP ): False Positives (Anzahl der fälschlicherweise als positiv klassifizierten negativen Fälle)

Ein hoher Precision-Wert bedeutet, dass das Modell nur wenige negative Fälle fälschlicherweise als positiv klassifiziert. dass das Modell nur wenige tatsächliche positive Fälle übersieht.

Specificity misst, wie gut ein Modell tatsächlich negative Fälle korrekt identifiziert. Es ist der Anteil der tatsächlich negativen Fälle, die vom Modell korrekt als negativ klassifiziert wurden.

Die Formel für Specificity lautet:

• ( TN ): True Negatives (Anzahl der korrekt als negativ klassifizierten negativen Fälle)
• ( FP ): False Positives (Anzahl der fälschlicherweise als positiv klassifizierten negativen Fälle)

Ein hoher Specificity-Wert bedeutet, dass das Modell nur wenige tatsächliche negative Fälle fälschlicherweise als positiv klassifiziert.

Specificity, Recall und Precision sind wichtige Maße für die Leistungsfähigkeit eines Klassifikationsmodells. Änderungen in einem Maß können oft zu Kompromissen in den anderen führen:

• Recall vs. Precision: Ein hohes Recall führt oft zu einem niedrigeren Precision, da mehr positive Vorhersagen gemacht werden, was auch die False Positives erhöht. Umgekehrt führt ein hohes Precision oft zu einem niedrigeren Recall.
• Recall vs. Specificity: Ein hohes Recall bedeutet, dass mehr tatsächliche Positive erkannt werden, was die Anzahl der False Negatives verringert, aber die Anzahl der False Positives erhöhen kann, was die Specificity verringert.
• Specificity vs. Precision: Ein hohes Specificity bedeutet, dass viele tatsächliche Negative korrekt erkannt werden, was die Anzahl der False Positives verringert und somit Precision erhöht.

Der Decision Threshold ist der Schwellenwert, ab dem eine Beobachtung als positiv klassifiziert wird. Durch Anpassen des Decision Threshold kann man den Trade-off zwischen Recall, Precision und Specificity steuern:

• Niedriger Threshold: Erhöht Recall, verringert Specificity und Precision.
• Hoher Threshold: Erhöht Specificity und Precision, verringert Recall.
• Die Wahl des geeigneten Decision Threshold hängt von den spezifischen Anforderungen und Prioritäten der Anwendung ab.
  

Poisson Regression wird verwendet, um die Anzahl der Ereignisse in einem festen Intervall zu modellieren. Es ist geeignet für Zähldaten, die die Poisson-Verteilung befolgen.

Die Modellgleichung lautet:

wobei:

• $\lambda$ die erwartete Anzahl der Ereignisse ist.
• $X_1,X_2,\dots ,X_p$ die Prädiktoren sind.
• ${\beta }_0,{\beta }_1,\dots ,{\beta }_p$ die Regressionskoeffizienten sind.

Die linke Seite der Gleichung ist der Logarithmus der Rate, und die rechte Seite ist eine lineare Funktion der Prädiktoren.

Übersicht: In diesem Kurs wurden drei GLMs behandelt: Gaussian, Binomial und Poisson.

Link-Funktion: Transformation des Mittelwerts durch eine lineare Funktion:

• Linear: $\eta (\mu )=\mu$
• Logistisch: $\eta (\mu )=\log (\mu /(1-\mu ))$
• Poisson: $\eta (\mu )=\log (\mu )$

Varianzfunktionen: Jede GLM hat charakteristische Varianzfunktionen.

Modellanpassung: Die Modelle werden mittels Maximum-Likelihood angepasst. Zusammenfassungen werden in R mit der Funktion glm() erzeugt.

Weitere GLMs: Gamma, Negative-binomial, Inverse Gaussian und mehr.

Cross-Validation ist eine Methode zur Schätzung des Testfehlers eines Modells, indem das verfügbare Trainingsdaten in mehrere Teilmengen aufgeteilt wird.

• Das Trainingsdatensatz wird zufällig in Trainings- und Testmengen aufgeteilt.
• Modell wird auf das Trainingsset angepasst und auf das Testset angewendet.
• Der Fehler im Testset dient als Schätzung für den Testfehler.

Nachteile:

1. Hohe Variabilität, abhängig von der zufälligen Aufteilung.
2. Das Modell wird auf weniger Daten trainiert, was den Fehler überschätzen kann.

• Jede Beobachtung wird einmal als Testset verwendet, während der Rest als Trainingsset dient.
• Modell wird ( n ) Mal angepasst und der Durchschnittsfehler wird berechnet.

Vorteile:

1. Weniger variabel, da alle Datenpunkte verwendet werden.
2. Weniger Bias, da fast das gesamte Datenset verwendet wird.

Nachteil:

1. Kann rechnerisch aufwendig sein.

• Daten werden in ( K ) gleichgroße Gruppen aufgeteilt.
• Jede Gruppe wird einmal als Testset und der Rest als Trainingsset verwendet.
• Durchschnittsfehler wird berechnet.

Vorteile:

1. Weniger rechnerisch aufwendig als LOOCV.
2. Besseres Bias-Varianz-Verhältnis.

Typischerweise wird ( K = 5 ) oder ( K = 10 ) gewählt.

Der Bootstrap ist eine Methode zur Schätzung der Unsicherheit eines Modells oder Parameters durch wiederholtes Ziehen von Stichproben mit Zurücklegen aus dem Originaldatensatz.

• Beispiel: Schätzung des Risikos einer Investition durch Bootstrapping von Renditen.
• Ein Datensatz wird mehrfach mit Zurücklegen gezogen, um viele Bootstrapped-Datensätze zu erzeugen.
• Diese werden verwendet, um Schätzungen und deren Variabilität zu berechnen.

Best Subset Selection passt separate Modelle für jede mögliche Kombination der Prädiktoren an:

Das beste Modell wird basierend auf Kriterien wie (R^2) oder Kreuzvalidierungsfehler ausgewählt.

Stepwise Selection ist eine Methode zur Auswahl der besten Prädiktoren für ein Modell, indem Variablen iterativ hinzugefügt oder entfernt werden. Es gibt drei Hauptarten: dabei wird das p-value verwendet welcher der hoecchste hat entfernt oder tiefsteter hinzugefuegt.

Forward Selection:

• Beginnt mit keinem Prädiktor und fügt schrittweise den Prädiktor hinzu, der die Modellanpassung am meisten verbessert.

Backward Selection:

• Beginnt mit allen Prädiktoren und entfernt schrittweise den Prädiktor, der die Modellanpassung am wenigsten verschlechtert.

Stepwise Selection:

• Kombiniert Forward und Backward Selection, indem es Prädiktoren hinzufügt und entfernt, um das beste Modell zu finden.

Die Auswahl des besten Modells erfolgt durch Schätzung des Testfehlers mittels Kreuzvalidierung oder Anpassung des Trainingsfehlers (z.B. (C_p), (AIC), (BIC), adjusted-(R^2)).

Shrinkage-Methoden passen ein Modell mit allen Prädiktoren an und schrumpfen die Koeffizienten in Richtung Null.

Minimiert die Funktion:

Dies reduziert die Varianz auf Kosten eines kleinen Bias.

Minimiert die Funktion:

Lasso schrumpft einige Koeffizienten auf genau Null, was eine Variablenselektion ermöglicht.

Reduzieren die Dimensionen des Datensatzes durch Projektion auf ein (M)-dimensionales Teilraum.

Identifiziert die Hauptrichtungen der Variabilität in den Daten und projiziert die Prädiktoren auf diese Komponenten.

Partial Least Squares (PLS) ist eine Technik zur Dimensionenreduktion, die sowohl die Prädiktoren als auch die Antwortvariablen berücksichtigt. PLS projiziert die Prädiktoren auf neue latente Variablen (Komponenten), die maximale Kovarianz mit der Antwortvariablen haben.

Algorithmus:

1. Berechnung der Gewichtungsvektoren, die die Prädiktoren und die Antwortvariablen maximieren.
2. Projektion der Prädiktoren und der Antwortvariablen auf diese Gewichtungsvektoren.
3. Anpassen eines linearen Modells an die projizierten Daten.

Bei vielen Prädiktoren sollte man Methoden wie Subset Selection, Ridge Regression, Lasso oder PCA verwenden. Traditionelle Maßzahlen wie (R^2) sind ungeeignet; stattdessen sollte man Kreuzvalidierungsfehler berichten.

AIC ist ein Maß zur Modellbewertung, das sowohl die Anpassungsgüte als auch die Komplexität des Modells berücksichtigt:

• ( k ): Anzahl der geschätzten Parameter
• ( L ): Maximierter Wert der Likelihood-Funktion des Modells

BIC ist ähnlich wie AIC, bestraft jedoch komplexere Modelle stärker:

• ( n ): Anzahl der Datenpunkte

MSE misst den durchschnittlichen quadratischen Fehler zwischen den beobachteten und vorhergesagten Werten:

• ( y_i ): Beobachteter Wert
• ( \hat{y}_i ): Vorhergesagter Wert

Adjusted ( R^2 ) ist eine Anpassung des ( R^2 )-Werts, die die Anzahl der Prädiktoren im Modell berücksichtigt:

• ( R^2 ): Bestimmtheitsmaß
• ( n ): Anzahl der Beobachtungen
• ( k ): Anzahl der Prädiktoren

Polynomial regression erweitert die lineare Regression durch Hinzufügen zusätzlicher Prädiktoren, die Potenzen der ursprünglichen Prädiktoren sind:

Dies ermöglicht das Modellieren nichtlinearer Beziehungen zwischen Prädiktoren und Antwortvariablen.

Step Functions unterteilen den Bereich von (X) in Intervalle und passen innerhalb jedes Intervalls eine Konstante an:

Dies ermöglicht unterschiedliche konstante Werte für verschiedene Bereiche von (X).

I ist eine Idicator funktion die binary zurueck gibt.

Basis Functions wenden eine Familie von Funktionen auf einen Prädiktor an:

Beispiele sind Polynomiale und Stückweise Konstante.

Piecewise Polynomial Regression unterteilt den Prädiktorraum in Intervalle und passt in jedem Intervall ein separates Polynom an. Dadurch können komplexe, nichtlineare Beziehungen modelliert werden.

Stückweise Lineare Regression:

Stückweise Polynomiale höheren Grades:

• ( \beta_{j,i} ): Koeffizienten der Polynomiale im (i)-ten Intervall
• ( d ): Grad des Polynoms
• ( a, b, c, z, w ): Grenzwerte der Intervalle

Piecewise Polynomial Regression bietet Flexibilität und Genauigkeit, indem sie die Modellkomplexität auf die Daten anpasst.

Ein linearer Spline mit Knoten bei ${\xi }_k$, $k=1$, $\dots ,K$ ist ein stückweise lineares Polynom, das an jedem Knoten kontinuierlich ist.

Wir können dieses Modell darstellen als:

wobei die (b_k) Basisfunktionen sind:

Hier bedeutet (()_+) den positiven Teil, d.h.

• $y_i$: Beobachteter Wert für die $i$-te Beobachtung
• ${\beta }_0,{\beta }_1,\dots ,{\beta }_{K+1}$: Regressionskoeffizienten
• $b_k(x_i)$: Basisfunktionen
• $x_i$: Prädiktorwert für die $i$-te Beobachtung
• ${\xi }_k$: Knotenpunkte
• ${ϵ}_i$: Fehlerterm

Ein kubischer Spline mit Knoten bei ${\xi }_k$, $k=1,\dots ,K$, ist ein stückweise kubisches Polynom mit stetigen Ableitungen bis zur Ordnung 2 an jedem Knoten.

Wir können dieses Modell mit abgeschnittenen Potenz-Basisfunktionen darstellen:

wobei:

• $b_1(x_i)=x_i$
• $b_2(x_i)=x_i^2$
• $b_3(x_i)=x_i^3$
• $b_{k+3}(x_i)=(x_i-{\xi }_k{)}_{+}^3,k=1,\dots ,K$

Hier bedeutet $(\cdot {)}_{+}$ den positiven Teil:

• $y_i$: Beobachteter Wert für die $i$-te Beobachtung
• ${\beta }_0,{\beta }_1,\dots ,{\beta }_{K+3}$: Regressionskoeffizienten
• $b_k(x_i)$: Basisfunktionen
• $x_i$: Prädiktorwert für die $i$-te Beobachtung
• ${\xi }_k$: Knotenpunkte
• ${ϵ}_i$: Fehlerterm

Ein natürlicher kubischer Spline extrapoliert linear über die Randknoten hinaus. Dies fügt 4 (2 × 2) zusätzliche Einschränkungen hinzu und ermöglicht es uns, mehr interne Knoten für die gleichen Freiheitsgrade wie ein regulärer kubischer Spline zu setzen.

• Randknoten: Stellen sicher, dass der Spline an den Rändern linear wird.
• Freiheitsgrade: Anzahl der Parameter, die zur Anpassung des Splines verwendet werden.

Die Grafik zeigt den Unterschied zwischen einem natürlichen kubischen Spline (rote Linie) und einem regulären kubischen Spline (blaue Linie).

Regression Splines erweitern die Polynom- und Stückweise-Konstante-Regression:

Splines sind glatt und kontinuierlich an den Knotenpunkten.

Das gute an Smoothing Splines ist, dass man splines fitten kann ohne, dass man die Knots placen muss.

Smoothing Splines minimieren die Summe der quadrierten Fehler und eine Glattheitsstrafe:

Dies führt zu glatten Funktionen, die gut zu den Daten passen.

Local Regression passt lokale lineare Modelle an Punkte nahe einem Zielpunkt an:

Dies ermöglicht flexible, nichtlineare Anpassungen.

GAMs ermöglichen nichtlineare Funktionen jedes Prädiktors, während sie Additivität beibehalten:

GAMs kombinieren Flexibilität und Interpretierbarkeit.

GAMs erlauben flexible Nichtlinearitäten in mehreren Variablen, behalten aber die additive Struktur linearer Modelle bei.

• $y_i$: Beobachteter Wert für die $i$-te Beobachtung
• ${\beta }_0$: Interzept
• $f_j(x_{ij})$: Glättungsfunktionen der Prädiktoren $x_{ij}$
• $x_{ij}$: Prädiktorwert für die $i$-te Beobachtung und den $j$-ten Prädiktor
• ${ϵ}_i$: Fehlerterm

Die Diagramme zeigen, wie die Funktionen $f_j$ die Beziehung zwischen den Prädiktoren (Jahr, Alter, Bildung) und der Antwortvariablen modellieren.

GAMs sind additiv, obwohl Wechselwirkungen niedriger Ordnung auf natürliche Weise durch bivariate Glätter oder Wechselwirkungen der Form $ns(\text{age},df=5):ns(\text{year},df=5)$ einbezogen werden können.

• Additive Modelle: Jede Komponente wird separat angepasst und addiert.
• Bivariate Glätter: Glättungsmethoden für zwei Variablen gleichzeitig.
• Wechselwirkungen: Interaktionen zwischen Variablen, die im Modell berücksichtigt werden.

GAMs bieten Flexibilität bei der Modellierung nichtlinearer Beziehungen und Wechselwirkungen in den Daten.

Generalized Additive Models (GAMs) können auch für Klassifikationsprobleme verwendet werden. Die logistische Regression wird als additive Modelle erweitert:

• $p(X)$: Wahrscheinlichkeit des Ereignisses
• ${\beta }_0$: Interzept
• $f_j(X_j)$: Glättungsfunktionen der Prädiktoren $X_j$

In R kann dies mit der gam() Funktion durchgeführt werden, wie im Beispiel:

• $\text{year}$: Jahr
• $\text{age}$: Alter
• $\text{education}$: Bildung

Generalized Additive Models (GAMs) ermöglichen es, die Beziehung zwischen der Antwortvariablen und mehreren Prädiktoren durch additive nichtlineare Funktionen darzustellen.

Das Modell wird wie folgt formuliert:

• $Y$ ist die Antwortvariable.
• ${\beta }_0$ ist der Interzept.
• $f_j(X_j)$ sind nichtlineare Glättungsfunktionen der Prädiktoren $X_j$.
• $ϵ$ ist der Fehlerterm.

GAMs kombinieren Flexibilität und Interpretierbarkeit, da jede nichtlineare Funktion einzeln geschätzt und interpretiert werden kann.

Decision Trees segmentieren den Prädiktorraum in einfache Regionen. Jede Beobachtung wird einer Region zugeordnet, und die Vorhersage erfolgt durch den Mittelwert oder Modus der Trainingsbeobachtungen in dieser Region.

Regression Trees:

Pruning:

Klassifikationsbäume sagen qualitative Antworten voraus. Die Vorhersage erfolgt durch die am häufigsten vorkommende Klasse im Endknoten.

Gini Index:

Cross-Entropy: