Linear Subspaces

= Principal Component Analysis (Hauptkomponentenanalyse)

x_PCA = U^T*x

• U diagonalisiert die Kovarianzmatrix C: C = U D U^T

• U enthält (normierte) Eigenvektoren von C, D die Eigenwerte

Man kann zeigen, dass PCA den quadratischen Rekonstruktionsfehler minimiert, wenn x_PCA auf die M ersten Hauptachsen projiziert wird.

PCA maximiert die MI zwischen x und y

nach Transformation sind Daten dekorreliert

normalerweise nach PCA verwendet

normalisieren Varianzen entlang allen Dimensionen

x_wht = S^-1 U^T x = S^-1 x_PCA

• S^2 = U^T C U (enthält Varianzen entlang der Hauptkomponenten)

PCA rotiert Signal auf Hauptachsen; dann wird es auf einheitliche Varianz skaliert

nach Whitening: Komponenten von x_wht sind dekorreliert und haben Varianz 1

= Independent Component Analysis

x_ICA = V * x_wht

• V so gewählt, dass Multiinformation I(Vx_wht) minimiert wird

• Alternative: maximiere Kurtosis / Negentropie von Vx_wht

Intuition: alle linearen Transformationen auf whitened Daten erhalten die Dekorrelation (damit auch V)

unter allen solchen Transformationen wählt ICA diejenige, die die Multi-Information minimiert

von ICA gefundene Hauptachsen müssen nicht orthogonal sein (eliminiert auch Scherung)

nach ICA: Komponenten von x_ICA sind statistisch unabhängig