PCA (general)
= Principal Component Analysis (Hauptkomponentenanalyse)
x_PCA = U^T*x
U diagonalisiert die Kovarianzmatrix C: C = U D U^T
U enthält (normierte) Eigenvektoren von C, D die Eigenwerte
Man kann zeigen, dass PCA den quadratischen Rekonstruktionsfehler minimiert, wenn x_PCA auf die M ersten Hauptachsen projiziert wird.
PCA maximiert die MI zwischen x und y
nach Transformation sind Daten dekorreliert
Whitening
normalerweise nach PCA verwendet
normalisieren Varianzen entlang allen Dimensionen
x_wht = S^-1 U^T x = S^-1 x_PCA
S^2 = U^T C U (enthält Varianzen entlang der Hauptkomponenten)
PCA rotiert Signal auf Hauptachsen; dann wird es auf einheitliche Varianz skaliert
nach Whitening: Komponenten von x_wht sind dekorreliert und haben Varianz 1
ICA
= Independent Component Analysis
x_ICA = V * x_wht
V so gewählt, dass Multiinformation I(Vx_wht) minimiert wird
Alternative: maximiere Kurtosis / Negentropie von Vx_wht
Intuition: alle linearen Transformationen auf whitened Daten erhalten die Dekorrelation (damit auch V)
unter allen solchen Transformationen wählt ICA diejenige, die die Multi-Information minimiert
von ICA gefundene Hauptachsen müssen nicht orthogonal sein (eliminiert auch Scherung)
nach ICA: Komponenten von x_ICA sind statistisch unabhängig
Zuletzt geändertvor einem Jahr