Individus dans une ACP : métrique et projection
Les scientifiques de données passent une bonne partie de leur existence à projeter des points sur des axes (sans jamais les rater, d’ailleurs). Observons leur adresse dans le cadre de cette belle technique qu’est l’analyse en composantes principales (ACP) sur les individus.
Rappels
Rappelons brièvement qu’il s’agit là d’une analyse factorielle : nous disposons d’une base de \(n\) individus (ou unités statistiques) décrits par \(p\) variables numériques le moins corrélées possible et l’objectif est de placer notre nuage de points-individus dans un nouveau repère tel que le premier axe épouse au mieux la forme du nuage, suivi d’un deuxième axe qui lui est orthogonal et qui « ressemble » au possible à ce qui n’a pas été résumé par le premier, et ainsi de suite jusqu’au pème axe. (voir schémas en page d'ACP sur individus). Comme les axes sont triés par ordre décroissant d’« explication » de la forme, on peut ne s’intéresser qu’aux premiers qui sont les plus essentiels. C'est ce qui se nomme la réduction de dimensionnalité.
L’analyste fait ainsi émerger les principaux facteurs qui sont liés aux différences entre unités statistiques (et qui peut-être les expliquent). Ces facteurs sont abstraits mais on cherche à leur donner une signification concrète.
Espace des individus et métrique
Dans une ACP, les individus sont représentés comme des points d'un espace vectoriel à \(p\) dimensions. La construction des axes factoriels dépend alors de la manière dont on mesure les distances entre ces points. Cette mesure est appelée métrique.
Le choix d'une métrique conditionne la notion de proximité entre individus, la forme du nuage de points et, par conséquent, les axes factoriels obtenus. Deux métriques différentes conduisent généralement à deux analyses différentes.
Comme souvent en statistiques, la distance euclidienne est l’élue.
Considérons deux individus \(i\) et \(j\) décrits par \(p\) variables quantitatives :
\(x_i=(x_{i1},\ldots,x_{ip})', \qquad x_j=(x_{j1},\ldots,x_{jp})'.\)
La distance euclidienne entre ces deux individus est \(\sum_{k=1}^{p}(x_{ik}-x_{jk})^2\)
En écriture matricielle : \((x_i-x_j)'(x_i-x_j).\)
Généralement, les variables ne sont pas directement comparables entre elles. Avant l'analyse, on peut donc les centrer et les réduire (diviser par leur écart-type). On peut aussi opter pour une technique équivalente : introduire dans l'ACP une matrice symétrique définie positive \(M\) appelée matrice métrique.
La distance entre deux individus devient \((x_i-x_j)'M(x_i-x_j).\) La distance euclidienne n'est alors qu'un cas particulier où \(M\) est la matrice identité d'ordre \(p.\)
Dans le cas le plus courant, \(M\) est la matrice diagonale des inverses des variances des \(p\) variables. Si l'on appelle \(D\) la matrice diagonale des écarts-types, alors \(M = D^{-2}.\)
Les logiciels utilisent généralement la méthode statistique (centrage et réduction des données) tandis que les manuels privilégient souvent la méthode géométrique (avec \(D^{-2}\)) par cohérence avec les autres types d'analyses factorielles.
Détermination des axes
Les points sont d’abord projetés sur un premier axe factoriel. La position de celui-ci est telle que trois conditions équivalentes sont satisfaites.
- La somme de toutes les distances au carré entre l’origine et chaque projeté est maximale.
- La somme de toutes les distances au carré entre les points et leurs projetés est minimale. Cette seconde condition est plus intuitive et nous rappelle la droite des moindres carrés de la régression linéaire simple (sauf qu’ici, les projections sont orthogonales).
- La somme de toutes les différences au carré entre les projetés est maximale.
Une projection orthogonale de deux points ne respecte la distance qui les sépare que sur un axe qui leur est parallèle. Les trois conditions équivalentes sont visualisables ci-dessous.
Le premier axe factoriel est donc défini comme la direction qui maximise l'inertie des projections du nuage.
Soit \(u\) un vecteur unitaire. Donc \(u'u=1\).
La projection de l'individu \(i\) sur cet axe est donnée par le produit scalaire \(f_i = x_i'u.\)
L'ensemble des projections possède une inertie égale à : \(I(u)=\sum_{i=1}^{n}f_i^2\)
En notation matricielle, si \(X\) désigne la matrice des données centrées, \(I(u)=u'X'Xu.\)
Le problème consiste donc à maximiser cette quantité sous la contrainte \(u'u=1\).
La théorie des formes quadratiques montre alors que la solution est obtenue lorsque \(u\) est le vecteur propre associé à la plus grande valeur propre de la matrice \(X'X\).
Le premier axe factoriel est donc porté par ce vecteur propre et la valeur propre associée mesure l'inertie qu'il explique.
Une fois le premier axe obtenu, on en cherche un deuxième qui explique le maximum d'inertie résiduelle. Ce nouvel axe doit être orthogonal au précédent : \(u_1'u_2 = 0.\) Le même problème de maximisation conduit alors au vecteur propre associé à la deuxième plus grande valeur propre de \(X'X.\)
En poursuivant le raisonnement, on obtient une famille de vecteurs propres \(u_1,u_2,\ldots,u_p\) orthogonaux deux à deux. Leurs directions sont celles des axes principaux.
Les valeurs propres associées \(\lambda_1\geqslant \lambda_2\geqslant\cdots\geqslant\lambda_p\) mesurent les inerties expliquées par les différents axes.
Nouvelle base
Les vecteurs propres forment une base de l'espace des variables. Elle est orthonormée.
Notons \(U\) \(=\) \(\begin{pmatrix} u_1 & u_2 & \cdots & u_p \end{pmatrix}.\) La matrice \(U\) définit un changement de repère.
L'ACP peut alors être interprétée comme une rotation de l'espace initial : les individus ne changent pas de position relative, mais les axes sont réorientés de façon à suivre les directions principales du nuage.
Projection des individus
Une fois les axes déterminés, il suffit de projeter chaque individu sur ceux-ci.
La coordonnée de l'individu \(i\) sur l'axe \(\alpha\) est \(f_{i\alpha} = x_i'u_\alpha.\)
Autrement dit, la coordonnée factorielle est le produit scalaire entre le vecteur représentant l'individu et le vecteur directeur de l'axe.
Pour l'ensemble des individus et des axes, les coordonnées factorielles sont regroupées dans la matrice \(F = XU.\)
Chaque colonne de \(F\) contient les coordonnées des individus sur un axe principal et chaque ligne contient les coordonnées factorielles d'un individu.
Si par exemple on ne retient que les deux premiers axes, la représentation de l'individu \(i\) est donnée par le couple \((f_{i1},f_{i2}).\)
Ainsi l'ACP peut ainsi être vue comme une succession de deux opérations géométriques.
- La première consiste à déterminer les directions privilégiées du nuage en recherchant les vecteurs propres associés aux plus grandes valeurs propres de la matrice d'inertie.
- La seconde consiste à projeter orthogonalement les individus sur les sous-espaces engendrés par ces directions.
Les coordonnées factorielles obtenues ne sont donc pas des données nouvelles au sens strict : elles représentent les anciennes données exprimées dans un système d'axes plus adapté à la structure du nuage.
