Projection des points-individus dans une ACP
Les scientifiques de données passent une bonne partie de leur existence à projeter des points sur des axes (sans jamais les rater, d’ailleurs). Observons leur adresse dans le cadre de cette belle technique qu’est l’analyse en composantes principales (ACP) sur les individus.
Rappelons brièvement qu’il s’agit là d’une analyse factorielle : nous disposons d’une base de \(n\) individus (ou unités statistiques) décrits par \(p\) variables numériques non corrélées et l’objectif est de placer notre nuage de points-individus dans un nouveau repère tel que le premier axe épouse au mieux la forme du nuage, suivi d’un deuxième axe qui lui est orthogonal et qui « ressemble » au possible à ce qui n’a pas été résumé par le premier, et ainsi de suite jusqu’au pème axe. (voir schémas en page d'ACP sur individus). Comme les axes sont triés par ordre décroissant d’« explication » de la forme, on peut ne s’intéresser qu’aux premiers qui sont les plus essentiels (ce qui se nomme la réduction de dimensionnalité).
L’analyste fait ainsi émerger les principaux facteurs qui sont liés aux différences entre unités statistiques (et qui peut-être les expliquent). Ces facteurs sont abstraits mais on cherche à leur donner une signification concrète.
Espace des individus
Donc, des points-individus errent çà et là dans un espace vectoriel à \(p\) dimensions. Les variables ont d’abord été centrées (voir l'ACP sur les variables). Du coup, l’individu moyen prend la valeur 0 pour chaque variable et l’origine du repère est le centre de gravité du nuage de points-individus.
Généralement, les variables aussi sont réduites (divisées par leur écart-type), ce qui les rend comparables entre elles. Si l’on considère qu’on applique une métrique directement au tableau de données centrées, cette métrique est la matrice diagonale des inverses de variances (Cf. G. Saporta, Probabilités, analyse des données et statistiques, Technip 2006 p. 159). Avec des coordonnées ainsi normées, les points représentatifs de deux individus dont les caractéristiques sont proches sont deux points très voisins.
Comment évaluer les proximités entre les points ?
Bien sûr, une représentation géométrique en deux dimensions nous permettrait d’apprécier pifométriquement les proximités ou la forme du nuage des points-individus. Mais pour calculer dans \(\mathbb{R}^p\) c’est autre chose… Il faut choisir un système de mesure des distances. Et c’est, comme souvent en statistiques, la distance euclidienne qui est l’élue. Elle nous permet de raisonner en termes de variance ou, d’une façon plus générale (si les unités statistiques sont pondérées), en termes d’inertie. Ainsi, l’inertie de chaque point-individu normalisé est égale au carré de sa distance par rapport à l’origine.
Cette inertie va être décomposée. Si l’on fait passer \(p\) droites orthogonales entre elles par l’origine et que l’on projette notre point orthogonalement sur ces \(p\) droites, son inertie sera égale à la somme des inerties entre lui et tous ses projetés.
Projection
Les points sont d’abord projetés sur un premier axe factoriel. La position de celui-ci est telle que trois conditions équivalentes sont satisfaites.
Premièrement, la somme de toutes les distances au carré entre l’origine et chaque projeté est maximale. Deuxièmement, la somme de toutes les distances au carré entre les points et leurs projetés est minimale. Cette seconde condition est plus intuitive et nous rappelle la droite des moindres carrés de la régression linéaire simple (sauf qu’ici, les projections sont orthogonales). Troisièmement, la somme de toutes les différences au carré entre les projetés est maximale.
Cette dernière condition est elle aussi visualisable. Une projection orthogonale de deux points ne respecte la distance qui les sépare que sur un axe qui leur est parallèle. En toute logique, une projection sur un axe orienté différemment se traduit par une distance plus faible entre les projetés qu’entre les points. On le vérifie ci-dessous, la distance entre projetés sur l’axe vert étant supérieure à la distance entre projetés sur l’axe rouge.
Donc, une première étape consiste à trouver l’axe pour lequel la somme des inerties entre points et projetés sera maximale, c’est-à-dire que la somme des distances entre points et projetés doit être minimale. Puis il faut déterminer l’axe orthogonal au premier qui « absorbe » un maximum de l’inertie restante et ainsi de suite.
Les mécanismes qui permettent l'établissement de cette nouvelle base font appel à l’algèbre linéaire.
Appelons \(u\) un vecteur directeur de la droite sur laquelle les points sont projetés, \(X\) la matrice des données centrées et réduites et \(X’\) sa transposée. La matrice \(X’X\) représente \(n\) fois la matrice des corrélations. L’inertie projetée sur la droite est égale à \(u’X’Xu.\) Sachant que \(u’.u\) doit être égal à 1 pour que notre vecteur directeur représente la norme, il faut donc maximiser \(u’X’Xu.\)
On démontre que pour maximiser \(u’X’Xu,\) il faut que \(u\) soit le vecteur propre de \(X’X\) associé à la plus grande valeur propre. Et ainsi de suite pour les axes suivants.
Ainsi, chaque axe principal est défini par un vecteur propre auquel est associée une valeur propre. La somme des valeurs propres est égale au nombre de variables (voir tableau en page résultat d’une ACP sur variables). Surtout, la valeur propre associée à chaque axe indique la part d’inertie qui est projetée sur lui. Plus cette part est importante, plus l’axe véhicule de l’information. C’est cette propriété qui permet l’interprétation des résultats de l’ACP.
Note : Les points représentatifs des individus centrés-réduits se trouvent donc à un certain écart-type de l’origine. Si leur distribution est multi-normale, la plupart d’entre eux ne s’éloignent pas beaucoup de l’origine mais certains outliers peuvent naviguer à trois ou quatre écart-types de leur barycentre. Ceci pour préciser qu’il est très malvenu d’« encercler » le nuage de points (le cercle des corrélations de rayon 1 est réservé à l’ACP sur variables).
