Axes principaux et réduction de dimensionnalité
Les analyses factorielles, ou analyses en axes principaux, comptent parmi les outils statistiques les plus puissants et les plus utilisés. Certes, on peut les réaliser grâce aux logiciels d’analyse de données sans se poser de questions mathématiques. Mais on peut aussi chercher à comprendre d’où sortent ces fameux axes et se dire ainsi qu’on n’a pas étudié les produits scalaires et les opérations sur matrices pour rien durant ses études secondaires et supérieures...
Régression vs analyse factorielle
En préambule, un petit rappel sur l’aspect « visuel » de la régression linéaire simple (RLS). On cherche à résumer un nuage de points représentatif d’observations par une fonction affine qui se traduit par une « droite des moindres carrés ». Pour calculer l’équation de celle-ci, on minimise la somme des carrés des distances entre les points et cette droite. Les distances sont mesurées parallèlement à l’axe des ordonnées.
Entrons maintenant dans le domaine de l’analyse de données tout en nous situant à un niveau général. Les spécificités propres à telle ou telle technique seront juste survolées.
Les analyses factorielles sont conduites à partir de tableaux de données parfois gigantesques : si l’on observe cent mille individus caractérisés par trente variables, on place les points-individus, qui sont autant de vecteurs, dans un espace d’au plus trente dimensions. Si au contraire on cherche à placer des points représentatifs de variables dans l’espace des individus, celui-ci est composé d’au plus cent mille dimensions !
Il n'y a ni variable explicative ni variable expliquée. La problématique n'est pas d'établir une liaison, éventuellement causale.
Contrairement à la RLS, les analyses factorielles déterminent des droites qui sont elles-mêmes des axes.
Réduction de dimensionnalité
Les analyses factorielles reposent toutes sur le même prinicipe : remplacer un grand nombre de variables initiales par un nombre plus faible de nouveaux axes, construits à partir des données. Ceux-ci définissent un nouvel espace de représentation dans lequel il devient plus facile de visualiser les ressemblances, les différences et les principales structures du jeu de données.
Par exemple, on peut disposer de vingt critères de départ pour qualifier des unités statistiques mais, pour les décrire, on ne se servira que de deux ou trois critères « fabriqués » pour l’occasion tout en perdant peu d’information. Attention, le même nombre d'axes existant au départ est conservé. Les axes factoriels sont juste triés en ordre décroissant de significativité et c'est l'analyste qui choisit de n'en retenir qu'un certain nombre, une partie de l'information étant volontairement perdue.
Un premier plan factoriel pourra avoir pour abscisses les coordonnées des points sur l’axe n°1 et pour ordonnées celles des points sur l’axe n°2, un deuxième repère utilisant les axes 1 et 3, un éventuel troisième plan situe les points sur les axes 2 et 3… Il est rare d’aller plus loin.
Le but est double : expliquer les phénomènes analysés de façon plus synthétique et obtenir des modèles robustes.
Un peu de maths...
D'un point de vue géométrique, les données sont considérées comme des points appartenant à un espace vectoriel de grande dimension. Chaque variable contribue à définir une direction de cet espace. Les méthodes factorielles cherchent alors à construire un sous-espace vectoriel de faible dimension, le plus souvent un plan ou un espace de dimension trois, qui résume au mieux les informations contenues dans les données (un axe étant un sous-espace de dimension 1).
Les axes factoriels ne correspondent généralement à aucune variable observée. Ce sont de nouvelles directions, obtenues par combinaison des variables initiales ou, selon les méthodes, des individus ou des modalités. Leur construction s'appuie sur plusieurs notions d'algèbre linéaire, notamment les espaces vectoriels, les projections, le produit scalaire, les matrices et leur diagonalisation. Les axes sont déterminés de façon à satisfaire un critère d'optimalité propre à la méthode utilisée.
Dans la plupart des analyses factorielles, les axes sont orthogonaux. Cette orthogonalité, définie à l'aide d'un produit scalaire, signifie que chaque axe apporte une information nouvelle, indépendante de celle déjà résumée par les axes précédents. Les informations expliquées par les différents axes ne se recouvrent donc pas.
La détermination des axes revient généralement à rechercher les directions privilégiées d'une transformation matricielle. Les axes sont alors associés aux vecteurs propres d'une matrice caractéristique des données, tandis que les valeurs propres mesurent l'importance relative de chacun d'eux. Les premiers axes concentrent la plus grande partie de l'information et les suivants décrivent des variations de plus en plus faibles (voir par exemple le graphique de l'exemple d'AFC).
Spécificités
Si ce principe général est commun à toutes les analyses factorielles, la nature de la matrice étudiée et le critère d'optimalité varient selon la méthode employée.
- Dans l'analyse en composantes principales sur individus, les axes sont construits de manière à maximiser la variance des projections des individus. Ils sont obtenus à partir de la matrice de covariance ou de corrélation des variables.
- Dans l'analyse en composantes principales sur variables, le raisonnement est dual : les variables deviennent les éléments représentés et les axes résument leurs ressemblances, tout en reposant sur les mêmes principes algébriques.
- Dans l'analyse factorielle des correspondances (AFC), les axes ne sont plus définis à partir de la variance de variables quantitatives, mais à partir des écarts entre les profils de lignes et de colonnes d'un tableau de contingence. La géométrie sous-jacente est alors différente, car elle repose sur la distance du khi-deux plutôt que sur la distance euclidienne.
- D'autres méthodes factorielles, telles que l'analyse des correspondances multiples (ACM), l'analyse factorielle discriminante (AFD) ou les méthodes factorielles mixtes, construisent également leurs axes à partir d'un problème de diagonalisation adapté à la nature des données et à l'objectif poursuivi.
Ces techniques ne doivent être conduites qu'avec des données utiles au problème à résoudre. Ceci suppose en amont un nettoyage de ces données : élimination de valeurs aberrantes, de variables trop bien corrélées avec d'autres, etc.
