L'inertie

Inertie d'un nuage de points

Si vous ne connaissez pas la mécanique, vous ignorez que l’inertie mesure la résistance d’un corps à changer son mouvement de rotation autour d’un point. Prenez l’exemple du balai que l’on veut faire pivoter autour de son centre de gravité (repris dans l’article « Moment d’inertie » de Wikipédia) : en raison de la répartition de sa matière, il est plus facile de le faire tourner autour de l’axe du manche (comme un essieu) que de le faire tourner comme un bâton de majorette.  Donc, l’inertie est plus faible sur l’axe qui traverse le manche sur toute sa longueur que sur celui qui transperce son diamètre, un peu au-dessus de la brosse. Essayez, pour voir.

Inertie dans un nuage

C’est fait ? Reprenons. Mais abandonnons le balai pour un nuage de points. On mesure l’inertie totale comme la somme des carrés des distances des points par rapport au centre de gravité. Dans le cas où tous les points ne sont pas affectés du même poids (en mécanique, on aurait dit « masse »), les carrés des distances sont bien sûrs pondérés. La formule est donc très simple. Si l’on note \(d\) la distance d’un point par rapport au centre de gravité du nuage, on a pour \(n\) unités affectées de poids \(p\) :

\(\displaystyle{I = \sum_{i=1}^n {p_id_i^2}}\)

Il en découle que plus on ajoute de points, plus l’inertie augmente (il est plus difficile de manœuvrer un cargo qu’un chalutier). On remarque aussi que, dans la mesure où l’on additionne des carrés de distances, un point éloigné du centre de gravité impacte davantage l'inertie totale qu’un point « moyen », à poids égal.

L’inertie n’est donc pas définie par rapport à un axe mais par rapport à un point.

Dans la mesure où l’on ne mesure pas l’inertie d’un statisticien par la distance qui le sépare de son écran (encore que…), on peut se demander pourquoi nous racontons tout ça. Explications.

Situons-nous dans la situation où les variables sont quantitatives. Si toutes les observations sont affectées de la même pondération, l’inertie se confond avec un indicateur de dispersion. Donc, inertie \(=\) nombre d’observations \(×\) variance ou, si l’on dispose de plusieurs variables, \(n\) \(×\) somme de leurs variances (cette somme étant la trace de la matrice des variances-covariances).

Pour résumer, l'inertie est au nuage de points ce que la variance est à une variable unique.

À titre d’illustration, la problématique des k-means consiste à identifier des groupes au sein desquels l’inertie des valeurs observées par rapport au barycentre du groupe est minimale (toutefois, d’autres métriques existent).

Exemple

Pour bien fixer les idées avant de poursuivre, voici le détail d'un calcul d'inertie où cinq points sont pondérés de façon égale.

Les coordonnées du barycentre apparaissent sur la dernière ligne : \((0\,;0).\)

La dernière colonne est la simple application du théorème de Pythagore.

L'inertie est égale à 4. Elle apparaît sur la dernière cellule.

Théorème de Huygens

L'inertie d'un nuage est toujours calculée par rapport à son barycentre. Il est cependant fréquent de vouloir mesurer la dispersion des points par rapport à un autre point ou à un sous-espace, par exemple une droite ou un plan. La relation entre ces différentes inerties est donnée par le théorème de Huygens, parfois appelé théorème de König-Huygens.

Vous connaissez depuis plusieurs années la formule de König-Huygens pour calculer une variance : la moyenne des carrés moins le carré de la moyenne. Eh bien cette formule n'est qu'un cas particulier du théorème, appliqué à une série univariée.

Soit \(G\) le barycentre d'un nuage de \(n\) points et \(O\) un point quelconque de l'espace. Le théorème de Huygens établit que :

\(\sum_{i=1}^{n} GA_i^2 + nOG^2.\)

Autrement dit, la somme des carrés des distances à un point quelconque est égale à l'inertie du nuage par rapport à son barycentre, augmentée d'un terme dépendant uniquement de la distance entre ce point et le barycentre.

C’est donc sur ce théorème que s’appuie la décomposition de l’inertie (ou de la matrice des variances-covariances).

Illustrons.

Ici, les neuf distances totales (les traits du dessin du haut) au carré entre les observations rouges et leur barycentre vert sont égales aux douze distances représentées en bas, au carré (attention, les trois inerties interclasses sont multipliées par 2, 3 ou 4). Cette propriété est tellement merveilleuse qu’elle est abondamment utilisée : l’ANOVA s’appuie sur la décomposition de la variance, mais aussi la régression linéaire et la mesure de sa qualité par le \(R^2\) ou encore les analyses factorielles.

Analyse des données

La plupart des techniques de data science utilisent des projections de points sur des axes. Les projetés composent un nouveau nuage de points en forme de baguette. Ils ont leur propre barycentre (appelons-le \(O\)) et chaque projeté a une certaine inertie par rapport à \(O.\)

Si un point \(A\) est projeté orthogonalement sur l’axe et qu’on appelle \(P\) cette projection, on obtient un triangle rectangle \(OAP\) et la distance carrée de \(OA\) est décomposable en vertu du théorème de Pythagore.

Par conséquent, si l’on cherche un axe passant par le centre de gravité \(O\) et qui doit « absorber » un maximum d’inertie, il faut minimiser les distances des projections sur l’axe.

Ainsi, les analyses factorielles consistent à déterminer les axes qui absorbent le plus d’inertie possible. Si l’on observait un nuage de points en forme de balai (après tout pourquoi pas ?), la direction « d’inertie projetée maximale » (ou de distorsion projetée minimale, ce qui revient au même) se confondrait avec le manche. Elle inclurait l’essentiel de l’inertie totale, le reste étant absorbé par le deuxième axe qui croise perpendiculairement le premier au-dessus de la brosse.

Dans le cas d’une ACP normée, l’inertie du nuage des individus est égale au nombre de variables tandis que l’inertie du nuage des variables est égale au nombre [variables × nombre d’individus]. Aucune pondération n’intervient, à la différence de l’AFC où les distances sont pondérées par les fréquences marginales.