Dans le domaine des statistiques inférentielles, la robustesse est un concept récurrent. L’objet de cette page n’est pas d’expliquer comment faire subir des crash-tests à nos pauvres statistiques (bien que les banques soient astreintes au stress testing de leurs modèles de risque). Plus modestement, je me contente ici d’énoncer quelques principes de bon sens, à appliquer avant de se lancer tête baissée dans une étude.

Quelques robustesses…

Un test est dit « robuste » s’il reste valable lorsque les valeurs observées ne vérifient pas tout à fait les hypothèses d’application.

Un indicateur est « robuste » s’il est peu sensible à la présence d’outliers (le coefficient de corrélation, par exemple, n’est pas très robuste).

Un modèle est « robuste » lorsqu’il permet une bonne généralisation.

La robustesse s’applique aussi bien à une régression multiple qu’à une grille de score. L’emploi du terme « modèle » est d’ailleurs restrictif : les cogitations d’un réseau de neurones sont elles aussi plus ou moins robustes.

Par conséquent, à moins d’être uniquement descriptives, vos études devront respecter quelques règles pour que leurs conclusions soient généralisables.

Les données

Première condition d’une bonne robustesse, les données. Intuitivement, chacun sait qu’on ne transforme pas un cas en généralité (ce qui ne relèverait pas des statistiques mais des discussions de comptoir). Une quantité suffisante de données permet de bâtir des modèles fiables et solides. A titre d’exemple, des prévisions établies à partir d’une série chronologique montrant une saisonnalité nécessitent au moins trois ou quatre ans d’historique.

La quantité ne suffit pas, il faut la qualité. Mieux vaut s’abstenir que réaliser une étude sur des informations non fiables qui peuvent conduire à des décisions coûteuses. Par ailleurs, il convient d’éliminer ou d’imputer certaines observations (voir outliers). Si ce n’est pas possible, on se tourne vers des méthodes adaptées, par exemple celles qui utilisent la médiane plutôt que la moyenne.

Personnellement, j’aime beaucoup travailler le bois. Le parallèle entre un statisticien et un ébéniste est tout naturel : si la matière première ne présente pas une qualité suffisante (bois abîmé ou données peu fiables), la question à se poser est : « peut-on en tirer quelque chose pour, malgré tout, réaliser un travail de qualité ? »

Le traitement statistique

L’amie de la robustesse est la concision. C’est à vouloir ajouter trop de variables, à faire tourner trop longtemps un réseau de neurones ou à retenir trop de clusters que l’on perd en robustesse.

Même chose pour un cerveau humain : savoir généraliser est plus utile qu’apprendre par cœur. Les modèles étant les auxiliaires du cerveau du manager, sachez doser variables et données pour que vos conclusions ne se traduisent pas par des décisions hasardeuses…

N’oublions pas un autre critère, à savoir le choix de l’architecture du modèle. Trop sophistiqué, il conduit au surparamétrage. A titre d’exemple, une régression polynomiale qui cherche à trop bien résumer les observations utilisera un degré de polynôme trop élevé.

Explication. Un des aspects de la robustesse est connu sous le nom de « compromis biais-variance ». Si le nombre de paramètres est trop faible, le modèle est « biaisé » (régression simple quand on dispose d’informations utiles à une régression multiple, par exemple) et on se trouve dans une situation de sous-paramétrage. Mais à l’inverse, dans la mesure où les paramètres sont des variables aléatoires, sensibles à l’échantillonnage, l’accroissement de leur nombre entraîne mécaniquement une augmentation de la variance.

Outre le nombre de paramètres, il faut bien voir qu'un modèle trop sophistiqué risque de ne pas tenir la route très longtemps. Sur les données ci-dessous, quel modèle a-t-il le plus de chances d’être robuste ? La régression linéaire avec son malheureux R² à 0,6 ou la régression polynomiale de degré 3 avec son R² de 0,8 ?

Certains outils permettent de déterminer un optimum (R² ajusté). Souvent, les algorithmes des logiciels ou tout simplement vos yeux ou votre bon sens vous aident à faire le bon choix (niveau de coupure d’une CAH).

Sur ce site, les conditions de robustesse sont données pour chaque technique, lorsqu’elles ont des raisons de l’être.