Techniques et concepts de l'entreprise, de la finance et de l'économie 
(et fondements mathématiques)

Les indicateurs d'écarts

logo

 

 

 

 

 

 

 

 

 

 

SCR, MSE, RMSE, MAE et MAPE

Le propre des techniques prédictives et prévisionnelles est d’envisager d’une façon ou d’une autre ce qui devrait être, selon l’idée qu’on se fait d’une réalité. Cette idée est ensuite modélisée et validée sous forme d'équation(s). Seulement voilà, il y aura toujours des ÉCARTS entre nos résultats et cette facétieuse réalité. Les raisons sont multiples et n'allons pas les énumérer. Le cas le plus pervers est celui d’un modèle qui prévoit pile poil une valeur mais où une erreur de mesure de la réalité laisse croire qu’il est mauvais.

Des modèles plus ou moins bons

Le terme MODÈLE est ici pris au sens très large. Il peut résulter d'une régression ou de n'importe quelle technique prévisionnelle. Les prévisionnistes sont d'ailleurs de grands consommateurs d’indicateurs qui permettent, soit avec recul, soit en temps réel, de valider ou non leurs choix de techniques et de paramètres (coefficients de régression, constante d'un lissage exponentiel…). Par ailleurs, statisticiens et prévisionnistes ne sont pas les seuls à estimer : des experts de tous domaines se fondent sur leur intime conviction ou sur des critères plus formels pour envisager des séries de pannes, de cours de bourse (analyse technique ou fondamentale), de survenances de maladies… Toute prévision et prédiction chiffrée, qu’elle sorte d’un cerveau ou d’un ordinateur, doit être confrontée a posteriori à la réalité.

Enfin, une technique peut être comparée à une autre sans faire référence aux chiffres réels mais pour estimer dans quelle mesure le résultat sera plus précis (échantillonnage stratifié plutôt qu’aléatoire simple, par exemple).

Des erreurs peuvent être commises en amont de l'analyse mais on ne s'intéressera ici qu'aux écarts entre le modèle et les observations grâce auxquelles il a été établi. Peut-être par esprit de vengeance, les statisticiens les traitent de « résidus » (du moins dans le cadre des régressions).

Comment mesurer ces écarts ?

Dans le domaine des statistiques, il existe toujours cette fâcheuse multiplicité des mesures : dispersions, distances, tendances, écarts… Tous ces indicateurs peuvent être mesurés avec des tas d’instruments (notez bien que je dis « fâcheux » pour faire plaisir aux amateurs de sciences exactes qui cherchent vainement une sécurité mathématique pour modéliser des comportements humains et économiques car c’est tout le sel des métiers de statisticien ou de prévisionniste de savoir quel outil doit être utilisé dans telle circonstance !)

Le plus simple : on considère les écarts algébriques [réels – prévus] comme la distribution d'une variable, pour laquelle on calcule divers indicateurs de dispersion descriptifs (écart-type, par exemple). Mais ce ne sont pas les meilleurs outils de mesure : à titre d’illustration, s’il existe un biais se traduisant par une erreur de prévision systématiquement égale à +1 sans autre erreur, l'écart-type des écarts est égal à zéro… En revanche, l’OBSERVATION de la série d’écarts et de leur somme permet de détecter un tel biais contrairement aux indicateurs ci-dessous, calculés sur des carrés ou des valeurs absolues. Il ne faut donc pas négliger cette partie du travail qui peut s'appuyer sur des graphiques.

Voici cinq indicateurs propres aux mesures d’écarts sur variables quantitatives. D’autres techniques mesurent les liens entre variables qualitatives, notamment le test d'indépendance du khi². Les COÛTS associés aux erreurs ne sont pas abordés ici.

La somme des carrés des résidus (SCR ou Sum of Squared Errors). Comme on mesure des carrés, on majore l’importance des grosses erreurs.

Le carré moyen des erreurs ou erreur quadratique moyenne (MSE pour Mean Square Error ou MCE pour moyenne des carrés des erreurs) : c’est la moyenne arithmétique des carrés des écarts entre les prévisions et les observations.

C’est la valeur à minimiser dans le cadre d’une régression simple ou multiple (voir page moindres carrés). La méthode est fondée sur la nullité de la moyenne des résidus. Mais la moyenne de leurs carrés n'est généralement pas nulle. Cette moyenne n'est autre que la VARIANCE RÉSIDUELLE que l'on cherche à minimiser (Cf. le théorème de König).

La formule de calcul change selon le contexte puisque la somme des carrés est divisée par un nombre de degrés de liberté. Si l’on écrit MSE = SCR / n dans le cas d’une série chronologique, MSE devient SCR (– 2) lorsque l’on observe les résidus d’une régression simple et SCR (n – k – 1) dans le cas d’une régression multiple (k = nombre de variables explicatives).

Si l'on compare deux estimateurs sans biais, le meilleur est bien sûr celui qui présente le MSE le plus faible.

L’erreur-type (RMSE) : racine carrée du précédent.

L’erreur absolue moyenne (MAE pour Mean Absolute Error) : moyenne arithmétique des valeurs absolues des écarts.

Ces quatre indicateurs servent surtout à comparer plusieurs modèles ou prévisions par rapport à une série d’observations, ou encore plusieurs méthodes entre elles. L’indicateur suivant permet aussi la comparaison entre séries d’écarts.

L’erreur absolue moyenne en pourcentage (Mean Absolute Percentage Error, alias MAPE) : moyenne des écarts en valeur absolue par rapport aux valeurs observées. C’est donc un pourcentage et par conséquent un indicateur pratique de comparaison. Hélas, petit inconvénient, le MAPE ne peut s’appliquer qu’à des valeurs strictement POSITIVES. Il permet donc de juger si le système de prévision des ventes est bon, mais il est inefficace pour apprécier la qualité d’estimations de résultats qui peuvent être soit des bénéfices soit des pertes (ça tombe bien, il est un peu stupide de prévoir directement un solde plutôt que ces composantes positives ou négatives).

Exemple de détail de calcul (sur Excel) :

Exemple calcul indicateurs

Il existe d’autres indicateurs pour évaluer des modèles de régression ou prévisionnels entre eux, comme l’AIC d’Akaïke ou le BIC de Schwartz. Dans le cadre prévisionnel, voir notamment « Méthodes de Prévision à court terme » de G. Mélard (éd. Ellipses. 2007) pp 31- 32.

Exemple de comparaison de deux méthodes en vue de choisir des constantes de lissage, sur SPSS : voir lissage de Holt. Le critère utilisé est la somme des carrés des erreurs.

 

modèle

 

© JY Baudot - Droits d'auteur protégés