Les estimateurs

Estimateurs et estimations ponctuelles

Les statistiques inférentielles reposent sur la notion d’estimateur. Dans la mesure où cet outil est intégré aux algorithmes des logiciels et n’est pas « interprété », ce terme évoque davantage les bancs de la fac que les conclusions de votre dernier contrôle de qualité ou de votre étude de marché. Mais si précisément vous êtes sur les bancs de la fac ou si vous souhaitez vous rafraîchir la mémoire, lisez plutôt...

 

Estimation

C'est la saison des champignons et vous partez à la cueillette en forêt. Il a beaucoup plu et les rayons de soleil ont été rares. Après avoir parcouru une cinquantaine de mètres, vous constatez que quelle que soit l'espèce tous les champignons ont pourri sur pied. Avez-vous besoin de parcourir toute la forêt pour savoir si la récolte sera bonne ? Bien sûr que non. À partir d'un échantillon, vous estimez la qualité des champignons de la forêt entière. Dépité, vous laissez tomber la cueillette et rentrez à la maison pour vous plongez dans un manuel de statistiques afin de vous relaxer.

Dans cet exemple, vous avez intuitivement estimé une proportion et votre estimateur a été la fréquence observée de champignons pourris sur quelques dizaines de mètres carrés. Un estimateur est toujours établi à partir d'une statistique d'échantillon. Ce peut être la moyenne, l'écart-type... Il doit refléter au mieux le vrai paramètre de la population qui restera inconnu. Un estimateur peut aussi être un paramètre d'une régression réalisée sur un échantillon qui doit modéliser une réalité sur un ensemble plus vaste.

Comme un estimateur est soumis aux fluctuations d'échantillonnage, c'est une variable aléatoire (v.a). Il a une espérance et une variance. Par exemple, si vous estimez la variance d'un caractère sur une population, vous êtes amené à calculer... la variance de la variance de l'échantillon !

La première étape de calcul consiste à utiliser l’estimateur ponctuel adéquat afin d’obtenir la meilleure estimation.

Il ne faut pas croire qu’un estimateur tombe du ciel ou qu’il « va de soi ». Si l’on utilise celui-ci plutôt que celui-là, c’est parce que son efficacité a été mathématiquement prouvée. Différentes techniques de construction des estimateurs existent : les moments, le maximum de vraisemblance, les moindres carrés

Une éventuelle seconde étape consiste à construire un intervalle de confiance autour de l'estimation (« autour » dans un sens large, la marge pouvant se situer d’un seul côté).

Limitons-nous à l'estimation ponctuelle d'un paramètre inconnu \(\theta\) par un estimateur \(T_n\) établi à partir d'un échantillon de taille \(n.\)

On demande à un estimateur digne de ce nom de posséder les deux propriétés suivantes : être convergent et être sans biais.

 

Sans biais (unbiaised estimator)

Le biais est une erreur systématique. Il peut y en avoir un sur les données mais ce n'est pas le cas qui nous intéresse ici.

Un estimateur est estampillé « sans biais » si son espérance est égale au vrai paramètre de la population : \(E(T_n) = \theta.\) Évidemment, ce dernier est inconnu et c’est par une démonstration mathématique que l’on sait si tel estimateur est, par construction, biaisé ou non. Illustration en page d'estimateurs d'une régression linéaire simple.

Ainsi, la valeur d'un estimateur biaisé est systématiquement soit trop petite soit trop grande.

En pratique, le biais est parfois négligeable et il est alors superflu de chercher à l’éliminer. Si l’estimateur est asymptotiquement sans biais, plus l’échantillon est grand et plus le biais devient insignifiant.

\(\mathop {\lim }\limits_{n \to \infty } E({T_n}) = \theta \)

Par exemple, sur un imposant échantillon de mille unités statistiques, les estimateurs « variance » et « variance sans biais » ne montreront pas une différence sensible !

 

La convergence (consistent estimator)

L'autre qualité souhaitée est la convergence en probabilité : si l’échantillon augmente jusqu’à se rapprocher de la taille de la population, l’espérance de l'estimateur tend vers la vraie valeur du paramètre avec un intervalle de confiance qui diminue au fur et à mesure que la taille de l'échantillon augmente.

convergence

La convergence \(T_n \stackrel{P} {\rightarrow} \theta\) suppose donc :

\(\left\{ {\begin{array}{*{20}{c}}
{\mathop {\lim }\limits_{n \to \infty } E({T_n}) = \theta }\\
{\mathop {\lim }\limits_{n \to \infty } V({T_n}) = 0}
\end{array}} \right.\)

Un estimateur convergent est donc asymptotiquement sans biais et pour que la réciproque soit vraie, il faut aussi que sa variance tende vers zéro lorsque \(n\) tend vers l'infini (ou, en pratique, vers la taille de la population \(N\)). Évidemment, si l'estimateur est sans biais au lieu de l'être asymptotiquement, l'estimateur est également convergent.

C'est avec l'inégalité de Bienaymé-Tchebychev que l'on démontre qu'un estimateur sans biais est convergent si sa variance admet une limite nulle lorsque la taille de l'échantillon tend vers l'infini.

Ce qui n'est pas très intuitif, c’est qu’il peut exister plusieurs estimateurs pour un même paramètre et qu’ils ne convergent pas forcément de la même façon selon la taille de l'effectif. Le meilleur estimateur obtenu à partir d'un échantillon de dix unités ne l’est pas forcément s'il est fondé sur un échantillon d'un millier.

 

Qualité globale

Deux possibilités existent pour évaluer la qualité d’un estimateur. L’une est théorique, l’autre est l’efficacité.

Théoriquement, on apprécie la qualité de l’estimateur par l’erreur quadratique moyenne (MSE). L’espérance du carré de l’écart entre l'estimateur et son paramètre cible est égale à la somme du biais au carré et de l’erreur aléatoire au carré. Une visualisation éclairant ce galimatias est donnée par B. Grais, qui utilise l’image du triangle rectangle (Méthodes statistiques, DUNOD, 3 éditions).

Si deux estimateurs sans biais sont en lice, le plus efficace (efficient) est celui dont la variance est la plus faible (intervalle de confiance plus resserré). Et en pratique, l’efficacité est le critère adopté. « La théorie de l’information ne permet pas de résoudre le problème de la recherche d’estimateurs d’erreur quadratique minimale » (G. Saporta, Probabilités, analyse des données et statistique, TECHNIP 2006).

En pratique, on préfère accepter un petit biais plutôt qu’une forte variance. Il vaut mieux tirer sur une cible avec un fusil long, même si le canon dévie très légèrement, plutôt qu’avec un tromblon bien réglé mais qui envoie des plombs un peu partout.

 

Estimateurs courants

Dans la plupart des cas, on estime la moyenne d'une population par la moyenne de l’échantillon, la proportion par la fréquence observée et la variance par la variance sans biais (voir les statistiques d'échantillon).

Les paramètres estimés sont en principe notés avec un accent circonflexe pour les distinguer des paramètres inconnus qui caractérisent la population.

 

estimateur