Techniques et concepts de l'entreprise, de la finance et de l'économie 
(et fondements mathématiques)

Les estimateurs d'un modèle de régression simple

logo

 

 

 

 

 

 

 

 

 

 

Démonstrations sur estimateurs sans biais

La modélisation la plus simple est celle qui résume une possible liaison entre deux caractères quantitatifs sous la forme d’une équation de droite. Cette dernière est établie à partir d’une régression linéaire simple. Ses paramètres sont des estimateurs puisqu’en général ils sont construits sur la base d’un échantillon. Ils sont au nombre de trois : le coefficient de régression, la constante et la variance des erreurs (que nous n’étudierons pas ici).

Soit le modèle suivant où xi est la valeur prise par x pour l’observation i (variable explicative). La valeur correspondante de la variable aléatoire à expliquer Y est calculée grâce à deux paramètres estimés, le coefficient de régression a (coefficient directeur de la droite) et la constante b (ordonnée à l’origine) :

yi=âxi+^b

Démontrons que ceux-ci sont sans biais, c’est-à-dire que leurs espérances sont égales aux vrais paramètres a et b.

Le coefficient de régression

Comment estimer â, coefficient directeur de la droite des moindres carrés ?

Par définition, c’est le rapport entre la covariance σxy et la variance de x. Notons la variable à expliquer en majuscule, non pour vous embrouiller mais pour rappeler qu’il s’agit d’une variable aléatoire (pour simplifier l’écriture, nous n’indiquerons pas que les sommes concernent n termes).

a

Factorisons pour obtenir une formulation plus simple à travailler.

factorisé

Comme la somme des n valeurs d’une série statistique est égale à n fois la moyenne, on peut écrire :

somme(xi-m)=0

Donc on peut donc exprimer a ainsi :

a=(S(xi-m)Yi)/S(xi-m)²

Maintenant, quelle est l’espérance de â ?

E(â)

Le calcul de l’espérance n’a de sens que pour une seule composante de cette expression : la variable aléatoire.

E(â)

L’espérance d’une valeur de Yi est donnée par l’équation de la droite de régression, comme illustré ci-dessous :

droite de régression

Mais comme nous devons utiliser l’équation sans paramètres estimés, il nous faut ajouter l’erreur εi.

avec l'erreur

Utilisons les propriétés de l’espérance.

avec propriétés

Il va de soi que E(b) = b et par construction E(εi) = 0.

simplification

développement

Deux remarques : b multiplie 0 (comme vu plus haut) et x n’est pas une variable aléatoire (donc E(xi) = xi).

simplification

Or, nous avons l’égalité suivante, démontrée en page somme des carrés des écarts à la moyenne :

S(xi-m)²=S(xi-m)xi

Ce qui simplifie considérablement notre quotient puisqu'il ne nous reste que E(â) = a. La démonstration est faite.

L’ordonnée à l’origine

Quelle est l’espérance de l’estimateur ?

E(b)

E(b)

Considérant la démonstration précédente, nous pouvons écrire :

E(b)=E(Y)-am

moy remplacée par S/n

E(Yi) remplacé par (axi+b)

E(b)=b

L’estimateur de b est sans biais.

 

 

© JY Baudot - Droits d'auteur protégés