Techniques et concepts de l'entreprise, de la finance et de l'économie 
(et fondements mathématiques)

La droite des moindres carrés

logo

 

 

 

 

 

 

 

 

 

 

Moindres carrés d'une relation déterministe

Il existe plusieurs façons de démontrer en quoi la formule des moindres carrés fournit les meilleurs estimateurs d'une régression linéaire simple (RLS). Celle qui est employée ici utilise les dérivées partielles. Vous la trouverez dans toutes les bonnes librairies mais s'il pleut, si vous êtes fatigué et si votre budget est serré, inutile de vous y rendre car la voici.

La droite des moindres carrés étant la représentation d'une fonction affine, les paramètres à estimer sont un coefficient directeur (a) et une ordonnée à l'origine (b). Rappelons que la droite recherchée est celle qui résume au mieux le nuage de points des n observations.

droite des moindres carrés

Les n points M(xi ; yi) étant projetés sur la droite parallèlement à l'axe des ordonnées, leurs projections ont bien sûr pour coordonnées (xi ; axi + b). Appelons S la somme des carrés des écarts par rapport à cette droite (un écart étant matérialisé ci-dessus par la double flèche noire) et Hi la projection sur la droite du point représentant l'observation i. Le but du jeu est de minimiser S, d'une part par rapport à a et d'autre part par rapport à b.

Remarque : si l'on s'attache aux CARRÉS des distances et non aux écarts eux-mêmes, c'est parce que cela permet des développements non vus sur cette page mais néanmoins indispensables (décomposition en variance expliquée et résiduelle et donc emploi du coefficient de détermination...).

Bref. S se présente ainsi :

moindres carrés

C'est une fonction de deux variables a et b dont on cherche le minimum.

Occupons-nous de b. Pour celà, il faut considérer -ax + y comme une constante. Nous savons depuis la classe de première qu'une fonction admet un extrêmum lorsque sa dérivée est nulle. Ici, nous avons une dérivée partielle à annuler.

La dérivée d'une fonction de la forme est 2u’u (Cf. page opération sur fonctions dérivables) et en l’occurrence u’ = -1 puisque u = -b + constante. Donc :

dérivée par rapport à b

La suite de la démonstration est encore plus simple. Éliminons -2 vu que c’est forcément la partie « somme » qui est nulle puis décomposons cette dernière. Au passage, on notera que cette formule a une signification intéressante : la somme des résidus (c'est-à-dire des écarts entre les points et leurs projections) est nulle.

étape intermédiaire

Isolons nb et divisons tout par n. La division d’une somme par n est bien sûr une moyenne arithmétique, ce que nous obtenons pour x et pour y. Mission accomplie :

b

Occupons-nous à présent de a, coefficient directeur de la droite. À partir de la première formule, remplaçons b par l’expression que nous venons de trouver, puis séparons les termes en x de ceux en y :

recherche de a

Le développement de cette identité remarquable a des airs effrayants, comme ça, mais la dérivation sera plus simple :

développement

Entrons dans le vif du sujet (expression curieuse, comme si nous étions auparavant dans sa mort…). Posons la seconde dérivée partielle à annuler.

annulation par rapport à a

Laissons tomber le troisième et dernier élément de la somme qui, par rapport à a, est une constante. La dérivée partielle apparaît dans toute sa splendeur :

simplification

Isolons a :

trouvé a

Il faut alors remarquer que si nous divisons le numérateur et le dénominateur par 2n nous faisons apparaître l’expression de la covariance et celle de la variance de x.

Nous avons bien obtenu l’expression des deux paramètres d’une droite des moindres carrés.

RLS

Propriété : la droite des moindres carrés passe par le centre de gravité G du nuage de points.

G (moy x ; moy y)

 

mosaïque

 

© JY Baudot - Droits d'auteur protégés