Formation : indicateurs d'efficacité
- Nous avons observé (...) que l'instruction ne devait pas abandonner les individus au moment où il sortent des écoles ; qu'elle devait embrasser tous les âges ; qu'il n'y en avait aucun où il ne fût utile et possible d'apprendre, et que cette seconde instruction est d'autant plus nécessaire, que celle de l'enfance a été resserrée dans des bornes plus étroites (Condorcet, l'Organisation générale de l'instruction publique, discours d'avril 1792 devant l'Assemblée nationale législative).
L’efficacité d’une session de formation, ou même d’un plan de formation, est soit subjective soit difficilement mesurable. Mais pas question pour autant de baisser les bras. Il est nécessaire pour la DRH d'avoir un retour d'expérience des stagiaires.
La présentation suivante s’inspire du modèle de Kirkpatrick (1959) amélioré par Phillips (1996). Chaque niveau de mesure correspond à un délai après la fin du stage, à une certaine façon de collecter les données et surtout vise une finalité différente.
Notez que ce modèle s'applique aux formations dont les effets doivent se concrétiser très vite. Cette situation est de moins en moins une règle incontournable dans la mesure où la GEPP suppose que l'employeur entretienne l'employabilité de ses collaborateurs sur le moyen terme.
Niveau 1 : la réaction
Le premier niveau correspond à la réaction des participants immédiatement après la formation. Il s’agit notamment de savoir s’ils ont apprécié la formation, s’ils ont trouvé les explications claires, si les exercices leur ont semblé pertinents et si le rythme était adapté.
La réaction à chaud est mesurée par la satisfaction sur des échelles ordinales. Celles-ci peuvent être converties en échelles de rapports pour les besoins statistiques (donc en nombres cardinaux).
En général, une formation se termine par un questionnaire dans lequel les stagiaires évaluent la conformité du contenu à leurs attentes. Un questionnaire de conception identique mais réalisé à leur retour en entreprise permet une analyse globale (notes moyennes sur le contenu, la pédagogie, l’organisation…). Le responsable de la formation saura utilement extraire les moyennes obtenues par stage ou par organisme prestataire mais il s’agit là d’indicateurs quasi descriptifs. En revanche, une estimation de l’application dans le cadre professionnel des acquis du stage s’inscrit bien dans la démarche de Kirkpatrick.
Une sesion de e-learning se termine aussi par un questionnaire d'évaluation sur différents aspects de la formation.
Ces indicateurs sont utiles pour améliorer l’organisation et le contenu des formations. Mais ils ont une limite importante : être satisfait ne signifie pas toujours avoir appris !
Niveau 2 : l’apprentissage
Pour éviter de mesurer uniquement la mémorisation immédiate, une nouvelle évaluation peut être réalisée quelques semaines après la formation, par exemple un mois plus tard. Un test, une étude de cas ou un exercice pratique permet alors de vérifier si les connaissances et compétences sont toujours maîtrisées.
Ainsi, les participants sont évalués ou mieux, auto-évaluent l’apport de leur stage à leur travail. Il s’agit alors de recenser les améliorations ou les compétences acquises, mais cette fois in situ.
On peut suivre des indicateurs tels que le taux de réussite au test, la progression entre une évaluation avant et après la formation ou encore le pourcentage de compétences maîtrisées.
Là encore, au niveau agrégé, les notes moyennes constituent une métrique pertinente du tableau de bord. Une comparaison d'évaluations ordinales, de type échelle de Likert, peut être réalisée par des tests de Mann-Whitney, de signes ou des rangs signés de Wilcoxon.
Des régressions linéaires simples entre les notes des niveaux 1 et 2 (variables explicatives) et les indicateurs de résultat détaillés ci-dessous (variables à expliquer) permettent de savoir dans quelle mesure ces notes peuvent être utilisées comme indicateurs avancés de l’efficacité des stages sur le lieu de travail.
Niveau 3 : le comportement (ou transfert)
Une connaissance acquise n'a d'intérêt professionnel que si elle peut être réutilisée dans le travail. Le troisième niveau consiste donc à observer le transfert des acquis dans les situations professionnelles.
Par exemple, après une formation à Excel ou à Power BI, utilise-t-on réellement les nouvelles fonctionnalités apprises ? Après une formation commerciale, les techniques enseignées sont-elles utilisées avec les clients ?
L'évaluation peut s'appuyer sur des observations du manageur, des entretiens ou des indicateurs opérationnels : temps nécessaire pour réaliser une tâche, nombre d'erreurs, productivité, qualité du travail, etc. Il s’agit de mesurer l’accroissement de la performance due à la formation. Le moment où l’évaluation doit être conduite est assez variable. Il est évident qu’un stage sur l’arrêté des comptes ne peut pas être évalué n’importe quand ! La mesure est souvent subjective mais peut être objective dans les cas les plus simples. Des comparaisons de moyennes de dossiers traités, des tests de McNemar sur produits défectueux (avant et après le stage, donc échantillons appariés) ou même l’élaboration de courbes d’apprentissage peuvent être conduits.
Une courbe d’apprentissage est réalisable d’une part pour les « formés » et d’autre part pour ceux qui ne l’ont pas été. Les courbes qui résument cette comparaison sont variées : Gompertz, logistiques, exponentielles modifiées, parfois même décroissantes au début.
Niveau 4 : les résultats
Le quatrième niveau élargit encore l'analyse. Il ne s'agit plus seulement de mesurer les progrès du salarié, mais les résultats obtenus par l'organisation : diminution des départs, qualité de service, accroissement des ventes ou du taux de marge…
La difficulté est ici d’imputer les effets à une cause (la formation). Les outils statistiques existent bien sûr pour valider ceci, à condition d’être certain d’avoir éliminé les autres causes possibles du bénéfice… On se dirige vers une régression multiple ou une régression logistique selon que les variables explicatives sont toutes quantitatives ou non.
Niveau 5 : le ROI (Return On Investment)
Enfin, Phillips propose de mesurer le retour sur investissement (ROI) de la formation. On compare les bénéfices financiers attribuables à la formation avec son coût. Si l’on considère que la formation est un investissement, il faut s’assurer que son coût est bien inférieur aux bénéfices attendus (augmentation des produits et / ou diminution des coûts visibles et cachés).
\(\displaystyle{\rm{ROI} = \frac{\rm{Bénéfice\;de\;la\;formation - Coût\;de\;la\;formation}}{\rm{Coût\;de\;la\;formation}}}\)
