En statistique, la perfection devient plus difficile à atteindre à mesure que l’on observe davantage la réalité. Un score de satisfaction de 4,98/5 paraît meilleur qu’un 4,95/5. Mais tout dépend du nombre de personnes qui ont répondu.
Le taux de réponse compte autant que la note
C’est tout l’intérêt du Survey Response Rate (SRR), utilisé dans les métriques d’AWS Training : plus le taux de réponse est élevé, plus les angles morts diminuent, et plus la mesure reflète fidèlement la réalité du terrain.
- Obtenir un excellent score avec peu de réponses est relativement facile.
- Conserver un excellent score avec beaucoup de réponses est beaucoup plus difficile.
Mais la conclusion statistique devient aussi beaucoup plus robuste. En matière de mesure, la fiabilité de l’échantillon compte souvent autant que le résultat lui-même.
À ce jour, aucun taux de réponse minimal n’est exigé, et ces informations sont communiquées aux instructeurs AAI à titre indicatif. Les indicateurs sont mis à jour avec un jour de décalage : en France, une formation qui se termine à 18 h est visible le lendemain avant 8 h.
Projeter son score de fin d’année : la chaîne de méthodes
Depuis deux ans, la note instructeur doit rester au-dessus de 4,75/5 pour continuer l’année suivante. J’ai donc voulu savoir où mon résultat final tomberait. Une partie de la chaîne est désormais orchestrée par un agent IA, chargé d’exécuter les calculs, les simulations et les vérifications de cohérence.
- Détection d’anomalies par écart à la médiane. On repère les réponses dont une note s’écarte fortement de la médiane des autres notes du même participant, pour identifier les erreurs de saisie probables.
- Agrégation et moyennes mensuelles. On regroupe les réponses par période et par indicateur, puis on calcule la moyenne de chacun.
- Mise à l’échelle linéaire. On ramène toutes les notes sur une base de 0 à 100, pour comparer des indicateurs qui n’ont pas la même échelle d’origine.
- Calcul du NPS. Le pourcentage de promoteurs moins celui de détracteurs, de -100 à +100.
- Analyse segmentée. On compare les scores selon le type de formation, la taille du groupe et l’entreprise des participants, pour savoir ce qui les influence réellement.
- Modèle binomial du taux de réponse. On estime combien de participants répondront, d’après le taux observé pour chaque taille de groupe.
- Moyenne pondérée avec récence et rétrécissement (shrinkage). Les résultats récents comptent davantage ; quand l’historique est trop mince, on le rapproche de la moyenne générale.
- Cumul séquentiel. On ajoute les sessions une par une aux totaux actuels pour voir comment les indicateurs évoluent.
- Simulation de Monte-Carlo avec rééchantillonnage bootstrap. On tire des milliers de scénarios à partir de vraies réponses passées, puis on lit le résultat attendu et sa fourchette aux percentiles 10, 50 et 90.
Ce que ça a donné
120 000 simulations (trois scénarios de 40 000 tirages, à partir de mes sessions passées et des inscriptions restantes) : la probabilité de passer sous le seuil de 4,75/5 d’ici la fin de l’année est inférieure à 1 %. Pour des questions plus pointues, il a fallu monter à 540 000 scénarios pour estimer la probabilité de finir au-dessus de 99 %, et à 600 000 pour celle de finir sous 4,75/5.
Plus la saison avance, moins il faut de simulations : chaque session terminée réduit l’incertitude. Projection fin d’année : satisfaction instructeur autour de 99,1 %, NPS autour de +89, satisfaction globale autour de 96,9 %.
Le passé ne prédit pas toujours le futur. Mais une projection bien construite dit au moins quand on sera fixé : pour moi, fin novembre, une fois les dernières sessions notées.
Pour aller plus loin : 373 évaluations de formation : que doit corriger un instructeur ?
Publié initialement sur LinkedIn.
