Leçon
Les mesures modifient le comportement
Une mesure peut être un signal utile jusqu'à ce que les gens soient récompensés pour la modifier ; le signal est alors souvent manipulé.
Par l'équipe de rédaction de Math Says Yes
Examiné par des humains selon nos normes en matière de sources et de corrections.
Comment nous évaluons le contenu
Une mesure est un indicateur indirect
La plupart des objectifs importants sont difficiles à mesurer directement. La santé, l'apprentissage, la sécurité, la qualité et la confiance sont complexes, c'est pourquoi les organisations choisissent des signaux plus simples : scores aux tests, temps d'attente, nombre de tickets, taux de conversion, taux de réadmission ou notes par étoiles. Un indicateur indirect peut être utile lorsqu'il évolue avec le véritable objectif. Le danger commence lorsque les gens oublient qu'il s'agit d'un indicateur indirect et commencent à traiter le chiffre comme l'objectif lui-même.
Les objectifs créent des incitations
Une fois que des récompenses, des sanctions, des classements ou une pression publique s'appliquent à l'indicateur, le comportement change. Tu apprends la règle de notation et tu l'optimises. Une équipe de support mesurée uniquement par les tickets clôturés peut d'abord clôturer les tickets faciles. Une école récompensée uniquement pour ses notes aux examens peut restreindre son enseignement à la préparation des examens. Un hôpital jugé sur la durée de séjour peut autoriser des sorties trop tôt. Le chiffre mesuré s'améliore alors que l'objectif sous-jacent ne s'améliore peut-être pas.
Signes que l'indicateur se dégrade
Un indicateur commence à poser problème lorsqu'il s'améliore plus vite que l'expérience vécue qu'il est censé représenter. Fais attention aux hausses soudaines après l'annonce d'un objectif, aux équipes qui se disputent sur les définitions, aux cas exclus, au travail facile qui remplace le travail important, ou à d'autres indicateurs de qualité qui évoluent dans la mauvaise direction. Ce ne sont pas seulement des échecs moraux. Ce sont des réponses prévisibles à un système d'incitation qui a rendu l'optimisation de l'indicateur moins coûteuse que l'atteinte du résultat.
Comment l'utiliser
Utilise les indicateurs comme des instruments, pas comme des maîtres. Associe chaque objectif à des contre-indicateurs qui détectent le contournement manifeste, examine les exemples réels derrière les chiffres, et fais pivoter ou révise les indicateurs lorsque le comportement s'adapte. Récompense le discernement autant que l'évolution dans le tableau de bord. Surtout, continue de te demander ce que l'indicateur est censé représenter. Si le chiffre s'améliore alors que le véritable objectif se dégrade, le chiffre a cessé de remplir son rôle.
FAQ
La loi de Goodhart signifie-t-elle que les indicateurs sont inutiles ?
Non. Les indicateurs sont des signaux utiles lorsqu'ils sont interprétés avec du contexte. L'avertissement est qu'un indicateur devient moins fiable lorsque les personnes sont fortement récompensées ou punies pour le faire évoluer.
Comment une équipe peut-elle réduire le contournement des indicateurs ?
Utilise plusieurs indicateurs d'équilibre, examine les cas individuels, intègre une évaluation qualitative et modifie les incitations lorsque l'indicateur commence à s'améliorer sans que le résultat réel ne s'améliore également.
Concepts clés
Effets de cadrage
Les mêmes chiffres réels peuvent donner des impressions très différentes selon la manière dont ils sont présentés : échelles des axes, valeurs de référence, absolu par rapport au relatif, ou formulation. Le cadrage modifie la perception sans changer les faits, alors vérifie comment un chiffre est présenté, et pas seulement ce qu'il est.
Loi de Goodhart
La loi de Goodhart stipule que lorsqu'une mesure devient un objectif, elle cesse d'être une bonne mesure. Les gens optimisent ce qui est récompensé, de sorte que la métrique peut s'améliorer tandis que ce qu'elle était censée représenter se détériore.
Vérification rapide
Pourquoi une métrique utile peut-elle se détériorer après être devenue un objectif ?
A
Les gens optimisent le chiffre lui-même, et non l’objectif qui se cache derrière.
B
Les objectifs font que les gens cessent complètement de s’en soucier.
C
Les métriques ne peuvent jamais résumer quoi que ce soit d’utile.