La ley de Goodhart: cuando un número se convierte en un objetivo, empieza a mentir
Una métrica puede ser útil hasta que se recompensa a las personas por modificarla. Entonces, el número puede mejorar mientras que el objetivo real empeora.
La ley de Goodhart explica por qué los paneles de control, las clasificaciones y las cuotas pueden ser contraproducentes cuando una métrica proxy se convierte en aquello que las personas optimizan directamente.
Por el equipo editorial de Math Says Yes
Revisado por humanos según nuestros estándares de fuentes y corrección.
Asumir que mejorar la métrica debe significar mejorar el objetivo subyacente que la métrica fue elegida para representar.
La ley en una línea
La ley de Goodhart se resume habitualmente así: cuando una medida se convierte en un objetivo, deja de ser una buena medida. La medición en sí misma no es la villana aquí. Una medida suele ser un proxy de algo más profundo y, una vez que las recompensas o los castigos se vinculan al proxy, las personas optimizan el proxy, lo que puede romper su conexión con el objetivo más profundo.
Lo que muestran los números
week 1
target set
week 8
tickets cerrados (el objetivo)
problemas resueltos realmente
Después de que cerrar tickets se convierte en el objetivo, los cierres aumentan mientras que los problemas de los usuarios resueltos disminuyen. La métrica gana; el objetivo pierde.
La versión cotidiana
Si los agentes de soporte son juzgados únicamente por los tickets cerrados, los tickets fáciles pueden desplazar a los importantes. Si las escuelas son juzgadas únicamente por las calificaciones de los exámenes, la enseñanza puede reducirse al material evaluado. Si los hospitales son juzgados únicamente por la duración de la estancia, dar de alta a los pacientes antes puede parecer eficiencia a la vez que aumenta el riesgo. La métrica mejora, pero la experiencia, el aprendizaje o la salud del usuario pueden no hacerlo.
Por qué falla la intuición
Un número se siente objetivo. Aparece en un panel de control, sube o baja y les da a los gerentes algo concreto para comparar. Esa concreción hace que sea fácil olvidar lo que el número omite. Las personas no son objetos de medición pasivos; responden a ser medidas. En el momento en que la métrica se vuelve valiosa, pasa a formar parte del sistema que se supone que debe observar.
Cómo usarla
Usa las métricas en parejas y sistemas. Un objetivo de velocidad necesita una contramétrica de calidad. Un objetivo de productividad necesita controles de clientes o de seguridad. Una clasificación necesita una revisión periódica de los casos individuales. Si el número mejora mientras que el resultado real no lo hace, la métrica se ha desviado del objetivo. La ley de Goodhart es un recordatorio para medir la realidad y luego seguir comprobando si la medida sigue apuntando a la realidad. Los paneles de control necesitan humildad.
Ejemplo práctico
Supongamos que el desempeño de un equipo de software se juzga por la cantidad de tickets cerrados por semana. Al principio, la métrica puede reflejar aproximadamente la productividad. Una vez que se convierte en el objetivo, el equipo puede dividir el trabajo en tickets más pequeños, evitar errores ambiguos o cerrar problemas antes de que los usuarios estén satisfechos. El número aumenta, pero el objetivo original, un mejor software para los usuarios, puede mantenerse sin cambios o empeorar.
Cuándo se aplica
La ley de Goodhart importa más cuando una métrica sustituta está vinculada a recompensas, castigos, clasificaciones, financiamiento o reputación pública. Es más débil cuando la métrica es privada, difícil de manipular, auditada regularmente y acompañada de medidas de equilibrio. Detener la medición no es la solución. Mantén el objetivo visible, rota o revisa las métricas e inspecciona los casos en los que el número mejora pero el resultado real no.
En qué se equivoca la gente
Una métrica no sigue siendo neutral una vez que las personas son juzgadas por ella. Un número puede ser una señal útil mientras solo se observa. Una vez que los bonos, las clasificaciones o los castigos dependen de él, el número pasa a formar parte del sistema de incentivos y puede dejar de representar el objetivo original.
Nota sobre la fuente
El artículo de Strathern en la European Review se utiliza porque es una fuente académica estable para la formulación común de que una medida puede dejar de ser una buena medida cuando se convierte en un objetivo. La página utiliza esa formulación para paneles de control y incentivos prácticos, al tiempo que mantiene la lección más amplia centrada en las métricas sustitutas y la respuesta conductual.
Preguntas frecuentes
¿Qué es la ley de Goodhart?
Es la idea de que una medida tiende a dejar de ser una buena medida cuando se convierte en un objetivo, porque las personas adaptan su comportamiento para mejorar el número.
¿Cómo se evita la ley de Goodhart?
No se puede evitar por completo, pero puedes reducirla utilizando métricas de equilibrio, revisando casos reales, cambiando los incentivos cuando aparece la manipulación y manteniendo explícito el objetivo subyacente.
Comprobación rápida
¿Por qué una métrica útil puede empeorar después de convertirse en un objetivo?
A
La gente optimiza el número en sí, no el objetivo detrás de él.
B
Los objetivos hacen que la gente deje de importarle por completo.
C
Las métricas nunca pueden resumir nada útil.
Fuentes
'Improving ratings': audit in the British University system