Lección
Las métricas cambian el comportamiento
Una métrica puede ser una señal útil hasta que las personas reciben incentivos para moverla; entonces la señal a menudo se manipula.
Por el equipo editorial de Math Says Yes
Revisado por humanos según nuestros estándares de fuentes y corrección.
Cómo revisamos el contenido
Una métrica es un indicador indirecto
La mayoría de las metas importantes son difíciles de medir directamente. La salud, el aprendizaje, la seguridad, la calidad y la confianza son complejos, por lo que las organizaciones eligen señales más simples: calificaciones de exámenes, tiempos de espera, recuentos de tickets, tasas de conversión, tasas de reingreso o calificaciones de estrellas. Un indicador indirecto puede ser útil cuando se mueve junto con la meta real. El peligro comienza cuando la gente olvida que es un indicador indirecto y comienza a tratar el número como la meta en sí misma.
Los objetivos crean incentivos
Una vez que se asocian incentivos, castigos, clasificaciones o presión pública al indicador indirecto, el comportamiento cambia. Las personas aprenden la regla de puntuación y la optimizan. Un equipo de soporte medido únicamente por los tickets cerrados puede cerrar primero los tickets sencillos. Una escuela recompensada solo por los resultados de los exámenes puede limitar la enseñanza a preparar para el examen. Un hospital juzgado por la duración de la estancia puede dar el alta demasiado pronto. El número medido mejora, mientras que el objetivo subyacente puede no hacerlo.
Indicios de que el indicador está fallando
Un indicador entra en problemas cuando mejora más rápido que la experiencia real que se supone debe representar. Presta atención a los aumentos repentinos tras el anuncio de una meta, a los equipos discutiendo sobre definiciones, a la exclusión de casos, a tareas sencillas que reemplazan a las importantes o a otros indicadores de calidad que van en la dirección equivocada. Estas no son solo fallas morales; son respuestas predecibles ante un sistema de incentivos que ha hecho que sea más barato optimizar el indicador indirecto que el resultado.
Cómo usarlo
Usa los indicadores como instrumentos, no como amos. Combina cada meta con contraindicadores que detecten la manipulación evidente, revisa los ejemplos reales detrás de los números y rota o modifica los indicadores cuando el comportamiento se adapte. Recompensa el criterio tanto como el progreso en el panel. Lo más importante es seguir preguntando qué se supone que representa el indicador. Si el número mejora mientras el objetivo real empeora, el número ha dejado de cumplir su función.
Preguntas frecuentes
¿Significa la ley de Goodhart que los indicadores son inútiles?
No. Los indicadores son señales útiles cuando se interpretan con contexto. La advertencia es que un indicador se vuelve menos fiable cuando las personas reciben fuertes recompensas o castigos por modificarlo.
¿Cómo puede un equipo reducir la manipulación de indicadores?
Usa varios indicadores de equilibrio, inspecciona casos individuales, mantén la revisión cualitativa en el proceso y cambia los incentivos cuando el indicador comience a mejorar sin que el resultado en el mundo real también lo haga.
Conceptos clave
Efectos de encuadre
Los mismos números reales pueden dar impresiones muy diferentes según cómo se presenten: rangos de ejes, líneas base, absoluto frente a relativo, o redacción. El encuadre cambia la percepción sin cambiar los hechos, así que verifica cómo se muestra un número, no solo qué es.
Ley de Goodhart
La ley de Goodhart establece que cuando una medida se convierte en un objetivo, tiende a dejar de ser una buena medida. Las personas optimizan lo que se premia, por lo que la métrica puede mejorar mientras que aquello que pretendía representar empeora.
Comprobación rápida
¿Por qué una métrica útil puede empeorar después de convertirse en un objetivo?
A
La gente optimiza el número en sí, no el objetivo detrás de él.
B
Los objetivos hacen que la gente deje de importarle por completo.
C
Las métricas nunca pueden resumir nada útil.