Lección
Las cosas raras siguen siendo raras
Incluso la evidencia sólida puede engañar cuando lo que estás probando es muy poco común.
Por el equipo editorial de Math Says Yes
Revisado por humanos según nuestros estándares de fuentes y corrección.
Cómo revisamos el contenido
Empieza con la tasa base
Una es la de que algo sea verdad antes de mirar la nueva evidencia. Cuando la tasa base es muy baja, la mayoría de los casos comienzan en la categoría de no es esto. Ese punto de partida importa. Una señal positiva tiene que superar el gran número de casos ordinarios que pueden activarla por accidente. Ignorar la tasa base hace que los eventos raros parezcan mucho más comunes después de una sola alerta de lo que realmente son.
La precisión no lo es todo
Una prueba puede ser impresionante de forma aislada y aun así decepcionar en un entorno raro. Supongamos que una condición afecta a 1 de cada 1 000 personas y una prueba marca erróneamente al 1 por ciento de las personas sanas. En 100 000 personas, hay alrededor de 100 casos verdaderos pero cerca de 999 falsas alarmas. La tasa de falsos positivos es pequeña, pero el grupo sano es tan grande que puede dominar los resultados positivos.
Piensa en recuentos naturales
Los porcentajes a menudo ocultan el denominador, por lo que el razonamiento sobre eventos raros se vuelve confuso. Los recuentos naturales hacen que la situación sea visible. De 10 000 personas, ¿cuántas tendrían realmente la condición? ¿Cuántas personas sanas serían marcadas? ¿Cuántos positivos serían verdaderos? Esta perspectiva basada en recuentos suele ser más clara que las fórmulas porque la competencia entre verdaderos positivos y falsos positivos en el mismo marco.
Aplícalo más allá de las pruebas médicas
El pensamiento de se aplica a filtros de spam, alertas de fraude, señales de contratación, advertencias de seguridad, clasificadores de aprendizaje automático y noticias sobre peligros raros. La pregunta es siempre la misma: ¿cuán común era el objetivo antes de la señal y con qué frecuencia aparece la señal cuando el objetivo está ausente? Una pista sólida puede seguir siendo evidencia débil cuando aquello a lo que apunta es extremadamente raro.
Preguntas frecuentes
¿Por qué una prueba positiva puede ser errónea con más frecuencia que correcta?
Cuando la condición es rara, hay muchos más no casos que casos. Incluso una pequeña tasa de falsos positivos puede crear muchas alarmas a partir de ese gran grupo de no casos.
¿Qué debo preguntar después de ver una alerta de evento raro?
Pregunta por la tasa base, la tasa de verdaderos positivos y la tasa de falsos positivos. Luego conviértelos en recuentos para un tamaño de grupo fijo antes de juzgar la alerta.
Conceptos clave
Tasas base
La frecuencia de fondo de algo antes de considerar nueva evidencia. Una señal fuerte aún puede producir muchas falsas alarmas cuando lo que se está probando es raro, porque hay muchos más casos que no lo son que los que sí lo son. Un buen razonamiento combina la nueva señal con la tasa base.
Probabilidad condicional
La probabilidad de que algo ocurra después de que nueva información cambie lo que sigue siendo posible. El paso importante es actualizar el denominador: los casos descartados por la nueva información ya no deben contarse. Muchos errores ocurren cuando las personas siguen usando las probabilidades originales después de que la situación se ha reducido.
Véelo en acción
Una coincidencia de uno en un millón no es una probabilidad de uno en un millón de ser inocente
Multiplica la tasa de coincidencia por la población investigada: un rasgo de 1 en un millón en una ciudad de 9 millones aún deja alrededor de nueve coincidencias inocentes, por lo que la coincidencia reduce el campo, pero no lo zanja.
Una buena prueba aún puede asustar a demasiadas personas
La precisión no es suficiente. También necesitas la tasa base de lo que se está probando.
Comprobación rápida
Un rasgo coincide en 1 de cada un millón de personas. En una ciudad de 9 millones, ¿por qué una sola coincidencia no es una prueba sólida de culpabilidad?
A
Porque la prueba falla el 1% de las veces.
B
Porque 1 de cada un millón es en realidad común.
C
Unas 9 personas inocentes de la ciudad también coincidirían.