Math Says Yes
Colección

Trucos de datos y estadísticas engañosas

Ejemplos de gráficos, promedios, correlaciones, valores p y muestras que pueden inducir a error sin falsedades obvias.
Una mala interpretación de los datos rara vez se anuncia sola. Un gráfico puede recortar el eje, un promedio puede ocultar la distribución, una correlación puede provenir de una causa compartida y un valor p puede tratarse como una prueba incluso cuando es solo una pista.
Esta colección es alfabetización de datos práctica: cómo inspeccionar una afirmación, pedir el denominador, comprobar la muestra y buscar la imagen oculta detrás del número resumen. Está diseñada para los momentos en que un gráfico o titular parece preciso pero necesitas saber si esa precisión está justificada.
Usa las páginas juntas. Un gráfico engañoso, una interpretación débil del valor p y una muestra sesgada son diferentes modos de fallo, pero a menudo aparecen en el mismo artículo, informe, panel o presentación.

Una lista de comprobación rápida para cualquier afirmación

Pregunta: ¿comparado con qué, medido cómo y seleccionado de quién? Luego pregunta si el número es un recuento, una tasa, un promedio, una estimación de un modelo o el resultado de una prueba estadística. La mayoría de las estadísticas engañosas son más fáciles de detectar una vez que el denominador, la muestra y la incertidumbre son visibles.

Los gráficos y los resúmenes se necesitan mutuamente

Los ejes truncados muestran cómo un gráfico puede exagerar. El cuarteto de Anscombe muestra el problema opuesto: una tabla puede ocultar la forma que un gráfico revela. El hábito más seguro es usar ambos. Deja que el gráfico muestre la estructura y luego deja que el resumen cuantifique lo que sugiere el gráfico.

La evidencia no es lo mismo que la certeza

Los valores p, los intervalos de confianza, el sesgo de publicación y las muestras pequeñas apuntan a la misma regla: la evidencia tiene fuerza, dirección e incertidumbre. Un resultado puede ser interesante sin estar zanjado. Un lector responsable pregunta cuán ruidosa es la estimación y qué evidencia faltaría si la afirmación fuera más débil de lo que parece.

Datos destacados

Trucos de datos
4 min · fácil
Dos barras casi iguales que se ven drásticamente diferentes una vez que se corta la línea base del gráfico.
Un gráfico puede inducir a error sin un solo número falso
Empieza el eje de un gráfico de barras en 95 en lugar de 0 y un cambio de dos puntos puede parecer un cambio radical.
Trucos de datos
4 min · fácil
Muchas figuras bajas y unas pocas muy altas, con una línea punteada de promedio situada por encima de la mayoría.
La mayoría de la gente gana menos que el salario promedio
En una economía desequilibrada, un puñado de ingresos enormes eleva el 'promedio' por encima de lo que gana una persona típica.
Trucos de datos
4 min · fácil
Un cono de helado y olas del mar vinculados por una línea punteada, con un sol arriba conectado a ambos.
¿Causa el helado ahogamientos?
Imagina un gráfico estacional donde las ventas de helados y los ahogamientos aumentan juntos. El postre parece sospechoso, pero el gráfico por sí solo no puede mostrar la causa.
Trucos de datos
4 min · medio
Una etiqueta con un valor p pequeño junto a la curva de un modelo nulo con la cola resaltada.
Un valor p no es la probabilidad de que tu resultado sea incorrecto
Un valor p es una prueba de sorpresa: pregunta con qué frecuencia aparecería un resultado así de extremo si realmente no hubiera ningún efecto. No te dice la probabilidad de que tu resultado sea incorrecto.
Trucos de datos
4 min · medio
Varias barras de intervalo alrededor de una línea objetivo, con la mayoría de las barras cruzando el objetivo y una que no lo alcanza.
Un intervalo de confianza del 95% no es una promesa del 95%
Un intervalo de confianza del 95% significa que el método funciona el 95% de las veces en muestras repetidas, no que este rango exacto tenga ahora un 95% de probabilidad de contener la verdad.
Trucos de datos
4 min · fácil
Cuatro minidiagramas de dispersión que muestran diferentes formas bajo la misma línea de resumen.
El cuarteto de Anscombe tiene las mismas estadísticas y diferentes historias
Cuatro conjuntos de datos pueden compartir casi la misma media aritmética, varianza, correlación y línea de regresión, pero verse completamente diferentes al graficarlos.
Trucos de datos
4 min · medio
Una pila de estudios positivos publicados en un escritorio y estudios nulos apagados ocultos en un cajón de archivos.
El sesgo de publicación oculta los estudios que no encontraron nada
Si solo se publican resultados emocionantes, el registro de investigación visible puede hacer que un efecto parezca más limpio y fuerte de lo que realmente es.
Trucos de datos
4 min · fácil
La silueta de un avión cubierta de puntos de impactos de bala en las alas y la cola, con los motores sin marcar.
Los aviones que faltaban eran los más importantes
Si refuerzas solo los impactos de bala en los aviones que regresan, puedes proteger los lugares equivocados.
Trucos de datos
5 min · fácil
Barras que van de cortas a altas, un puntero en la barra central y una línea discontinua situada muy por encima de la mayoría de ellas.
Media aritmética frente a mediana: ¿qué promedio debes usar?
La media aritmética reparte el total por igual. La mediana encuentra el caso intermedio. En datos sesgados, estos pueden contar historias muy diferentes.
Trucos de datos
5 min · fácil
Dos engranajes que nunca se tocan, ambos movidos por un tercer engranaje debajo mediante correas.
Correlación frente a causalidad: por qué moverse juntos no es una prueba
La correlación indica que dos cosas se mueven juntas. La causalidad indica que una cambia la otra. Un tercer factor oculto puede hacer que la correlación parezca causal.
Trucos de datos
5 min · medio
Una barra de rango horizontal con un punto central a la izquierda y una línea de umbral discontinua con un marcador que la cruza a la derecha.
Valor p frente a intervalo de confianza: lo que te indica cada uno
Un valor p pregunta si los datos parecen sorprendentes bajo un modelo nulo. Un intervalo de confianza pregunta qué tamaños de efecto siguen siendo plausibles.
Trucos de datos
5 min · fácil
Una nube de puntos dispersos a la izquierda y una barra de error ajustada alrededor de un solo punto a la derecha.
Error estándar vs desviación estándar: dispersión vs precisión
La desviación estándar describe la dispersión entre valores individuales. El error estándar describe la incertidumbre en una estimación como la media aritmética.
Trucos de datos
4 min · medio
Barras descendentes desiguales entre recibos abstractos y papeles de datos.
El número 1 es sospechosamente común
En muchos conjuntos de datos del mundo real, los números empiezan por 1 mucho más a menudo que por 9, aproximadamente el 30,1% de las veces.
Psicología de los números
4 min · fácil
Una rueda de la fortuna girando que atrae la burbuja de pensamiento de una persona hacia ella.
Un número aleatorio puede arrastrar tu estimación
Gira una ruleta hasta un número aleatorio, luego pide a la gente que estime un dato; quienes vieron un número mayor estiman un valor mayor, incluso cuando el número era obviamente carente de sentido.

Conceptos

Los promedios engañan
La media aritmética lo suma todo y lo divide, por lo que unos pocos valores extremos pueden alejarla mucho del caso típico. En datos sesgados, la mediana —el valor central— representa mejor lo que es normal. Pregunta por la forma de los datos, no solo por su promedio.
Correlación frente a causalidad
Que dos cosas se muevan juntas no significa que una cause la otra. Una tercera variable (un factor de confusión) puede impulsar ambas, o el vínculo puede ser una coincidencia. Establecer la causalidad requiere más que una correlación, por lo general una comparación controlada.
Valores p
Un valor p es la probabilidad de ver datos al menos tan extremos si un modelo nulo específico fuera verdadero. No es la probabilidad de que la afirmación sea falsa, ni la posibilidad de que el resultado haya sido aleatorio, ni una medida de cuán grande o importante es el efecto.
Estadísticas de resumen
Las estadísticas de resumen comprimen un conjunto de datos en números como la media aritmética, la varianza, la correlación o la línea de regresión. Son útiles, pero pueden ocultar formas, valores atípicos, grupos y relaciones curvas que un gráfico revelaría de inmediato.
Sesgo de publicación
El sesgo de publicación ocurre cuando los estudios con resultados emocionantes o estadísticamente significativos tienen más probabilidades de ser publicados, compartidos o notados que los estudios con resultados nulos. La literatura visible puede entonces exagerar cuán fuerte es realmente un efecto.
Intervalos de confianza
Un intervalo de confianza es un rango producido por un método que captura el valor real una proporción establecida de las veces en muestras repetidas. Describe la incertidumbre en el método de estimación, no una garantía personal de que un intervalo ya calculado contenga la verdad.
Error estándar
El error estándar es la fluctuación típica de muestreo de una estimación, como una media aritmética. Para observaciones independientes, el error estándar de una media aritmética se reduce con la raíz cuadrada del tamaño de la muestra, por lo que reducir el error a la mitad suele requerir cuatro veces más datos.
Desviación estándar
La desviación estándar describe cuán dispersas están las observaciones individuales alrededor de su media aritmética. Se trata de la variación en los propios datos. El error estándar es diferente: describe cuánto variaría una estimación como la media aritmética muestral en muestras repetidas.