Potencia estadística: un estudio pequeño puede pasar por alto un efecto real
Un estudio puede reportar "sin efecto claro" simplemente porque era demasiado pequeño y ruidoso como para detectar uno real.
La potencia estadística es la probabilidad de que un estudio detecte un efecto real de un tamaño elegido. Una potencia baja hace que los resultados nulos sean difíciles de interpretar.
Por el equipo editorial de Math Says Yes
Revisado por humanos según nuestros estándares de fuentes y corrección.
Tratar un resultado no significativo como prueba de que no hay efecto sin preguntar si el estudio era lo suficientemente preciso para ver el efecto.
Qué pregunta la potencia
La potencia estadística plantea una pregunta de diseño: si realmente está presente un efecto de un tamaño en particular, ¿qué tan probable es que este estudio lo detecte? Un estudio con alta potencia tiene una buena de identificar el efecto para el que fue construido. Un estudio con baja potencia tiene una probabilidad débil, por lo que un resultado nulo puede ser ambiguo. Podría significar que no hay efecto, o podría significar que el estudio tuvo demasiado ruido.
Lo que muestran los números
20 por grupo · detecta 24%
24%
200 por grupo · detecta 98%
98%
El efecto real asumido y el ruido se mantienen igual; solo cambia el número de personas.
Por qué los estudios pequeños pasan por alto cosas
Un ensayo pequeño de un tratamiento con un efecto real modesto aún puede medir ese efecto en el lado equivocado de cero, puramente por el ruido de muestreo. Esa amplia variación aleatoria dificulta que el resultado pase un umbral de significación, incluso cuando el efecto subyacente es real. Aumentar la reduce el , lo que le da a la señal una mejor oportunidad de destacar sobre el ruido.
El otro lado de la potencia
Más potencia no significa automáticamente más sentido. Un estudio muy grande puede detectar efectos diminutos que son demasiado pequeños para importar en la práctica. Por eso la potencia debe estar vinculada al tamaño de efecto más pequeño que valga la pena detectar. La significación por sí sola es un objetivo superficial; el estudio debe ser lo suficientemente preciso como para responder a una pregunta de decisión real.
Cómo usarla
Cuando un estudio no encuentra un efecto significativo, pregunta si se diseñó con la potencia para el tamaño de efecto que importaría. Mira el : si todavía incluye tanto un beneficio significativo como un daño significativo, el estudio no ha aclarado gran cosa. Al planificar un estudio, elige primero el efecto práctico más pequeño, luego calcula la necesaria para detectarlo con una potencia aceptable.
Ejemplo práctico
Supón que un programa de capacitación realmente mejora las puntuaciones de las pruebas en una cantidad pequeña pero útil. Un estudio con 20 personas por grupo podría estimar el efecto con tanto ruido que el incluye un beneficio claro, ningún efecto e incluso un ligero daño. Un resultado no significativo de ese diseño no prueba que el programa sea inútil. Indica que el estudio no separó suficientemente la señal del ruido.
Cuándo se aplica
La potencia es una herramienta de planificación, por lo que funciona mejor antes de que comience el estudio. Depende del que vale la pena detectar, el tamaño de , el ruido de medición, el diseño y el umbral de significación. Después de un estudio, evita decir que tuvo baja potencia solo porque el resultado no fue significativo. En su lugar, inspecciona el diseño planeado y el intervalo alrededor de la estimación. Si el intervalo sigue siendo lo suficientemente amplio como para incluir efectos significativos, el estudio no ha respondido a la pregunta de decisión.
En qué se equivoca la gente
A menudo la gente interpreta "no " como "no pasa nada". La baja potencia hace que esa interpretación no sea segura. Un estudio puede pasar por alto un efecto porque la señal es pequeña en relación con el ruido. El error opuesto también importa: un estudio enorme puede detectar un efecto que es real pero demasiado pequeño para importar.
Nota sobre la fuente
La cartilla de potencia de Cohen es la fuente confiable detrás del marco de diseño en esta página. Apoya la idea de que la potencia es la de detectar un efecto de un tamaño especificado bajo un diseño especificado. La página aplica esa idea a la interpretación: un resultado nulo de un diseño con baja potencia suele ser evidencia débil, no una ausencia decisiva de efecto.
Preguntas frecuentes
¿Qué significa baja potencia estadística?
Significa que el estudio tiene pocas probabilidades de detectar un efecto real del tamaño que se está considerando. Un resultado no significativo de dicho estudio es evidencia débil en contra del efecto.
¿Puede la alta potencia hacer que los efectos diminutos parezcan importantes?
La alta potencia puede hacer que efectos diminutos sean estadísticamente detectables, pero la importancia aún depende del tamaño del efecto, el costo, el riesgo y el contexto de la decisión.
Comprobación rápida
Un estudio pequeño no encuentra ningún efecto estadísticamente significativo. ¿Qué debes comprobar antes de concluir que no hay efecto?
A
Si el valor p era exactamente cero.
B
Si el efecto ya había sido demostrado en otra parte.
C
Si tenía suficiente potencia para detectar un efecto que importa.