Puissance statistique : une petite étude peut passer à côté d'un effet réel

Une étude peut conclure à « aucun effet clair » simplement parce qu'elle était trop petite et bruitée pour en repérer un.

La puissance statistique est la probabilité qu'une étude détecte un effet réel d'une taille choisie. Une faible puissance rend les résultats nuls difficiles à interpréter.

Par l'équipe de rédaction de Math Says Yes

Examiné par des humains selon nos normes en matière de sources et de corrections.

Comment nous évaluons le contenu

LE PIÈGE

Traiter un résultat non significatif comme la preuve de l'absence d'effet sans se demander si l'étude était assez précise pour voir cet effet.

Une ligne de signal faible cachée au milieu de points bruités, mise en évidence par un échantillon plus large.

Ce que mesure la puissance

La puissance statistique pose une question de conception : si un effet d'une taille donnée est réellement présent, quelle est la que cette étude le détecte ? Une étude puissante a de bonnes chances de repérer l'effet qu'elle a été conçue pour trouver. Une étude à faible puissance a de faibles chances, ce qui rend un résultat nul ambigu. Cela peut signifier qu'il n'y a pas d'effet, ou que l'étude était trop bruitée.

Ce que montrent les chiffres

20 par groupe · détecte 24 %

24%

200 par groupe · détecte 98 %

98%

L'effet réel supposé et le bruit restent les mêmes ; seul le nombre de personnes change.

Pourquoi les petites études ratent des choses

Un petit essai sur un traitement ayant un effet réel modeste peut quand même mesurer cet effet du mauvais côté de zéro, simplement à cause du bruit d'échantillonnage. Cette forte variation aléatoire fait qu'il est difficile pour le résultat de franchir un seuil de significativité, même si l'effet sous-jacent est réel. Augmenter l' réduit l', ce qui donne au signal de meilleures chances de se démarquer du bruit.

L'autre facette de la puissance

Plus de puissance n'apporte pas automatiquement plus de sens. Une étude très vaste peut détecter des effets infimes qui sont trop petits pour compter en pratique. C'est pourquoi la puissance doit être liée à la plus petite qu'il vaut la peine de détecter. La significativité seule est un objectif superficiel ; l'étude doit être assez précise pour répondre à une véritable question décisionnelle.

Comment l'utiliser

Lorsqu'une étude ne trouve aucun effet significatif, demandez-vous si elle était dimensionnée pour la qui importerait. Regarde l' : s'il inclut toujours à la fois un bénéfice significatif et un préjudice significatif, l'étude n'a pas tranché grand-chose. Lors de la planification d'une étude, choisis d'abord le plus petit effet pratique, puis calcule l' nécessaire pour le détecter avec une puissance acceptable.

Exemple pratique

Supposons qu'un programme de formation améliore réellement les scores aux tests d'une quantité petite mais utile. Une étude portant sur 20 personnes par groupe peut estimer l'effet de manière si bruitée que l' englobe un bénéfice net, l'absence d'effet et même un léger préjudice. Un résultat non significatif issu de ce plan ne prouve pas que le programme est inutile. Il indique simplement que l'étude n'a pas su séparer suffisamment le signal du bruit.

Quand cela s'applique-t-il ?

La puissance est un outil de planification, elle fonctionne donc mieux avant le début de l'étude. Elle dépend de la taille de l'effet à détecter, de la taille de l', du bruit de mesure, de la conception et du seuil de significativité. Après une étude, évite d'affirmer qu'elle avait une faible puissance uniquement parce que le résultat n'était pas significatif. Inspecte plutôt le plan initial et l'intervalle autour de l'estimation. Si l'intervalle est encore assez large pour inclure des effets significatifs, l'étude n'a pas répondu à la question décisionnelle.

Les erreurs fréquentes

On lit souvent « non » comme « rien ne se passe ». Une faible puissance rend cette lecture risquée. Une étude peut rater un effet parce que le signal est petit par rapport au bruit. L'erreur inverse compte aussi : une étude immense peut détecter un effet qui est réel mais trop petit pour être pertinent.

Note sur la source

Le guide de Cohen sur la puissance est la source de référence derrière le cadre méthodologique de cette page. Il soutient l'idée que la puissance est la de détecter un effet d'une taille spécifiée selon un plan donné. La page applique cette idée à l'interprétation : le résultat nul d'un plan à faible puissance constitue souvent un indice faible, et non une absence définitive d'effet.

FAQ

Que signifie une faible puissance statistique ?

Cela signifie que l'étude a de faibles chances de détecter un effet réel de la taille étudiée. Un résultat non significatif issu d'une telle étude constitue un indice faible contre cet effet.

Une forte puissance peut-elle faire paraître importants des effets infimes ?

Une forte puissance peut rendre des effets infimes détectables statistiquement, mais leur importance dépend toujours de la taille de l'effet, du coût, du risque et du contexte de décision.