Le biais de publication cache les études qui n'ont rien trouvé

Si seuls les résultats stimulants sont publiés, la recherche visible peut donner à un effet l'air plus net et plus fort qu'il ne l'est réellement.

Le biais de publication est le biais d'échantillonnage de la science elle-même : les études positives, surprenantes ou présentant une significativité statistique sont plus faciles à voir que les résultats nuls.

Par l'équipe de rédaction de Math Says Yes

Examiné par des humains selon nos normes en matière de sources et de corrections.

Comment nous évaluons le contenu

LE PIÈGE

Traiter la littérature publiée comme l'ensemble complet des preuves, même si des études ennuyeuses ou aux résultats nuls peuvent manquer à l'appel.

Une pile d'études positives publiées sur un bureau et des études aux résultats nuls dissimulées dans un tiroir.

Le problème des preuves manquantes

Une étude présentant une conclusion positive marquante est plus facile à rédiger, à placer dans une revue et à faire remarquer par les journalistes ou les lecteurs. Une étude qui ne trouve aucun effet net peut finir dans un tiroir, rester un résumé de conférence ou ne jamais être soumise. La recherche n'entre pas de manière uniforme dans le domaine public : la littérature publiée devient un sélectionné, et non une carte complète de ce que les chercheurs ont tenté.

Ce que montrent les chiffres

publié

dans le tiroir

À titre d'illustration : 3 résultats marquants sont publiés tandis que 7 résultats discrets restent cachés, de sorte que les lecteurs voient un échantillon biaisé.

Comment cela exagère les effets

Imagine dix petites études testant le même effet faible. Par le plus grand des hasards, quelques-unes paraîtront impressionnantes et plusieurs paraîtront ennuyeuses. Si les impressionnantes sont publiées et les ennuyeuses disparaissent, les preuves visibles surestimeront l'effet. Aucune des études publiées n'a besoin d'être fausse pour que cela fausse la donne. Les études manquantes portent elles aussi des informations, et le silence peut biaiser la .

Pourquoi l'intuition échoue

Les lecteurs considèrent naturellement les résultats de recherche et les pages de revues comme ce que la science sait. Mais une recherche ne peut trouver que ce qui a été rendu visible. Une pile d'articles positifs donne l'impression d'une confirmation répétée, même si cela reflète en partie un filtrage répété. C'est la même leçon d'échantillonnage que pour le : les cas que tu peux inspecter ne sont pas automatiquement représentatifs des cas qui ont existé.

Comment l'utiliser

Recherche des études pré-enregistrées, des examens systématiques, des registres d'essais et des méta-analyses qui traquent les travaux non publiés. Sois prudent lorsqu'un domaine compte de nombreuses petites études positives, peu de résultats nuls et de fortes incitations à publier des affirmations stimulantes. Ne te demande pas seulement quelles preuves sont visibles, mais quelles preuves auraient été visibles si les choses s'étaient déroulées autrement.

Exemple concret

Imagine que 20 petits laboratoires testent un effet faible. Le pur hasard peut faire en sorte que quelques études paraissent impressionnantes et beaucoup d'autres peu claires. Si seules les études impressionnantes sont soumises, acceptées ou partagées, un lecteur découvre ensuite une belle pile de résultats positifs. Les études manquantes ne sont pas neutres ; elles auraient ramené la visible vers un effectif plus faible ou moins certain.

Quand cela s'applique

Le de publication est particulièrement préoccupant lorsque les études sont de petite taille, les résultats flexibles, les incitations récompensant la nouveauté et les résultats nuls difficiles à publier. Il est moins dommageable lorsque les protocoles sont enregistrés avant la collecte des données, que les résultats sont rapportés indépendamment de leur , et que les examens consultent les registres d'essais ou les travaux non publiés. La question n'est pas seulement de savoir si les études publiées sont honnêtes, mais si l'ensemble visible est suffisamment complet pour être digne de confiance.

Ce que les gens comprennent mal

Les gens traitent les publications comme s'il s'agissait du journal d'expériences complet. Ce n'est pas le cas. Il s'agit du sous-ensemble visible qui a survécu aux incitations, aux choix de soumission, aux décisions éditoriales et à l'attention. Si les résultats nuls manquants sont fréquents, la littérature visible peut paraître plus cohérente et plus impressionnante que les preuves totales ne le sont réellement.

Note sur les sources

L'article de Rosenthal sur le tiroir est la principale source qui sous-tend la métaphore de la page : les résultats nuls invisibles peuvent modifier la force apparente des preuves. La source contextuelle définit le de publication de manière plus large, tandis que la source de référence ancre l'idée spécifique selon laquelle les études manquantes peuvent fausser systématiquement les publications.

FAQ

Le biais de publication est-il une fraude ?

Non. Le biais de publication peut survenir même lorsque chaque étude publiée est rapportée honnêtement. Le biais provient des études qui deviennent visibles et de celles qui restent cachées.

Comment réduire le biais de publication ?

Le pré-enregistrement, les registres d'essais, les rapports enregistrés et les recherches systématiques d'études non publiées aident tous, car ils facilitent le dénombrement des résultats nuls.