Les plus petites villes dominent à la fois les classements des meilleurs et des pires

Classe des lieux selon n'importe quel taux (cancers, résultats aux examens, criminalité) et les extrêmes seront dominés par les plus petites localités, car de petits échantillons s'écartent fortement du vrai taux par le seul effet du hasard.

La loi des grands nombres décrit cet effet : les taux mesurés se dispersent autour de la vérité, et cette dispersion ne diminue que lorsque les échantillons grandissent — vérifie donc le dénominateur avant de croire à un taux extrême.

Par l'équipe de rédaction de Math Says Yes

Examiné par des humains selon nos normes en matière de sources et de corrections.

Comment nous évaluons le contenu

LE PIÈGE

Nous lisons un taux extrême comme un signal fort et ignorons le dénominateur, c'est-à-dire le petit nombre de personnes sur lequel il repose. Un chiffre alarmant provenant d'un groupe minuscule semble tout aussi convaincant que le même chiffre provenant d'un groupe immense.

Quelques pièces dispersées largement d'un côté, de nombreuses pièces regroupées de manière serrée de l'autre.

Ce que cela montre

Tout taux que tu mesures est un , et un échantillon se disperse autour du vrai taux d'une valeur qui diminue à mesure que tu ajoutes des données. En gros, la distance typique par rapport à la vérité diminue comme l'inverse de la racine carrée de la taille de l'échantillon. Avec un petit échantillon, cette dispersion est large : le taux mesuré peut se retrouver bien au-dessus ou bien en dessous de la valeur réelle purement par hasard. Avec un grand échantillon, la dispersion est étroite et le taux se rapproche de la vérité. Un petit n signifie une large dispersion, un grand n signifie un chiffre précis et digne de confiance — c'est la à l'œuvre.

Ce que montrent les chiffres

16 ± pts from 50%

10 lancers

5 ± pts from 50%

100 lancers

1.6 ± pts from 50%

1 000 lancers

Dérivé mathématique. Le taux de « face » d'un échantillon de lancers de pièce se situe généralement à environ 50 % ÷ √n du vrai 50 % — les échantillons plus petits fluctuent beaucoup plus largement.

Le piège du classement

Classe des régions selon un taux quelconque et les populations minuscules occuperont à la fois le haut et le bas de la liste, non pas parce qu'elles sont spéciales, mais parce qu'elles sont petites. Un village de quelques centaines d'habitants peut afficher le taux de cancer le plus élevé du pays une année et l'un des plus bas l'année suivante, puisqu'un seul cas modifie énormément son taux. Une grande ville, ancrée par un énorme dénominateur, ne peut jamais fluctuer autant et reste proche de la . Ainsi, un classement des taux devient discrètement un classement de qui est le plus petit, déguisé en classement de qui est le meilleur ou le pire.

Pourquoi l'intuition échoue

Un taux extrême ressemble à un signal fort. Lorsque nous voyons le nombre le plus élevé ou le plus bas d'une liste, notre instinct nous pousse à croire que quelque chose de réel et de puissant doit en être la cause. Ce que nous oublions, c'est le dénominateur sous-jacent : sur combien de cas et de personnes le taux repose-t-il réellement. Un taux de cinquante pour cent semble tout aussi solide qu'il provienne de deux personnes sur quatre ou de cinq cent mille sur un million, pourtant le premier n'a presque aucun sens et le second est d'une solidité à toute épreuve. L'esprit lit le taux principal et fait l'impasse sur la taille de l' qui permet de décider s'il faut y croire.

Exemple concret

Lance une pièce équilibrée dix fois et obtiens 60 ou 70 pour cent de piles, c'est tout à fait ordinaire ; tu ne clignerais même pas des yeux. Lance cette même pièce mille fois et tu seras près de 50 pour cent presque à chaque fois, soixante pour cent devenant alors astronomiquement improbable. Rien n'a changé entre les deux séries — seulement la taille de l'. Le taux sur dix lancers est libre de fluctuer car un seul pile supplémentaire le décale de dix points, tandis que sur mille lancers, un seul pile supplémentaire se remarque à peine. Le même effet de levier apparaît dans les notes de tous les jours : un restaurant avec 10 avis peut passer de 4,2 à 4,6 étoiles après quelques clients contents, tandis qu'un autre avec 10 000 avis bouge à peine.

Comment l'utiliser

Prends une habitude : demande toujours la taille de l' avant de réagir à un taux. Lorsqu'un pourcentage, un chiffre par habitant ou un classement se présente devant toi, découvre combien de cas et de personnes se cachent derrière. Un taux choquant fondé sur une poignée de cas mérite un haussement d'épaules, pas de la panique. Lorsque tu compares des unités de tailles très différentes, pondère ou réduis les taux les plus bruyants de petits échantillons vers la globale avant de classer ou de réagir, afin qu'un tout petit groupe ne puisse pas détourner les deux bouts de la liste. Le taux est le titre ; le dénominateur te dit si le titre est réel.

Ce que les gens comprennent mal

Les gens traitent le résultat précoce le plus extrême comme le résultat le plus intéressant. C'est peut-être simplement le résultat le plus bruyant. La meilleure école, le meilleur hôpital, le meilleur fonds, produit ou joueur dans un réduit peut l'être par simple . Les extrêmes sont surreprésentés lorsque de nombreux petits groupes sont classés.

Quand cela s'applique

Les fluctuations de petits échantillons comptent dans les tests A/B, les mesures de jeunes entreprises, les classements, les avis, les études médicales, les tableaux croisés d'élections et les tableaux de bord de qualité. Sois prudent lorsque le dénominateur est petit ou lorsque de nombreux petits groupes sont comparés. Ajoute des marges d'incertitude, exige des tailles d' minimales ou réduis les estimations bruitées vers une plus large.

Note sur la source

L'article de Tversky et Kahneman sur la loi des petits nombres explique comment les gens s'attendent à ce que les petits échantillons soient plus représentatifs qu'ils ne le sont réellement. Cette page applique ce aux notes, aux classements et aux mesures précoces.

Essaie

Les petits échantillons fluctuent sauvagement

Tire plusieurs échantillons de lancers de pièces équilibrées et observe la dispersion.

50 pts

dispersion du taux de piles

lancers par échantillon: 10

Avec 10 lancers par échantillon, les douze tirages se répartissent sur 50 points de pourcentage. Les petits échantillons s'éloignent beaucoup de 50 % par simple chance ; ajoute et cet écart tend vers zéro.

FAQ

Pourquoi les petits échantillons donnent-ils des résultats extrêmes ?

Avec seulement quelques observations, un seul cas inhabituel peut faire varier considérablement le taux, de sorte qu'un petit échantillon peut se retrouver bien au-dessus ou bien en dessous de la vraie valeur par le seul effet du hasard. Les grands échantillons absorbent ces cas individuels, de sorte que leurs taux restent proches de la vérité et atteignent rarement les extrêmes d'un classement.

Qu'est-ce que la loi des grands nombres en termes simples ?

Elle indique qu'à mesure que tu cumules les observations, la moyenne de ton échantillon se rapproche régulièrement de la vraie moyenne et les fluctuations aléatoires diminuent. Plus tu recueilles de données, plus la chance s'annule, c'est pourquoi un taux issu de milliers de cas est bien plus digne de confiance que le même taux issu d'une poignée.