Une tendance peut s'inverser lorsque les groupes sont combinés

Un traitement peut paraître meilleur dans chaque sous-groupe mais pire globalement.

L'agrégation peut masquer les différentes tailles et les différents niveaux de risque des groupes combinés.

Par l'équipe de rédaction de Math Says Yes

Examiné par des humains selon nos normes en matière de sources et de corrections.

Comment nous évaluons le contenu

LE PIÈGE

On a l'impression que le total doit résumer les parties. Parfois, le mélange des parties change la réponse.

Deux ensembles de barres groupés qui montent, mais une seule grande flèche au-dessus du total combiné qui pointe vers le bas.

Ce que cela montre

Un traitement peut s'avérer supérieur dans chaque sous-groupe (parmi les cas bénins comme parmi les cas graves) tout en perdant dans le tableau combiné. Cette inversion est le paradoxe de Simpson, et ce n'est pas une erreur mathématique. Cela se produit parce que les groupes combinés ont des tailles, des ou des niveaux de risque différents. Lorsque ces groupes sont mélangés, le groupe le plus grand ou le plus risqué peut dominer le total et masquer le modèle qui apparaît au sein de chaque sous-groupe.

Ce que montrent les chiffres

93%

A · bénin

87%

B · bénin

73%

A · grave

69%

B · grave

78%

A · global

83%

B · global

A l'emporte dans les cas bénins (93-87) et graves (73-69), mais traite davantage de cas graves ; les totaux mixtes s'inversent en faveur de B avec 83-78.

Pourquoi l'intuition échoue

Le total semble faire autorité parce qu'il utilise toutes les données. Mais les totaux éliminent aussi les étiquettes. Si un traitement est associé à de nombreux cas faciles et l'autre à de nombreux cas difficiles, la comparaison globale est en partie une comparaison de difficulté, et pas seulement de traitement. La n'est pas toujours la sévérité ; il peut s'agir de l'âge, de la région, du risque préalable, du moment ou de tout facteur qui modifie à la fois l'appartenance au groupe et le résultat.

Exemple concret

Le graphique utilise des chiffres illustratifs : globalement, le traitement B réussit plus souvent, 83 % contre 78 %. Pourtant, le traitement A l'emporte dans les deux sous-groupes de sévérité. Cela peut se produire si B a été utilisé plus souvent sur des cas plus faciles tandis que A a été utilisé plus souvent sur des cas plus difficiles. Le chiffre global mélange alors l'effet du traitement et la composition des cas. La vue par sous-groupe et la vue globale sont toutes deux calculées correctement, mais elles répondent à des comparaisons différentes.

Comment l'utiliser

Lorsqu'un total contredit le modèle d'un sous-groupe, fais une pause avant de choisir un camp. Demande-toi quelle variable a divisé les sous-groupes et si cette variable importe pour le résultat. Décide ensuite quelle comparaison correspond à la décision que tu dois prendre. Parfois, le total est la bonne réponse ; parfois, c'est la comparaison par sous-groupe. L'important est de faire ce choix délibérément au lieu de laisser le tableur le faire pour toi.

Ce que les gens font mal

Un total construit à partir de milliers de cas donne l'impression qu'il doit nécessairement l'emporter sur toute vue par sous-groupe — plus de données, plus de vérité. Mais plus de données ne sont utiles que si la comparaison est équitable. Si les groupes présentent des proportions différentes de cas faciles et difficiles, le total peut être précis tout en étant trompeur. La question à poser n'est pas seulement « combien de cas ? » mais « quels types de cas sont combinés ? »

Quand cela s'applique

Sois attentif au paradoxe de Simpson lorsque les groupes diffèrent par leur risque de base, leur exposition, leur difficulté, leur âge, leur région, leur moment ou leur sélection. Cela compte dans les comparaisons de traitements, les taux d'admission, les métriques de produits, le sport et les entonnoirs de recrutement. Les sous-groupes ne sont pas automatiquement plus fiables que les totaux ; demande-toi quelle comparaison correspond à la question causale ou décisionnelle.

Note sur la source

L'article de Simpson de 1951 est la source principale derrière l'avertissement concernant les tableaux de contingence. Il soutient l'affirmation centrale de la page selon laquelle l'interaction et le regroupement peuvent modifier la façon dont un tableau doit être interprété, en particulier lorsqu'une affecte à la fois l'appartenance au groupe et le résultat.

Essaie

Mélangeur du paradoxe de Simpson

Modifie les cas pris en charge par le Traitement A.

Cas graves dans A

50%

83%

Traitement A globalement

78%

Traitement B globalement

Avec 50% des cas de A qui sont graves, A l'emporte globalement (83% contre 78%) — ce qui correspond à son avantage dans le groupe bénin (93 % contre 87 %) et dans le groupe grave (73 % contre 69 %). Pousse plus de cas difficiles vers A et regarde les totaux s'inverser.

FAQ

Quelle est l'idée statistique principale ?

L'idée principale est que l'agrégation modifie les pondérations. Le résultat d'un sous-groupe indique ce qui s'est passé dans des tranches comparables ; le total reflète également la taille de ces tranches. Si la taille des tranches diffère selon les groupes, le total peut inverser le modèle du sous-groupe.

Est-ce que le paradoxe de Simpson signifie que les totaux sont inutiles ?

Non. Les totaux peuvent être exactement la bonne vue lorsque la population totale est la cible de la décision. Le paradoxe de Simpson signifie que tu dois vérifier si une variable importante est gommée par le mélange avant de considérer le total comme toute l'histoire.

Que dois-je vérifier en premier ?

Vérifie si les groupes combinés sont comparables. Recherche une variable masquée qui affecte à la fois l'appartenance au groupe et le résultat, telle que le niveau de risque, la difficulté, le moment ou la sélection dans un traitement plutôt qu'un autre.