Leçon
Les choses rares restent rares
Même des preuves solides peuvent induire en erreur lorsque ce que tu testes est très peu courant.
Par l'équipe de rédaction de Math Says Yes
Examiné par des humains selon nos normes en matière de sources et de corrections.
Comment nous évaluons le contenu
Commence par le taux de base
Un est la que quelque chose soit vrai avant que tu n'examines les nouvelles preuves. Lorsque le taux de base est très bas, la plupart des cas commencent dans la catégorie « pas ceci ». Ce point de départ compte. Un signal positif doit surmonter le grand nombre de cas ordinaires qui peuvent le déclencher par accident. Ignorer le taux de base donne l'impression que les événements rares sont beaucoup plus fréquents après une seule alerte qu'ils ne le sont réellement.
La précision ne fait pas tout
Un test peut être impressionnant de manière isolée et décevoir tout de même dans un cadre rare. Supposons qu'une affection touche 1 personne sur 1 000 et qu'un test signale à tort 1 pour cent des personnes en bonne santé. Sur 100 000 personnes, il y a environ 100 vrais cas mais environ 999 fausses alertes. Le taux de faux positifs est faible, mais le groupe en bonne santé est si grand qu'il peut dominer les résultats positifs.
Pense en effectifs naturels
Les pourcentages cachent souvent le dénominateur, de sorte que le raisonnement sur les événements rares devient flou. Les effectifs naturels rendent la situation visible. Sur 10 000 personnes, combien auraient réellement l'affection ? Combien de personnes en bonne santé seraient signalées ? Combien de positifs seraient vrais ? Cette vue basée sur les effectifs est généralement plus claire que les formules car elle montre la concurrence entre vrais positifs et faux positifs dans le même cadre.
Applique-la au-delà des tests médicaux
La réflexion sur le s'applique aux filtres anti-spam, aux alertes à la fraude, aux signaux d'embauche, aux avertissements de sécurité, aux classifieurs d'apprentissage automatique et aux actualité sur les dangers rares. La question est toujours la même : quelle était la fréquence de la cible avant le signal, et à quelle fréquence le signal apparaît-il lorsque la cible est absente ? Un indice fort peut toujours être une preuve faible lorsque ce vers quoi il pointe est extrêmement rare.
FAQ
Pourquoi un test positif peut-il être faux plus souvent que vrai ?
Lorsque l'affection est rare, il y a beaucoup plus de non-cas que de cas. Même un petit taux de faux positifs peut créer de nombreuses alertes à partir de ce grand groupe de non-cas.
Que dois-je demander après avoir vu une alerte d'événement rare ?
Demande le taux de base, le taux de vrais positifs et le taux de faux positifs. Convertis-les ensuite en effectifs pour une taille de groupe fixe avant de juger l'alerte.
Concepts clés
Taux de base
La fréquence de fond d’un événement avant de prendre en compte de nouvelles preuves. Un signal fort peut quand même produire de nombreux faux positifs lorsque la chose testée est rare, car il y a beaucoup plus de non-cas que de cas. Un bon raisonnement combine le nouveau signal avec le taux de base.
Probabilité conditionnelle
La probabilité de quelque chose après qu’une nouvelle information a changé ce qui reste possible. L’étape importante consiste à mettre à jour le dénominateur : les cas exclus par la nouvelle information ne doivent plus être comptés. Beaucoup d’erreurs se produisent lorsque les gens continuent d’utiliser les cotes d’origine après que la situation s’est restreinte.
Vois-le en action
Une correspondance d'un sur un million ne représente pas une chance sur un million d'être innocent
Multiplie le taux de correspondance par la population examinée : un trait présent chez 1 personne sur un million dans une ville de 9 millions d'habitants laisse encore environ neuf correspondances innocentes. Par conséquent, la correspondance restreint le champ des recherches, mais ne tranche pas la question.
Un bon test peut encore effrayer trop de monde
La précision ne suffit pas. Tu as également besoin du taux de base de la chose testée.
Vérification rapide
Un trait correspond à 1 personne sur un million. Dans une ville de 9 millions d’habitants, pourquoi une seule correspondance n’est-elle pas une preuve solide de culpabilité ?
A
Parce que le test se trompe 1 % du temps.
B
Parce que 1 sur un million est en réalité courant.
C
Environ 9 personnes innocentes dans la ville présenteraient également cette correspondance.