La méconnaissance des probabilités

23 septembre 2006 Alexandre Delaigue De l'économie en général 24

Voici donc quelques commentaires après le jeu-test sur les probabilités, dont la question était :

Une maladie touche une personne sur mille dans la population. Il existe un test pour cette maladie, qui est valide à 99%; c’est à dire que lorsque vous êtes malade, le test est positif dans 99% des cas, et si vous n’êtes pas malade, le test est négatif dans 99% des cas. Il y a 1% de “faux positifs” et 1% de “faux négatifs”.

Une personne fait ce test, et le test est positif. Quelle est la probabilité que cette personne soit malade?

La réponse à la question est donc 9%, et comme l’ont noté nombre de commentaires, il repose sur un raisonnement Bayesien. Comme certains commentateurs l’ont noté, ce résultat est très contre-intuitif : il est tellement contre-intuitif que la population dans son ensemble (à l’exception, visiblement, de la majorité des gens qui postent des commentaires sur ce blog) répondra plutôt que puisque le test est valide à 99%, alors, la probabilité d’être malade lorsqu’on est positif est de 99%. Non seulement la majorité des gens, mais aussi – et c’est plus grave – la majorité des médecins. D’après une étude citée par Nassim Taleb lors d’un test similaire posé à un échantillon de médecins, 85% d’entre eux a répondu 99% (et parmi les 15% restant, il est probable qu’il n’y avait pas que des réponses justes).

Le problème se pose également en matière judiciaire. John Kay cite l’exemple du professeur Meadow, un pédiatre ayant servi d’expert au procès d’une Mme Clarke, dont les deux enfants étaient morts de la mort subite du nourrisson. Lorsqu’on lui a demandé “quelle est la probabilité d’un tel événement?” il a répondu “une chance sur 73 millions”. En d’autres termes, pratiquement impossible : les parents devaient donc avoir fait subir des mauvais traitements à leurs nourrissons. Sauf que, comme l’ont montré des statisticiens devant la cour d’appel, ce n’est pas une bonne façon de poser le problème : il faut se demander, sachant que les deux bébés sont morts, quelle est la probabilité que cela soit dû à des mauvais traitements? Or il y a énormément de facteurs susceptibles de provoquer cet événement, et les mauvais traitements en constituent une minorité. Sachant que cet événement presque impossible s’était produit, la probabilité que les parents en soient responsables restait donc assez faible.

L’histoire ne s’arrête pas là : Meadow, pour cette affaire, a été rayé de l’ordre des médecins pour avoir sous-estimé les risques de mort subite du nourrisson, et avoir négligé d’autres facteurs susceptibles d’expliquer ces morts. Ce qui est exact, mais même en prenant en compte tout cela, le calcul était valide : effectivement, la probabilité de deux morts consécutives de nourrissons est très faible, et le fait que cela soit survenu accroissait la probabilité de mauvais traitements. Pas assez pour accuser les parents, certainement : mais ce n’était pas la réponse qui était en cause, mais la question.

Et dans les tribunaux, les questions sont souvent mal posées. Taleb ,toujours, cite plusieurs exemples particulièrement gratinés d’arguments “statistiques” utilisés lors du procès d’O.J. Simpson. On avait trouvé des traces de sang portant les marqueurs génétiques d’O.J. Simpson sur le corps de son épouse morte? Les avocats avaient rétorqué que dans une ville de plusieurs millions d’habitants comme Los Angeles, il y a 5 personnes portant les mêmes marqueurs génétiques. Il y avait donc une chance sur 5 (sic) que le sang trouvé sur place soit celui d’O.J. Simpson.
De même, O.J. Simpson, de notoriété publique, battait sa femme? Ses avocats ont répondu que parmi les femmes battues, seules 10% sont tuées sous les coups (re-sic).

Les lecteurs verront facilement les erreurs de probabilité. La question n’est pas de se demander combien de personnes ont certaines caractéristiques sanguines, mais de se demander, sachant que ce sang a été trouvé sur l’épouse morte d’O.J. Simpson, quelle est la probabilité qu’il vienne d’O.J.; la réponse, vous vous en doutez, est bien supérieure à 1/5. De même, si la probabilité qu’une femme soit tuée par son mari sachant qu’il la bat est de 10%, ce qui nous intéresse est la probabilité, sachant qu’elle est morte et que son mari la battait, que son mari en soit responsable : cette probabilité-là est supérieure à 50%. Les jurés, eux, se sont laissés convaincre par cette argumentation. Et les journalistes qui couvraient l’affaire ont repris et cité ces “arguments” sans les contester.

On entend souvent parler d’ignorance économique : on crée même des machins inutiles pour chercher à y remédier. Mais l’ignorance en matière de probabilités est beaucoup plus répandue, et beaucoup plus grave. On est souvent amené, dans sa vie, à rencontrer des problèmes de décision face au risque; et face à ces problèmes, nous ne pouvons faire confiance à personne, surtout pas à nous-même. Car médecins, avocats ou journalistes ne sont pas les seuls concernés.

Vous avez certainement entendu déjà que “la majorité des accidents de la circulation se produisent dans des trajets domicile-travail”, information immanquablement interprétée comme le signe de l’affaissement de la vigilance des conducteurs dans des trajets connus, donc d’une dangerosité accrue de ces trajets. Sauf que cette information est sans valeur tant qu’on ne connaît pas la proportion des trajets domicile-travail dans le total des trajets effectués. Après tout, si 95% de mes trajets sont “domicile-travail”, toutes choses égales par ailleurs, 95% de mes accidents auront lieu aussi sur ces trajets… Et je ne parle même pas des conseillers financiers qui vous recommandent des produits sur la base des performances de l’année précédente, ou des magazines faisant des supplément “spécial immobilier” sensés vous éclairer sur vos décisions d’achat futures sur la base de l’évolution passée des prix. Ou des spécialistes de la santé qui vous expliquent doctement que l’écrasante majorité des consommateurs de drogues dures ont un jour consommé du cannabis. Le raisonnement Bayesien est un acide universel : le jour ou vous commencez à regarder le monde qui vous entoure avec des lunettes Bayesiennes, tout est changé.

En bref, on peut ignorer le montant de la dette publique ou de la croissance française, et ne pas s’en porter plus mal; ignorer les bases des probabilités est autrement plus génant. Comment faire progresser la connaissance dans ce domaine? en cherchant des outils pédagogiques permettant de mieux visualiser les risques, comme celui-ci, qui permet de visualiser sur une roulette les risques liés au cancer de la prostate pour les hommes de plus de 65 ans. En matière médicale, le dernier article de Levitt et Dubner dans le Nyt Magazine illustre aussi la sous-estimation par les médecins des risques liés au fait de ne pas suffisamment se laver les mains dans les hôpitaux. Mais le principal conseil est le suivant : méfiez-vous toujours des probabilités. Ce qu’on vous dit sur le sujet est souvent faux, et pire, ce que vous croyez est aussi, souvent faux.

En guise de conclusion, un dernier problème pour la route : une famille a deux enfants. L’un d’entre eux est une fille. Quelle est la probabilité que l’autre soit un garçon? La réponse, bien entendu, n’est pas une chance sur deux…

Alexandre Delaigue

Pour en savoir plus sur moi, cliquez ici.

24 Commentaires

  1. "Mais l’ignorance en matière de probabilités est beaucoup plus répandue, et beaucoup plus grave."

    De mémoire, les probas/stats ont été au moins à une certaine époque au programme de toutes les classes de première (je ne sais pas ce qu’il en est aujourd’hui). Que devrait-on faire de plus pour les citoyens qui ne s’approprient pas ce qui leur est par ailleurs gracieusement donné ?

    Dans mon milieu professionnel, je suis en théorie cerné de personnes qui se considèrent comme des gestionnaires, mais ont des difficultés à identifier un problème se résolvant par une banale règle de 3. Que peut-on y faire ? Rétablir le fouet à l’école ?

  3. Voici un problème pour économiste : "Sachant qu’un consommateur moyen a une perception erronée de la réalité, quelle est la probabilité qu’il soit un agent économique rationnel?"

    Et toc!
    😉

  4. Gu si Fang : il y a plusieurs réponses à cette question, mais la plus courte, démontrée par Savage dans les années 50, c’est que les gens qui connaissent les probabilités peuvent gagner de l’argent sur ceux qui ne les connaissent pas. La plus longue est l’article de Kahneman et Tversky sur la “prospect theory”. PLus sérieusement, le problème en la matière n’est pas prioritairement économique.

  5. Alors :
    Le couple peut avoir 4 combinaisons de rejetons
    FG, GF, FF, GG avec des proba identiques.
    sachant que l’un des jeunes est une fille (l’un, et non l’aîné, là se situe la subtilité) l’arbre des proba sommaires nous dit qu’il y a 2/3 chances pour que l’autre soit un garçon.

  6. En considérant qu’une année compte 365 jours, combien de personnes faut-il pour que deux d’entre elles aient leur anniversaire le même jour avec une probabilité de 50% (en partant du principe que les naissances sont uniformément réparties dans l’année) ?

  7. Devant l’humiliation de la première question, je me suis remis à Bayes et consorts. J’avais retenu de mes années de prépa que la proba était de 2/3.

    Et j’ai été heureux de voir qu’en y consacrant dix minutes, peut-être plus (allez une heure, grand max…), j’ai pu retrouver le chiffre.

    Ouf! L’honneur est sauf….

    Plus sérieusement, on voit la formule de Bayes dès la Première, mais la plupart des élèves l’oublient trés rapidement. En prépa, même chose, mais on oublie tout dès l’entrée en ecole.

    Donc, ce n’est pas la faute de l’enseignement mais bien de la systématisation de la paresse intellectuelle, qui me touche en premier lieu. Je dirais même, comme ce que j’ai pu faire tout à l’heure, que l’on connait les voies pour accéder à la réponse, mais que l’on refuse de s’y mettre, pensant que l’instinct compensera de lui-même.

    De l’art de se planter magistralement….

    Et puis, sur l’argent qu’il est possible de faire avec les probas, il faut signaler les bons joueurs de baccara qui sont interdits de casinos, pour cause de comptage de cartes, et les joueurs de poker, qui peuvent gagner gros, même si la dimension psychologique y est plus importante.

  8. Pourtant statisticien diplomé et utilisateur quotidien de probabilité, je suis tombé dans le panneau du test de maladie. D’ailleurs, je dois etre idiot parce que pour moi la chance d’avoir un garcon sachant qu’on a deja une fille est 1/2. Etant donné que je ne suis pas idiot (selon mon avis biaisé) cela m’incite à penser qu’il s’agit surtout d’"illusions cognitives", comme les appelaient Kahneman dans un papier me semble t il. Bref, c’est incurable. Ce qui ne remet cependant pas en cause en question la criticité de l’enseignement des bases de la probabilité selon moi. Une blague de statisticien dit qu’il est aussi dangereux pour un médecin de faire de la statistique que pour un statisticien de faire de la médecine. Et encore kudos pour ce site.

  9. Frigobus : avec une quinzaine de personnes on ne doit pas être loin du compte, si mes souvenirs sont bons.

    ten sd event : le problème n’est pas, comme vous le soulignez, un problème de calcul mais un problème cognitif que nous subissons tous. Du coup, ce n’est pas tant une affaire d’enseignement technique que d’entraînement à utiliser concrètement les connaissances – ce qui est toujours le plus dur. C’est pour ça qu’il vaut mieux se souvenir simplement qu’on a tendance à se tromper, et qu’on n’est pas le seul.

  10. @Clic : "deux sur trois, sauf si la mère a mangée beaucoup de sel" : Je pensais pourtant que le chromosome qui détermine le sexe de l’enfant est dans le spermatozoide…

    @AD: il faut vraiment que je te remercie. Ca fait un peu plus de 6 mois que j’ai découvert ce blog, et si bien j’ai eu plusieurs prof de fac passionants (A.D’autume, B.Guerrien, A.Lapidus, C.Ménard), tu dois etre celui qui m’a ouvert le plus l’esprit. Les deux derniers "articles de la semaine" sont bouleversants (surtout le dernier). Il ont cette particularité d’etre des intro a des branches naissantes de l’économie qui ne sont pas enseignées a la fac pour l’instant, ou du moins pas avant les 3emes cycles. Je ne connaissais pas les travaux du Nobel Thomas Schelling, mais où est-ce que tu va chercher ces vieux articles ?

    En lisant l’article sur les Artificial Societies, je me suis dit que la recherche future en éco devra etre dirigée vers des modelisations plus completes, faites nécéssairement grace a des logiciels. D’ou la nécésité de maitriser les maths, la théorie du chaos, et des notions de physique.
    Pour ceux qui ont lu "Fondation" de Isaac Asimov, j’ai l’impression que l’économie se rapproche de plus en plus vers la "psychohistoire", reine des sciences sociales dans un futur tres lointain, qui, grace a la modélisation mathématique, a des avancées dans la psychologie et les neurosciences, arrive prédire l’évolution des sociétés humaines. Les economistes ne deviendraient pas comme des dentistes (keynes), mais plutot comme des psychohistoriens:) ce qui est une bonne nouvelle. En attendant, je vais finir par m’y mettre, aux probabilités !

  11. C’est plutôt 23.
    Mais le problème n’est pas tout à fait bien posé.
    "En considérant qu’une année compte 365 jours, combien de personnes faut-il pour que AU MOINS deux d’entre elles aient leur anniversaire le même jour avec une probabilité de 50% (en partant du principe que les naissances sont uniformément réparties dans l’année) ?"

    On s’intéresse alors à l’évènement contraire :
    Aucune personne n’a son anniversaire le même jour.
    Avec 2 personnes : cas favorables 365 x 364 (la première a sa date d’anniversaire quelconque, donc 365 possibilités, la seconde a une date différente, donc 364 possibilités) ; cas possibles 365 x 365. Probabilité : P2 = (365×364)/(365×365)=99,7% (environ).
    Avec 3 : P3 = 365x364x363/365x365x365=99,1%
    etc.
    Jusqu’à 23, première de ces probabilités à être inférieure à 50%, P3=49,3%.

    Avec 23 personnes, il y a moins d’une chance sur deux qu’aucune personne ne soit née le même jour qu’une autre, donc plus d’une sur deux qu’au moins deux soient nées le même jour.

  13. "La plus longue est l’article de Kahneman et Tversky sur la "prospect theory". PLus sérieusement, le problème en la matière n’est pas prioritairement économique."

    Pour ceux non-économistes de vos lecteurs qui ne savent du sujet que le peu qu’ils ont pu lire dans Wikipedia, je serais curieux de voir développé un peu plus avant le point "le problème en la matière n’est pas prioritairement économique" : sous quel angle pensez-vous en tant qu’économiste qu’il faudrait aborder cette question ?

  14. Je suis d’accord avec les 2/3. Pourtant, il y a quelque chose que m’échappe.

    « Un couple a une fille. Madame est enceinte. Quelle est la probabilité quelle attende un garçon ? »

    En dehors de toute considération nutritionnelle, on peut supposer qu’il y a une chance sur deux pour que cela soit un garçon.
    Quel est donc l’événement probabilistique qui survient à la naissance du bébé pour que ses « chances » d’être un garçon augmentent considérablement ?

  15. Yannick: En probas, il ne faut pas raisonner en termes d’évenements, mais d’informations : il faut donc poser l’énoncé ainsi :

    Nous savons que le couple a deux enfants : cela fait quatre combinaisons initialement équiprobables : HH, HF, FH, FF.

    Nous acquérons une nouvelle informations : nous savons que la combinaison HH est impossible. HH devient impossible, donc, en l’état des infos disponibles, trois combinaisons équiprobables, la quatrième se révélant de proba nulle : HF, FH, FF.

  16. @ Yannick : il y a effectivement une chance sur deux que le deuxième enfant soit un garçon, et ce n’est pas sa naissance qui change quoi que ce soit.

    En fait, vous oubliez le cas du couple qui a un garçon et dont le deuxième enfant est une fille. Comme celui-ci est équiprobable aux deux autres que vous mentionnez, on retombe sur les deux tiers.

  17. Alex Kossoy : le chromosome déterminant le sexe de l’enfant est effectivement dans les spermatozoides, mais n’oubliez pas que ceux-ci doivent franchir une course d’obstacles pour parvenir à l’ovule, course qui s’appelle il me semble la glaire cervicale. Or les spermatozoides Y et les X ont des propriétés différentes; les uns sont rapides mais meurent vite, les autres sont plus lents mais survivent plus longtemps. D’où l’idée qu’en modifiant la composition de la glaire cervicale (par le régime alimentaire) on peut favoriser les uns plutôt que les autres. Je ne suis pas certain que cela fonctionne vraiment.

    Sinon, merci, c’est très flatteur d’être mis sur le même plan que des gens aussi prestigieux. Ensuite, pour trouver des articles, ma foi, il faut lire et fouiner beaucoup. Pour le dernier, ce n’est pas dur : il est évoqué dans le récent livre du mois. Sinon, je pense que le caractère évolutif de l’économie fait que précisément, on ne pourra jamais vraiment prévoir; c’est d’ailleurs la même chose dans la nature. Personne ne peut dire comment la souris va évoluer dans les 200 prochaines années; mais on connaît les règles qui régissent son évolution, ce qui n’est déjà pas si mal.

    Yannick : d’autres vous ont répondu fort bien. L’erreur que nous faisons dans ce problème, c’est de "visualiser" une famille, et de considérer que "l’un des enfants est une fille" signifie "le premier enfant est une fille". dans ce cas, le "second" a une chance sur deux d’être un garçon. Mais en fait, nous ne savons pas lequel est une fille.

    Anonyme : ce que je voulais dire, c’est que les problèmes posés par la méconnaissance des probabilités touchent d’autres problèmes de façon plus urgente que les problèmes économiques. En économie, pour le grand public, cela pose des problèmes pour choisir des placements financiers; si on compare avec les conséquences de cette méconnaissance en matière médicale, judiciaire, et de politiques publiques (on dépense des sommes invraisemblables pour des risques très faibles, et rien pour des risques bien plus grands), c’est dérisoire. La pédagogie devrait donc se poser la question, en termes de probabilités, de ces problèmes publics.
    Pour les aspects économiques, je pense qu’on devrait, plutôt que d’assommer les élèves de seconde sous les PIB, taux de croissance, de chômage, et autres inégalités et mondialisation, consacrer des chapitres à expliquer aux élèves ce qu’ils doivent savoir lorsqu’ils feront des placements ou des emprunts; leur parler de problèmes posés par les assurances; trouver le moyen de leur permettre de hiérarchiser les risques; voilà des choses qui seront toujours utiles.

  19. Pour ce qui est des 23, j’aurais tendance à penser que dans la "vraie vie" c’est encore moins puisque la distribution des jours de naissance dans l’année n’est pas équiprobable.

  20. Le gros problème de cet exercice vient de la nature de la question et de sa précision. Les différentes question suivantes délivrent des informations très différentes et plus ou moins complexes.

    Question 1 : Soit deux enfants. L’un d’entre eux, exactement, est une fille. Quelle est la probabilité que l’autre soit un garçon.
    Réponse 1 : 1

    Question 2 : Soit deux enfants. L’un d’entre eux, au moins, est une fille. Sachant que "l’un" des deux est une fille, quelle est la probabilité que « l’autre » soit un garçon.
    Réponse 2 : 2/3

    Remarque : toute l’ambiguïté de la question réside dans « l’autre ». Nous n’avons pas formellement définit qui était « l’un » et « l’autre » (dans le cas de deux filles par exemple).

    Question 3 : Soit une photo de deux enfants. L’un est flou et méconnaissable. L’autre est net et est clairement reconnaissable : c’est une fille. Quelle est la probabilité que l’autre soit un garçon.
    Réponse 3 :1/2.

    A mon sens seul un serial-killer d’un film Hollywoodien, ou éventuellement Arthur, serait capable de poser la question 2. Dans la pratique, c’est la question 3 que nous cherchons à résoudre.

  21. "Pour les aspects économiques, je pense qu’on devrait, plutôt que d’assommer les élèves de seconde sous les PIB, taux de croissance, de chômage, et autres inégalités et mondialisation, consacrer des chapitres à expliquer aux élèves ce qu’ils doivent savoir lorsqu’ils feront des placements ou des emprunts; leur parler de problèmes posés par les assurances; trouver le moyen de leur permettre de hiérarchiser les risques; voilà des choses qui seront toujours utiles."

    Je suppose qu’ainsi exprimée, une telle opinion est susceptible de faire consensus dans un cercle très vaste. Mais j’observe que rien n’interdit à quelque intérêt privé que ce soit d’oeuvrer à cela (et on peut certainement supposer que quelqu’un veillerait à son propre intérêt ce faisant). D’ailleurs, à titre personnel, je financerais probablement une telle entreprise de mon plein gré si elle émergeait.

    Alors, pourquoi attendre de l’administration étatique ce que l’initiative privée peut très bien créer plus sûrement et plus rapidement ?

  22. Anonyme : vous n’avez pas tort, mais je me plaçais non dans l’absolu, mais dans celui du débat récurrent sur l’enseignement de l’économie, de la méconnaissance économique française et de la soi-disante nécessité de réformer les programmes pour que les français comprennent enfin ce qu’est un taux de croissance. C’est dans ce cadre qu’il fallait interpréter ma remarque.
    Ensuite je pense qu’il y peut y avoir une sous-production privée d’enseignement utile. L’enseignement a deux buts : apprendre des savoirs et compétences, et signaler à l’extérieur "je suis intelligent, j’ai passé X années dans une école difficile". Je crains que spontanément, n’apparaisse qu’un peu trop d’enseignement du second type, et pas assez du premier. Après tout, c’est ce que les gens demandent, précisément parce qu’ils sous-estiment l’utilité d’une connaissance, forcément aléatoire, contrairement à l’utilité d’un diplôme, visible. Donc en la matière, il existe la possibilité théorique d’un enseignement obligatoire et utile. Vous me rétorquerez que ce n’est pas parce qu’une possibilité théorique d’action publique bénéfique existe que cette action publique aura lieu, et vous aurez raison. Donc, je me contente de suggérer des idées depuis ma tour d’ivoire, en me disant que cela ne peut pas faire de mal.

  23. Merci pour ces utiles clarifications.

    Je suis sans doute plus cynique que vous : je considère tout simplement qu’il se trouvera toujours une minorité agissante d’influence suffisante pour faire en sorte que la plupart des actions publiques théoriquement utiles n’aient pas lieu, ou soient détournées, instrumentalisées, perverties, etc. . Par exemple, je me demande dans quelle mesure la conséquence profonde de l’enseignement économique au lycée n’est pas d’entretenir dans l’électorat à venir la foi en l’importance d’un état acteur dirigiste de l’économie.

    En attendant, faute de mieux, je me contenterais d’enseigner ce que je sais à mes proches. Inch Allah.

  24. hmmm, je ne suis pas sûr que cela soit si grave concernant les médecins. Tout simplement parce que le raisonnement médical ne se présente jamais ainsi.
    La question ne serait-elle pas plutôt : quelle probabilité pour un patient n’ayant aucune plainte, aucun symptôme, d’avoir une prescription concernant une pathologie rare ?

    Un faux négatif est effectivement plus grave qu’un faux positif, dans le cas général. Mais justement, l’identification des deux nécessite une connaissance de ce que les statistiques et les corrélations mesurent. Lorsqu’on ne trouve pas de cellules cancéreuses chez un malade en rémission, peut-on le considérer comme guéri? Il faudrait pour cela connaître à la fois la fiabilité du test et la proportion de malades dans la population. On fait rarement ce calcul.

Commentaires fermés.