{"id":7563,"date":"2010-10-23T19:11:12","date_gmt":"2010-10-23T19:11:12","guid":{"rendered":"http:\/\/127.0.0.1\/import\/?p=1563"},"modified":"2010-10-23T19:11:12","modified_gmt":"2010-10-23T19:11:12","slug":"un-jour-ordinaire-dans-le-monde-merveilleux-des-faux-nombres","status":"publish","type":"post","link":"https:\/\/econoclaste.eu\/econoclaste\/un-jour-ordinaire-dans-le-monde-merveilleux-des-faux-nombres\/","title":{"rendered":"Un jour ordinaire dans le monde merveilleux des faux nombres"},"content":{"rendered":"

Je n’aurai pas d\u00fb lire Proofiness<\/a>. cet excellent livre, sur la fa\u00e7on dont les chiffres sont tortur\u00e9s, manipul\u00e9s, par journalistes, politiques, militants, magistrats, a un gros d\u00e9faut : il n’est plus possible ensuite de lire le journal sans sauter au plafond d’\u00e9nervement. Trois exemples du jour.<\/p>\n

Commen\u00e7ons par un sondage, pr\u00e9sent\u00e9 dans un article titr\u00e9 \u00ab\u00a0les fran\u00e7ais souhaitent la fin des gr\u00e8ves<\/a>\u00ab\u00a0. Un magnifique concentr\u00e9, que ce soit l’article, ou le sondage.<\/p>\n

Pour le sondage<\/a>, d’abord, \u00e7a ne rigole pas. On nous colle partout des sigles \u00ab\u00a0ISO\u00a0\u00bb, sans doute pour bien nous persuader que nous sommes face \u00e0 de la science rigoureuse. La m\u00e9thodologie, indiqu\u00e9e page 3, est comique de pr\u00e9cision : ce sont mille et une personnes<\/strong> qui ont \u00e9t\u00e9 interrog\u00e9es. Vous vous demandez sans doute \u00ab\u00a0pourquoi ce nombre\u00a0\u00bb. Il y a deux r\u00e9ponses. Premi\u00e8rement, sur un sondage effectu\u00e9 al\u00e9atoirement, le nombre de personnes interrog\u00e9es d\u00e9termine la marge d’erreur. Or la marge d’erreur est indiqu\u00e9e plus loin sur la page, ce qui nous indique que ce nombre de personnes interrog\u00e9es est redondant.<\/p>\n

Mais il ne l’est pas. Tenez, un petit test. Laquelle de ces deux phrases vous semble la plus convaincante : \u00ab\u00a0les fran\u00e7ais sont majoritairement hostiles au bouclier fiscal\u00a0\u00bb et \u00ab\u00a065% des fran\u00e7ais sont hostiles au bouclier fiscal\u00a0\u00bb. Si vous \u00eates comme tout le monde, la seconde phrase vous para\u00eet bien plus convaincante. Pourtant les deux disent la m\u00eame chose. Mais la pr\u00e9sence d’un nombre dans la seconde donne l’impression qu’il y a eu mesure, et que cela rend la phrase plus \u00ab\u00a0scientifique\u00a0\u00bb. Pourtant, nulle part n’est indiqu\u00e9 comment ce chiffre a \u00e9t\u00e9 d\u00e9termin\u00e9 (je viens de l’inventer, en fait). Ce ph\u00e9nom\u00e8ne par lequel la simple pr\u00e9sence de nombres persuade est renforc\u00e9 par la pr\u00e9cision apparente du nombre. Par exemple, si j’\u00e9cris \u00e0 la place de la phrase \u00ab\u00a064.93% des fran\u00e7ais sont contre le bouclier fiscal\u00a0\u00bb cela semble plus convaincant que 65%, qui semble arrondi. Pourtant, ce nombre n’est pas moins invent\u00e9 que le pr\u00e9c\u00e9dent.<\/p>\n

Dans un sondage, le nombre de personnes interrog\u00e9es ne sert qu’\u00e0 une chose : d\u00e9terminer la marge d’erreur<\/a>. Celle-ci est \u00e0 peine modifi\u00e9e par le fait d’interroger 1000 ou 1001 personnes. la pr\u00e9cision exacte du nombre de personnes interrog\u00e9es, ici, sert donc beaucoup plus \u00e0 \u00e9tablir la conviction de scientificit\u00e9 qu’\u00e0 informer r\u00e9ellement.<\/p>\n

– Parlons-en, d’ailleurs, de la marge d’erreur. Elle correspond, dans un sondage, au premier type d’erreur, l’erreur statistique. Celle-ci provient du ph\u00e9nom\u00e8ne suivant. Supposez une urne remplie de 10000 boules, 6000 rouges et 4000 jaunes. Vous pr\u00e9levez un \u00e9chantillon al\u00e9atoire de 10 boules dans cette urne. Votre \u00e9chantillon peut reproduire la r\u00e9partition de la population (6 boules rouges et 4 jaunes). Mais il y a de fortes chances de tomber sur un \u00e9chantillon diff\u00e9rent de la population (par exemple, 7 rouges et 3 jaunes, ou m\u00eame 10 rouges et z\u00e9ro jaunes). Par contre, plus votre \u00e9chantillon est grand, plus le risque d’obtenir un \u00e9chantillon tr\u00e8s diff\u00e9rent de la population diminue. Cela vous donne donc de fortes chances, lorsque vous pr\u00e9levez un \u00e9chantillon suffisamment grand, d’obtenir un \u00e9chantillon proche de la population. Cette proximit\u00e9 est la marge d’erreur, vous en avez quelques exemples en suivant ce lien<\/a>.<\/p>\n

Mais la marge d’erreur ne correspond qu’\u00e0 l’erreur statistique. Elle ne prend pas en compte l’autre erreur, la plus courante : l’erreur structurelle. L’erreur structurelle vient de ce qu’en pratique, les sondages ne correspondent jamais au cas th\u00e9orique de boules de couleur pr\u00e9lev\u00e9es dans une urne, comme dans les exercices de math\u00e9matiques. En pratique, les sondages sont effectu\u00e9s par des personnes r\u00e9elles, qui peuvent se tromper en collectant leurs donn\u00e9es; surtout, particuli\u00e8rement dans les sondages r\u00e9alis\u00e9s aupr\u00e8s de personnes r\u00e9elles, il y a des biais de collecte d’information. Il est par exemple impossible de sonder une personne qui refuse de r\u00e9pondre aux sondages. Lorsque vous lisez \u00ab\u00a0x% des fran\u00e7ais pensent que\u00a0\u00bb il faut lire \u00ab\u00a0x% des fran\u00e7ais qui r\u00e9pondent aux sondages pensent que\u00a0\u00bb. Les gens peuvent mentir. Les gens peuvent vouloir \u00eatre \u00ab\u00a0bien vu\u00a0\u00bb de la personne qui les sonde (et quand on est interrog\u00e9 par une jeune voix f\u00e9minine, on est tent\u00e9 de lui faire plaisir). Les r\u00e9ponses peuvent \u00eatre orient\u00e9es par la fa\u00e7on dont les questions sont pos\u00e9es, voire m\u00eame par l’ordre dans lequel elles sont pos\u00e9es : si par exemple on vous demande d’indiquer vos opinions politiques avant de vous poser des questions de soci\u00e9t\u00e9, vous aurez beaucoup plus tendance \u00e0 vous conformer aux opinions-type de votre camp.<\/p>\n

Les sondeurs d\u00e9clarent toujours l’erreur statistique, sous forme de marge d’erreur. Mais ils ont une f\u00e2cheuse tendance \u00e0 laisser croire que la marge d’erreur mesure tous les risques d’erreur, y compris l’erreur structurelle. Ce n’est pas le cas. Pour une raison simple : si l’erreur statistique est connue et limit\u00e9e, l’erreur structurelle peut potentiellement rendre le sondage totalement faux. Avec trop d’erreur structurelle, la \u00ab\u00a0marge d’erreur\u00a0\u00bb peut devenir 100%.<\/p>\n

Dans cet exemple (voir toujours page 3<\/a>), il y a un biais \u00e9norme : le mode d’interrogation, en ligne. L\u00e0 encore, la \u00ab\u00a0scientificit\u00e9\u00a0\u00bb est assise sur la d\u00e9nomination du syst\u00e8me d’interrogation, d\u00e9sign\u00e9e par un sigle en anglais. Ca fait tout de suite plus s\u00e9rieux. Mais cela a une implication claire : les personnes qui ont servi \u00e0 ce sondage correspondent \u00e0 un sous-groupe particulier de la population, les gens qui ont un ordinateur et un acc\u00e8s internet, et qui acceptent de r\u00e9pondre \u00e0 un sondage en ligne. Il y a tr\u00e8s peu de chances qu’ils repr\u00e9sentent la population fran\u00e7aise. L’application l\u00e0-dessus de la \u00ab\u00a0m\u00e9thode des quotas\u00a0\u00bb, au passage, loin d’am\u00e9liorer le r\u00e9sultat, ne fait qu’introduire de nouveaux biais.<\/p>\n

A partir de ce monument de scientificit\u00e9, la fa\u00e7on dont l’article<\/a> est pr\u00e9sent\u00e9e peut elle aussi totalement en modifier la perception. En s’appuyant sur la page 5 du document<\/a>, on aurait tr\u00e8s bien pu titrer \u00ab\u00a061% des fran\u00e7ais approuvent le mouvement contre la r\u00e9forme des retraites\u00a0\u00bb. Etrangement, ce sont les questions page 8 et 10 qui servent pour faire le titre : \u00ab\u00a0les fran\u00e7ais souhaitent la fin des gr\u00e8ves\u00a0\u00bb. Parce que, comme on peut toujours s’y attendre avec un sondage, poser la m\u00eame question avec des formulations et des informations diff\u00e9rentes modifie le r\u00e9sultat obtenu. Un esprit raisonnable, face \u00e0 ces contradictions, en conclurait que ce sondage ne nous apprend rien d’int\u00e9ressant. C’est oublier les talents d’exegese que l’on peut d\u00e9ployer pour donner du sens \u00e0 une s\u00e9rie de nombres qui n’en a aucun.<\/p>\n

L’article nous indique donc que \u00ab\u00a0l’opinion a un point de vue complexe et nuanc\u00e9\u00a0\u00bb. qu’en termes galants… C’est que le sondage ne donne pas les m\u00eames r\u00e9sultats selon qu’on demande aux gens s’ils \u00ab\u00a0comprennent\u00a0\u00bb ou \u00ab\u00a0soutiennent\u00a0\u00bb les manifestations. On aurait pu essayer d’autres verbes : \u00ab\u00a0approuvez-vous\u00a0\u00bb? \u00ab\u00a0Appr\u00e9ciez-vous\u00a0\u00bb? \u00ab\u00a0vous int\u00e9ressez-vous\u00a0\u00bb? et \u00e0 chaque fois, on aurait eu un nombre diff\u00e9rent. Du commentaire sur du bruit.<\/p>\n

Deuxi\u00e8me article : \u00ab\u00a0Panini retire du march\u00e9 le jeu pol\u00e9mique des Skyzos<\/a>\u00ab\u00a0. On y apprend que suite \u00e0 des plaintes d’associations, Panini retire un jeu de la vente. Mais comme il est dans la rubrique \u00ab\u00a0sant\u00e9\u00a0\u00bb, l’article se doit de nous apprendre autre chose que cette anecdote sans grand int\u00e9r\u00eat. Le dernier paragraphe nous instruit donc sur la schizophr\u00e9nie de la fa\u00e7on suivante : Si l’h\u00e9r\u00e9dit\u00e9 est une composante importante dans son apparition, d’autres facteurs environnementaux, comme l’isolement social ou la consommation de cannabis, peuvent \u00e9galement peser.<\/em><\/p>\n

Voici un second exemple de chiffres tortur\u00e9s : la corr\u00e9lation prise pour une causalit\u00e9. Il existe en effet de nombreuses \u00e9tudes m\u00e9dicales montrant l’existence d’une corr\u00e9lation entre diff\u00e9rentes variables, ici, l’apparition de la schizophr\u00e9nie et l’isolement social ou la consommation de cannabis. Voici ce que ces \u00e9tudes montrent : les schizophr\u00e8nes ont plus tendance que le reste de la population \u00e0 consommer du cannabis ou \u00e0 \u00eatre isol\u00e9s socialement. Et c’est tout. Vous voyez que la causalit\u00e9 peut \u00eatre interpr\u00e9t\u00e9e dans tous les sens. Il est fort probable, par exemple, qu’une personne commen\u00e7ant \u00e0 manifester des signes de schizophr\u00e9nie va avoir tendance \u00e0 s’isoler socialement. On pourrait supposer \u00e9galement que face \u00e0 l’angoisse que causent les premiers symptomes de cette maladie, les gens soient incit\u00e9s \u00e0 consommer du cannabis pour les calmer. D\u00e8s lors, c’est la schizophr\u00e9nie qui cause isolement et toxicomanie. Ou alors, comme indiqu\u00e9 dans l’article, la causalit\u00e9 va dans l’autre sens. Comment savoir?<\/p>\n

En pratique, il y a des moyens pour essayer de mieux distinguer le sens de la causalit\u00e9. Mais ils sont difficiles \u00e0 mettre en oeuvre, et eux-m\u00eames sujets \u00e0 des erreurs. Surtout, ils ne sont que tr\u00e8s rarement utilis\u00e9s pour les \u00e9tudes m\u00e9dicales. C’est ce qui fait qu’une quantit\u00e9 invraisemblable d’\u00e9tudes m\u00e9dicales est fausse<\/a>. Mais l’article n’est pas l\u00e0 pour instiller le doute, mais pour instiller discr\u00e8tement une morale : le cannabis, \u00e7a rend fou.<\/p>\n

Enfin, \u00e0 tout seigneur tout honneur, l’Equipe nous gratifie d’un monument hilarant au d\u00e9nombrement bidon, dans cette fine analyse consacr\u00e9e aux \u00e9quipes de foot de Lorient et Nancy<\/a>. Les deux \u00e9quipes, cette ann\u00e9e, sont en effet pass\u00e9es au gazon synth\u00e9tique. Et malheur : les r\u00e9sultats ne suivent pas. A l’appui de cette d\u00e9monstration, un sch\u00e9ma avec plein de jolies couleurs mais parfaitement illisible, d’o\u00f9 il semble ressortir que les deux \u00e9quipes ont cette ann\u00e9e de bien mauvaises performances, en particulier \u00e0 domicile. Pourtant, une connaissance m\u00eame minimale du football indique qu’il y a des tas de facteurs qui font qu’une \u00e9quipe, d’une ann\u00e9e sur l’autre, voit ses r\u00e9sultats se d\u00e9grader apr\u00e8s 9 journ\u00e9es : changements de joueurs, chance, adversaires rencontr\u00e9s, progr\u00e8s relatif des autres \u00e9quipes, etc. cette m\u00eame connaissance minimale indique qu’il peut y avoir des tas de raisons d’adopter un terrain synth\u00e9tique, autres que la volont\u00e9 d’obtenir de meilleurs r\u00e9sultats : co\u00fbt, climat local (il g\u00e8le souvent \u00e0 Nancy, il pleut souvent \u00e0 Lorient). Enfin, je me demande m\u00eame pourquoi j’explique \u00e0 quel point nous sommes l\u00e0 dans le grand n’importe quoi.<\/p>\n

A bient\u00f4t, dans le monde merveilleux des copies laborieuses \u00e0 partir de chiffres inutiles.<\/p>\n","protected":false},"excerpt":{"rendered":"

Je n’aurai pas d\u00fb lire Proofiness. cet excellent livre, sur la fa\u00e7on dont les chiffres sont tortur\u00e9s, manipul\u00e9s, par journalistes, politiques, militants, magistrats, a un gros d\u00e9faut : il n’est plus possible ensuite de lire le journal sans sauter au plafond d’\u00e9nervement. Trois exemples du jour. Commen\u00e7ons par un sondage, pr\u00e9sent\u00e9 (Lire la suite…)<\/a><\/p>\n<\/div>","protected":false},"author":3,"featured_media":59424,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[10],"tags":[],"class_list":["post-7563","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-lies-damn-lies-and-statistics"],"_links":{"self":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts\/7563","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/comments?post=7563"}],"version-history":[{"count":0,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts\/7563\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/media\/59424"}],"wp:attachment":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/media?parent=7563"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/categories?post=7563"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/tags?post=7563"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}