La fabrique des erreurs

13 juin 2007 Alexandre Delaigue De l'économie en général 26

“De l’effet néfaste de la télévision sur les résultats scolaires” titre un article du Monde daté d’aujourd’hui. Et de citer une étude épidémiologique d’un journal médical, Archives of Pediatrics & Adolescent Medicine, à l’appui dudit titre. L’étude a permis de mesurer l’effet de la télévision sur la réussite scolaire, indépendamment du niveau social ou éducatif des familles, ou des problèmes antérieurs d’apprentissage ou de mémoire des enfants. Il en ressort qu’un adolescent qui regarde la télévision plus de deux heures par jour “divise par deux ses chances de suivre des études supérieures” par rapport à un adolescent qui la regarde moins de deux heures par jour. Et donc, nous sommes en danger : En France, la durée devant la télévision est, depuis le début de l’année, en hausse chez les enfants âgés de 4 à 14 ans (+ 8 minutes par jour). Elle s’établit à deux heures vingt par jour. S’il n’y avait qu’un seul avantage à lire régulièrement des publications en économie, c’est que ce genre d’article a tendance à faire réagir : Ce genre d’article sent vraiment mauvais.

Pourquoi être économiste rend méfiant vis à vis de ce genre de travaux? C’est qu’on a l’habitude de ne pas y prêter grand crédit aux études statistiques. Les économistes – comme d’autres sciences sociales, mais à un degré plus élevé – ont expérimenté l’arrogance épistémologique, celle qui consiste à mettre de côté la nécessaire prudence scientifique au profit du culte du chiffre. Ils ont compris leur douleur lorsque leurs beaux modèles sont tombés en lambeaux, et en ont retiré une réputation détestable dont ils ne se sont jamais débarrassés depuis. Chat échaudé…

Voyons donc notre article. Ce qui est premièrement frappant, c’est l’absence du moindre conditionnel dans l’article du Monde, contrairement à l’article de la revue scientifique, dans sa conclusion. C’est que le niveau de preuve apportée par ce genre de travaux est extraordinairement faible. En matière médicale, au moins un tiers des études publiées dans les grandes revues sont fausses, c’est à dire, impossibles à reproduire par la suite. Cela s’explique par toute une série de biais propres à la recherche scientifique. Ce que fait ce genre d’études, c’est prendre un échantillon d’un certain nombre de personnes, d’observer deux variables (le temps passé devant la télévision, la réussite scolaire ultérieure) et on recherche une corrélation entre les deux. Si l’on en trouve une, hourra, on peut publier son article. Evidemment, il est bon d’avoir éliminé l’effet “d’autres variables”; ici, le niveau social des familles, et les difficultés antérieures des adolescents.

On va être généreux, et supposer que le protocole expérimental est fiable (ce qui n’est pas garanti : par exemple, comment mesure-t-on avec précision le temps passé devant la télévision? une quantité invraisemblable de biais peuvent s’introduire dans l’évaluation). Pour autant, le résultat obtenu ne prouve pas grand-chose : il est tout à fait possible qu’une autre variable inconnue conduise à la fois à regarder la télévision et à peu réussir dans ses études. Le fait d’avoir isolé dans l’étude le niveau socio-éducatif des parents et les difficultés cognitives antérieures n’est d’aucun secours : cela ne nous renseigne pas sur l’état d’autres variables, inconnues, déterminant elles aussi la réussite future et le temps passé devant la télévision. La réussite dans les études est, entre autres, corrélée avec la taille, l’apparence physique, le poids, le nombre de livres présent chez les parents, le nombre d’heures de sommeil quotidiennes, négativement avec le fait d’avoir regardé la télévision avant trois ans, positivement entre 3 et 5 ans, et même avec le fait d’avoir eu une grand-mère conçue après l’épidémie mondiale de grippe espagnole.

Une façon de s’en sortir consisterait à trouver le moyen d’isoler l’effet spécifique de la télévision : il se trouve qu’un tel travail a été fait, et qu’il n’a montré aucun effet spécifique de la télévision.

Il y a des tas de façons d’expliquer le résultat obtenu. La première d’entre elles étant le biais de la publication. Chacun sait qu’une étude non concluante n’est jamais publiée dans une revue scientifique. Mais supposons que deux phénomènes ne soient pas liés : il existe une probabilité non nulle que des corrélations calculées sur différents échantillons donnent, de temps en temps, un résultat significativement positif. A une époque dans laquelle un calcul de corrélation se fait en quelques secondes, il n’est pas étonnant de trouver des corrélations magnifiques de temps en temps : la masse de corrélations non concluantes est tout simplement ignorée. C’est ce qu’on appelle le biais de la confirmation : lorsqu’on a déterminé une théorie, on ne voit que les résultats qui la confirment et on ignore les autres.

Quand bien même on admettrait ce résultat, les préconisations qui semblent en découler – limiter la télévision pour les adolescents afin qu’ils fassent des études – n’en découle nullement. Une étude empirique exhaustive m’a permis de constater que tous les banquiers portent une cravate; si l’on adoptait le même raisonnement que l’article du Monde, il faudrait en déduire que si je me décide à porter des cravates, je vais augmenter mes chances de devenir banquier.

Soyons clairs : la science, c’est difficile. Et le très imparfait processus de progrès scientifique repose sur des erreurs, des croyances dépassées, et des tonnes de travaux faux et inutiles. Lorsqu’il s’agit de transformer ce processus en préconisations, la plus grande prudence devrait être de mise; elle l’est rarement.

Alexandre Delaigue

Pour en savoir plus sur moi, cliquez ici.

26 Commentaires

  1. Plus simplement: que font ceux qui ne sont pas devant la télé? En effet, ce n’est probablement pas la conso de télé qui est discriminante, mais on peut poser l’hypothèse que ceux qui la regardent moins ont des trucs plus intéressants et diversifiés à faire. Donc plus d’activités, de moyens ou des parents qui ont plus de temps pour accompagner le temps extrascolaire ou le fait qu’ils vivent dans des zones où il existe une large offre d’activités facilement accessibles (distance/argent) ou que l’environnement socio-culturel est plus stimulant… patati, patata.
    La télé n’est qu’un indicateur, pas le facteur explicatif.

  3. Un excellent billet, qui illustre tres bien les fondements de la demarche scientifique, et l’ignorance de ceux-ci par la majorite des journalistes. Je vais mettre un lien chez moi, tiens.

  5. Je suis tout à fait d’accord avec les précautions méthodologiques que vous mettez en avant.

    Mais, l’avantage de la médecine ou de la biologie, c’est que l’on sait plus tard (ou on a de bonnes raisons de s’en douter) que certaines études étaient fausses, parce qu’on peut les refaire (généralement, il y a un protocole expérimental contrôlé, et que l’on peut améliorer). En économie, c’est rare

    Ensuite, je ne comprends pas très bien pourquoi vous considérez que l’étude que vous aviez "chroniquée" il y a quelques temps serait plus dans "le vrai" que l’autre. Certes, elle a l’avantage d’isoler l’effet spécifique de la télévision. Mais elle le fait avec d’autres "biais", elle s’intéresse aux seules périodes d’introduction de la tv dans les états si ma mémoire est bonne. Or, ce n’est pas sûr que les effets de la télé à cette époque soient les mêmes que ceux d’aujourd’hui (il y même plein de raisons de penser le contraire).

    Et il y a tellement de bonnes raisons pour lesquelles plus on regarde la télé, plus les chances de succès scolaire sont basses : un simple raisonnement en termes de coût d’opportunité… Lire, faire ses devoirs, etc… sont des activités qui sans rendre nécessairement plus ‘intelligents’ rendent plus aptes à réussier puisqu’elles concernent des capacités valorisées par l’école en question… (peut-être l’analyse audiovisuelle sera-t-elle un jour au programme, mais en attendant).
    Donc, en bref, je ne comprends pas bien pourquoi tant de "violence" envers cette étude… On pourrait être mal intentionné et faire remarquer que ce sont des économistes qui ont fait l’étude que vous valorisez et que le résultat plus "iconclastes" est plus dans votre perspective ?

    Commenter c’est bien, lire ce que l’on commente avant de le faire, c’est mieux. ce que je critique, c’est la surinterprétation d’un médiocre travail statistique par ses auteurs (qui restent toutefois prudents) et par un journal (qui ne fait preuve d’aucune prudence). Donc je ne comprends pas ce que vous ne comprenez pas.

  6. Baissez pas les bras Mr Delaigue. Il est bien possible de répondre à ce genre de questions mais le problème est que ça coute vraiment cher. Il faut faire ce que l’on appelle une expérience contrôlée. Je m’explique:Vous prenez un groupe d’enfants qui ont à peu près les mêmes background disons des gémeaux. Vous les traitez de deux manières. Le premier groupe doit avoir accès à disons deux à trois heures de télévision par jour et le second moins d’une heure. L’expérience peut être faite durant le cycle primaire. A l’issue de l’expérience, il devient bien possible de mesurer l’effet du traitement càd l’effet néfaste ou non de la télévision sur le résultat scolaire (Avec de l’économétrie plus où moins compliquée). C’est un peu farfelu mais il l’a le mérite d’être plus rigoureux que l’article dont vous parlez. Dans la pratique, il est très difficile de recourir à ce genre d’expérience d’où le recours aux corrélations trompeuses. Ne vous inquiétez pas, je le mettrai en ouvre et d’ici 10, vous verrez l’article publié dans l’AER ou dans Econometrica, lol.

  9. Chouette, c’est Julien qui a gagné !
    L’étude que vous citez dans votre billet (celle dont vous avez rendu compte dans le passé) est intéressante, et méthodologiquement plus robuste que la daube l’article dont il est rendu compte dans Le Monde. Je pense cependant qu’il n’est pas besoin d’avoir une situation dans laquelle on étudie un processus temporel (différence de diffusion dans le temps des postes de télévision, d’où Double Moindre Carrés comme méthode) ; ni même de passer par des gémeaux comme le suggère ns. Un simple modèle Probit ou Logit pourrait faire l’affaire : on testerait la probabilité de réussir scolairement (ou d’atteindre un niveau "études primaires", plutôt qu’un niveau "études secondaires", plutôt qu’un niveau "études supérieures"), ou bien de gagner plus (ou de gagner entre 0 et x euros, plutôt que x à y euros, plutôt que y euros et plus) en fonction de caractéristiques individuelles propres (sexe, position dans la fratrie, signe zodiacal si on veut) et d’autres variables pertinentes (regarder ou non la télévision pendant h1, h2,…, h24 heures, type d’émission regardée, PCS des parents, âge des parents, lieu d’habitation, possession d’autres équipements dans le foyer…). Ces méthodes économétriques permettent de raisonner "toutes choses égales par ailleurs", pourvu que l’échantillon représentatif soit suffisamment grand : à âge donné, à PCS donnée des parents, à zone d’habitation donnée, à type d’émission donnée etc… on peut tester l’influence du nombre d’heures de télévision regardée. On peut même contrôler le biais d’endogénéité : regarde-t-on Arte parce que l’on est éduqué, ou est-on éduqué parce que l’on regarde Arte ?

    Bien d’accord sur le plan général. Mais concrètement, la nature des données (quantité et qualité) nécessaire pour une telle évaluation me semble rédhibitoire. Ne fût-ce que la mesure fiable du temps passé devant la télévision : ce qu’il est nécessaire d’obtenir est plus détaillé que des données médiamétrie, elles-mêmes sujettes à caution. Au total faire une étude sur la base d’expérience naturelle est une sorte de second best.

  10. On peut aussi étudier le rôle de la télévision sur la criminalité. Savez-vous que 87% des assassins ont regardé la télévision dans les 24h qui ont précédé leur passage à l’acte ?

  11. Gizmo, je ne pense pas qu’un Probit règle le problème d’endogénéité, il y a toujours un risque qu’une inobservée impacte à la fois le fait de regarder la télé et la réussite scolaire, même quand on conditionne pour tout plein d’observables.

  12. Très bon article… Mais à lire les commentaires, vous avez un énorme travail de vulgarisation à réaliser 🙂

    @Bertaga, je suis a peu près sur que 99 % des assassins ont pris un repas dans les dernières 24 heures. Et – vous allez rire – à vous suivre, le fait de regarder la télévision permet de diminuer – légèrement – le fait d’assassiner quelqu’un (87 % versus 88,5 %) http://www.mediametrie.fr/fichie...

    @Gizmo, une corrélation statistique est établie avec une marge d’erreur. La démarche est la suivante :
    1) On mesure chacun des phénomènes ;
    2) On normalise chacun de ces phénomènes par une loi normale ;
    3) On mesure ensuite la corrélation entre ces deux phénomènes ;
    4) Les phénomènes sont considérés comme corrélés quand la probabilité qu’ils ne le soient pas est inférieur à un seuil (habituellement 95 %).

    Le 1) est source d’erreur (comment mesurer précisément la consommation télévisuelle ?)
    Le 2) est une hypothèse simplificatrice, qui est fausse dans un certain nombre de cas (voir par exemple le phénomène des vagues scélérates) sans que l’on sache pourquoi.
    Le 3) se fait sur ordinateur, à priori, il n’y a pas de soucis.
    Le 4) est le plus confusant. Si vous travaillez avec deux critères et que vous trouvez une corrélation, vous avez 5 % de chance de faire une erreur. Si vous travaillez avec 30 critères que vous les croisez deux a deux, vous avez 900 corrélations possibles. Et même s’il n’y en a aucune, vous allez en trouver 45.

    @Ns, il n’est pas possible d’expérimenter sur des êtres humains et sur une longue période.

    Je pense que votre interlocutrice est un tantinet au fait de ce genre de techniques :-).

  13. Est-il possible de dire que c’est 2 conséquences d’une même cause provenant du niveau social ou éducatif des familles, ou des problèmes antérieurs d’apprentissage ou de mémoire des enfants plutôt que dire que l’une est la cause de l’autre.

    Ceci explique alors la corrélation entre les 2…

  14. @ Antoine T : le probit ne règle pas le problème en lui-même, mais on peut utiliser des variables instrumentales (je ne pense pas que ce soit le lieu de développer ici, mais ce que je voulais dire, c’est qu’il existe des méthodes qui permettent de circonvenir le biais d’endogénéité)
    @ henriparisien : ce n’est pas parce que je regarde la Nouvelle Star que je suis une buse complète en statistiques et en économétrie. Vous évoquez des corrélations entre variables prises deux à deux, alors que l’intérêt même de l’économétrie est de dépasser cette contrainte. Il est vrai que mon commentaire a été rédigé à la va-vite, qu’il est tout sauf pédagogique et rigoureux. Mais mon message reste le même : pour avoir discuté avec des chercheurs cliniciens en médecine, je suis frappée par leur ignorance des techniques – robustes, même si elles sont perfectibles – économétriques.

  16. Hihi c’est rigolo de voir qu’un gentil parisien explique avec condescendance à Gizmo comment ça marche la grande économie… pauvre Gizmo trahie par Julien !

  17. @Henriparisien : " Les phénomènes sont considérés comme corrélés quand la probabilité qu’ils ne le soient pas est inférieur à un seuil (habituellement 95 %)."

    Quoi ???

  18. @Henriparisien:"Les phénomène sont considérés comme corrélés quand la probabilité qu’ils ne le soient pas est inférieur à un seuil (habituellement 95%)"

    Je pense que votre professeur de statistique au lycée a failli à sa mission de service publique.

    @Delaigue, ce n’est pas parceque ce papier est médiocre qu’il serait pas possible d’apporter une réponse sérieuse à cette question.

  19. > A. Belgodere: Je pense que la citation a le merite d’inclure deux des "outils statistiques" de base les plus mal compris: intervalles de confiance et correlation 🙂

    Si ce n’est pas trop HS, j’aimerais savoir comment est-ce qu’on traite du probleme de variable cachee, de correlation, bref, de trouver les causalites a partir de donnees en economie ? Dans le domaine dans lequel j’evolue, un ouvrage remarquable fait reference sur le sujet, Causality: Models, Reasoning, and Inference, par Pearl. On peut trouver un resume la: http://www.cs.kuleuven.be/~joost/pearlseminar.pdf. Est ce que ce genre de travaux est utilise en economie ? Vu qu’il y a visiblement une certaine "porosite" entre l’economie et l’AI, je me demandais si c’etait utilise en economie aussi ?

  20. Beau billet, très pédagogique. L’humilité est une vertu cardinale chez un scientifique.

    Quand je serais riche, je diffuserai des spot de pub "corrélation ne veut pas dire causalité" sur TF1.

    Enfin quand je serais TRES riche.

  21. Je suis heureux que mon précédent billet vous ait fait rire. Et en particulier les 95 %.

    A ce sujet, il faut rappeler que l’on travaille à partir d’échantillons. Le tirage de ces échantillons entraîne une incertitude qu’il est nécessaire de pondérer. La covariance obtenue à partir de ces échantillons a donc elle aussi une incertitude. Incertitude qui est modélisée à travers une loi normale. On ne retient comme corrélation significative que celles qui sont éloignées de deux écarts types de l’origine (ce qui donne une proba de 5 % de fausse corrélation).

    Sur le fond, nous sommes visiblement en désaccord. Gizmo à l’air persuadé qu’avec un échantillon suffisamment grand et comportant suffisamment de variable on peut déterminer toutes les corrélations aussi légères soient-elles. Mon propos était de souligner qu’au contraire, plus le nombre de variables était élevé et plus la probabilité de mettre en évidence des fausses corrélations était élevée. Et ceux, sans même relever que la fiabilité des donnés diminue toujours avec leur nombre.

    Il y a – à mon sens – un principe d’incertitude en économétrie tout aussi incontournable que celui de la mécanique cantique.

  22. Henriparisien : "Je suis heureux que mon précédent billet vous ait fait rire. Et en particulier les 95 %"

    Moi je n’ai pas ri, seulement cette phrase est fausse.
    1) On ne peut connaître la probabilité que les variables ne soient pas corrélées. La p-value, c’est un peu plus compliqué que ça.
    2) Si on pouvait la calculer, je doute qu’on considérerait que deux variables qui ont 94% de chances de ne pas être corrélées sont corrélées.

    Pour ce qui est de la taille de l’échantillon et du nombre de variables, la clé est le nombre de degrès de liberté. Si l’on dispose d’un échantillon suffisament large, permettant d’introduire beaucoup de variables explicatives, et si le travail de l’économètre est bien fait, alors effectivement, on peut mesurer l’impact d’une variable isolée, et raisonner toutes choses égales par ailleur.
    Il n’en demeure pas moins que, bien sûr, il restera toujours une part d’incertitude et que la prudence est de mise lorsqu’on interprète les résultats.

  23. @Gizmo : Certes, mais en fait le problème reste entier : y a-t-il un instrument crédible ? Difficile avec ce genre de problèmes, surtout en éco de l’éducation où à part la randomisation on est toujours à la merci de critiques sévères (y compris pour les classiques type "taille de classe" ou "mois de naissance").

    @HenriParisien : Je pense que vous ne parlez pas de la même chose. Vous faites référence à des séries de tests de corrélations entre plein de paires de variables, et Gizmo de contrôler pour une série de variable avant de déterminer la relation entre deux autres variables données.

  24. Euh, et si on dit que les enfants regardent plus souvent la télé parce qu’ils sont plus stupides et que donc ils réussissent plus mal leurs études? ok c’est lamentable comme raccourci, mais ce qui m’énerve dans ce genre d’études c’est le raccourci corrélation <–> causalité. Après tout la télé n’est peut-être la cause d’aucun mauvais résultat scolaire EN SOI. Enfin, j’ai peut-être rien compris du tout non plus vous me direz…. Corrigez mon raisonnement le cas échéant!!

  25. "Commenter c’est bien, lire ce que l’on commente avant de le faire, c’est mieux. ce que je critique, c’est la surinterprétation d’un médiocre travail statistique par ses auteurs (qui restent toutefois prudents) et par un journal (qui ne fait preuve d’aucune prudence). Donc je ne comprends pas ce que vous ne comprenez pas. "

    Il me semblait que votre argumentation tenait en quelques grandes articulations qui etaient les suivantes :
    – l’etude citee par le Monde (Johnson et al. 20007) a une methodologie precaire du fait que plus ou moins toute etude statistique l’est… Vous n’y aller pas specialement avec le dos de la cuiller "Ce genre d’article sent vraiment mauvais."
    – a l’appui de votre argumentation vous mettez en avant deux points : 1/3 des articles en medecine sont "faux", et l’etude sur l’influence de la tv a deja ete faite.

    Le fait que 1/3 des articles en medecine sont faux est un argument a double tranchant parce que 2/3 doivent etre ou non-falsifiable ou "vrai", ce qui me penche a penser qu’il vaut mieux parier qu’ un article en question n’est pas faux, ou qu’on ne peut pas le montrer.

    Ensuite l’argument de "cette etude a deja ete faite" suppose deux choses : l’etude Gentzkow et Shapiro (qui par ailleurs a ete renommee et va etre publiee au QJE) a une methodologie sans faille et les deux etudes s’interessent au meme objet.

    Pour ce qui est de la methodo, il est vrai que l’etude de Gentzkow et Shapiro a l’air solide (ce qui n’empeche pas de potentiels biais et difficultes methodo : y’a certaines hypotheses de faites comme toujours…), mais et surtout la recherche d’une experience naturelle (introduction "exogene", enfin presque, des reseaux TV par comtes) fait oublier un principe de base, la TV de la fin des annees 40, debut des annes 50 n’est probablement pas la meme que celle d’aujour’hui, et son usage, devait en partie etre different… En gros, ce que nous donnent ces auteurs c’est l’equivalent d’une etude sur le fait que "Pong" le premier jeu video n’a pas eu d’effet sur les capacites cognitives des adolescents de l’epoque… Or, je pense que personne n’a jamais soutenu cela…

    A contrario, l’etude de Johnson et al. sans etre inattaquable (mais montrez moi un travail statistique qui ne le soit pas), est un travail serieux, mene sur plusieurs annees, en suivant un echantillon consequent d’individus, avec un controle raisonnable d’un certain nombre de variables explicatives…

    Donc, ce que je ne comprends pas c’est la chose suivante, pourquoi s’acharner sur cette pauvre etude epidemiologique sur la base de deux arguments qui me paraissent bien faibles.

    Pour ce qui est du reste et de la precaution necessaire a l’usage des statistiques, je suis parfaitement d’accord mais je ne vois pas tres bien en quoi cette etude epidemio serait plus ou moins representative ou symptomatique de ce probleme…

    Par ailleurs, quant a la mefiance sur les statistiques, je ne suis pas sur que les economistes soient les plus mefiants sur le sujet… J ai souvenir d’une etude de Durkheim sur le suicide il y a quelque temps…

  26. Ce qui me choque dans ces études, c’est la dépersonnalisation. Les élèves ne sont pas des veaux, mais des êtres humains. Leurs motivations sont complexes, mais on ne peut pas en faire de simples cobayes, et mettre en relation le temps passé devant la télé et la réussite, tout simplement parce qu’ils sont de vraies personnes. Quelles émissions regardent-ils? (On les supposent idiotes, mais à supposer qu’elles ne le soient pas….).
    Ceux qui réussissent à l’école réussissent parce qu’ils le veulent. S’ils sont dans des familles aisées, équilibrées, heureuses, et où on accorde de l’importance à l’étude, ils réussiront encore mieux. Mais heureusement, des enfants issus de familles où l’on s’attend à voir surgir des problèmes s’en sortent parfois bien.
    La télé, dans ce contexte, ne joue un rôle que secondaire : comment regarde-t-on la télé? Pour se distraire, les devoirs faits, ou par désoeuvrement?

Commentaires fermés.