Ce week-end, je me suis retrouvé dans une situation inédite : assister au mariage de deux personnes de plus de 60 ans. L’évènement était sympathique, dégagé des inquiétudes qui accompagnent les mariages ordinaires” de gens jeunes dans lesquels on se demande toujours un peu combien de temps ils tiendront. Mais ceux-là, tiendront-ils? Peut-on le savoir?
Il se trouve qu’il y a une réponse d’économiste à cette question – que j’ai découverte aussi ce week-end, en écoutant ce podcast avec Ian Ayres, récent auteur de “Super crunchers” un livre qui va bientôt venir gonfler ma pile de livres à lire. Le livre est une ode à l’analyse statistique moderne, qui permet sur des sujets très variés d’obtenir des analyses largement supérieures à celles des meilleurs experts. des économètres ont ainsi élaboré un outil qui, à partir de quelques données météorologiques simples, permettent de prévoir la qualité du vin de bordeaux de l’année à venir bien mieux que la plupart des experts.
Evidemment, les experts hurlent : le vin, c’est une affaire de goût, de talent, d’expérience, de qualités humaines! c’est oublier une règle de base : l’expertise est très largement surévaluée. Comme l’a montré Philip Tetlock dans son magistral “expert political judgment” les experts d’un domaine, en matière de prévision, font systématiquement moins bien que des singes jetant des fléchettes sur une cible, et surtout, moins bien que des règles simples fondées sur un petit nombre d’indicateurs quantitatifs faciles à trouver. Ayres cite de nombreux exemples dans lesquels de simples règles fondées sur des régressions statistiques donnent des résultats très bons – que les experts d’un domaine, naturellement, refusent d’admettre.
Sur le site personnel de Ian Ayres, on trouve donc tout un tas de modèles de prévisions diverses et variées : combien de temps allez-vous vivre? Quand allez-vous accoucher? Quelle sera la qualité du bordeaux de l’an prochain? etc, etc, toute une série de modèles de prévisions. Il y a même un modèle déterminant la durée potentielle d’un mariage. C’est évidemment celui-là que je suis allé consulter étant donnée mon activité du week-end; je me demande, cependant, s’il est bien prudent de raisonner avec un modèle linéaire pour ce genre de choses : le couple dont j’ai assisté au mariage ce week-end me semble trop éloigné dans les extrêmes pour que le modèle soit très valide. Cela dit, existe-t-il quelque part un meilleur prédicteur? J’en doute.
Pour ce que j’ai entendu du podcast, Ayres semble accorder une confiance excessive aux capacités de méga-analyses statistiques à prévoir l’avenir dans tous les domaines : les économistes, tout particulièrement, ont reçu assez de leçons pour se méfier. Je doute aussi que ces méthodes puissent apporter des réponses définitives pour des questions vraiment importantes et complexes. Mais nous n’en sommes pas là : nous vivons plutôt dans un monde d’experts qui pérorent, font des prévisions à tout bout de champ, et ont un avis définitif sur tout et le reste. Il faudrait rappeler que le bon expert est avant tout celui qui sait qu’il ne sait pas grand-chose, et qui s’abstient de prévoir. Que les modèles mathématiques nous rappellent que les statistiques font mieux que les experts n’est pas une mauvaise chose.
- William Nordhaus, Paul Romer, Nobel d’économie 2018 - 19 octobre 2018
- Arsène Wenger - 21 avril 2018
- Sur classe éco - 11 février 2018
- inégalités salariales - 14 janvier 2018
- Salaire minimum - 18 décembre 2017
- Star wars et la stagnation séculaire - 11 décembre 2017
- Bitcoin! 10 000! 11 000! oh je sais plus quoi! - 4 décembre 2017
- Haro - 26 novembre 2017
- Sur classe éco - 20 novembre 2017
- Les études coûtent-elles assez cher? - 30 octobre 2017
En l’occurence, si on remplace l’âge au moment du mariage par 60 dans la spécification par défaut, la proba prédite d’être toujours marié après 5 ans de mariage est de 177%. Le modèle utilisé est manifestement linéaire 😉
Les résultats pour la probabilité de la durée de mon futur mariage :
2 ans -> 100 %
8 ans -> 80 %
20 ans -> 50%
La forme de cette courbe de survie (c’est à dire de la probabilité de rester marié, le terme de "survie" étant emprunté à l’économétrie des modèles de durée) correspond à la courbe du couple français moyen… dans 10 ans. Mon estimation se base sur une représentation graphique sous forme de courbes de survie (via un tableur) des données de l’insee (http://www.insee.fr/fr/ffc/chifc...
Il n’est pas précisé comment est traité le risque de décès de l’un des époux, ce qui limite l’interprétation au court et moyen-terme.
Une variable explicative qui n’est pas utilisée et qui pourrait biaiser le modèle (si corrélée par exemple avec l’âge de l’épouse) : les durées de l’amité, de la relation amoureuse et/ou de la vie commune avant le mariage.
Et encore il faut savoir utiliser de façon correcte les statistiques. En tant que mathématicien, il m’est souvent arrivé de remarquer, lors de discussions avec des biologistes, des économistes, des sociologues etc, le caractère assez désinvolte avec lequel ils utilisent les outils statistiques.
Un petit exemple très basique: on peut dire qu’en statistique mathématique, on part d’un ensemble de données ET d’une famille de lois. Autrement dit, on se donne une loi ayant telle ou telle propriétée avec des paramètres à déterminer. Prendre une famille de lois (régression linéaire, gaussiennes), c’est déjà prendre position: " ça ressemble à une droite, donc prenons cette famille…" J’ai pu constater que la plupart oublie cette remarque tout à fait élémentaire, alors pour les phénomènes plus subtils…3
Ces prévisions des expert, ne sont-elles un signe supplémentaire que
nous devenons de plus en plus des obsédés de la moyenne ? Ce qu’on vise de
plus en plus, c’est la norme, le milieu, et on rejette toute tentative de
dépassement extrémiste.
Le ventre mou. On est absorbé, ou on rebondit.
La démocratie est-elle liée à ça ?
Je sais, ça dépasse le domaine économique, mais très vite, tout dépasse le
domaine économique.
"les experts d’un domaine, en matière de prévision, font systématiquement moins bien que des singes jetant des fléchettes sur une cible, et surtout, moins bien que des règles simples fondées sur un petit nombre d’indicateurs quantitatifs faciles à trouver. Ayres cite de nombreux exemples dans lesquels de simples règles fondées sur des régressions statistiques donnent des résultats très bons – que les experts d’un domaine, naturellement, refusent d’admettre."
A-t-on jamais envisagé d’appliquer ce raisonnement à l’activité de diagnostic médical des médecins ?
Ca a été fait, avec des résultats. Ce sont des travaux statistiques qui ont montré que les maladies nosocomiales pouvaient être évitées si les médecins se lavaient les mains entre deux patients : les médecins ont considérablement protesté au début, et encore aujourd’hui ne se lavent pas assez les mains. L’autre exemple, c’est un outil de diagnostic de risque d’infarctus, fondé sur 5 paramètres à vérifier simplement, que le personnel infirmier peut faire, outil qui est plus efficace que l’oeil du médecin spécialiste.
Il faut noter qu’il existe une branche des statistiques, dites statistiques Bayésiennes, qui ont pour principe d’associer l’information objective fournie par les données à une information subjective, dite "a priori" (typiquement d’expert). Mathématiquement, on estime ensuite une probabilité a posteriori qui intègre ces deux types d’information.
J’avoue etre un peu dubitatif sur ce types de resultats. Autant, je n’ai pas de doutes qu’on puisse arriver a quelques resultats interessants a l’aide de simples regressions lineaires, autant affirmer que l’on puisse systematiquement faire mieux dans des domaines medicaux en dehors de quelques exceptions…
Sur le coup de l’infarctus, l’exemple est pris d’ou ? Personellement, j’ai toujours entendu exactement l’inverse en IA: en general, on a du mal a faire mieux que les experts dans l’interpretation des symptomes; ca peut aider, mais ca s’arrete la. Les systemes experts ont largement ete des fiasco, et d’autres techniques autrement plus evoluees que les regressions lineaires (reseaux de neurones, processus gaussien, reseaux bayesiens) ont le plus souvent genere des resultats aussi peu probants.
En fait, le type de questions que ces systemes peuvent assez systematiquement resoudre est difficile a comprendre. Certaines questions qui paraissent tres difficiles sont assez faciles a resoudre par des methodes relativement ‘simples’ (interpretation des tests ADN aux tribunaux), et plus interessant du point de vue du chercheur peut etre, un grand nombre de questions en apparance triviales sont aujourd’hui, impossible a resoudre.
Disons que je serais bien plus prudent encore que vous sur les analyses statistiques. L’economie n’est pas la seule discipline a avoir souffert de ‘revolutions’ a base d’outils statistiques et autres qui ont jusqu’a maintenant toujours beaucoup moins bien encaisse la generalisation que prevu (les reseaux de neurones etant l’exemple type en IA).
Apres, je comprends bien que le but de l’article est de mettre en cause les experts et cie 🙂