{"id":7065,"date":"2008-03-15T21:14:17","date_gmt":"2008-03-15T21:14:17","guid":{"rendered":"http:\/\/127.0.0.1\/import\/?p=1065"},"modified":"2008-03-15T21:14:17","modified_gmt":"2008-03-15T21:14:17","slug":"loterie-du-bac-ou-loterie-de-la-recherche-apres-le-maljournalisme-la-malrecherche","status":"publish","type":"post","link":"https:\/\/econoclaste.eu\/econoclaste\/loterie-du-bac-ou-loterie-de-la-recherche-apres-le-maljournalisme-la-malrecherche\/","title":{"rendered":"Loterie du bac ou loterie de la recherche ? Apr\u00e8s le maljournalisme, la malrecherche ?"},"content":{"rendered":"

J’avais signal\u00e9<\/a> \u00e0 quel point certaines simplifications journalistiques dans le recensement d’une \u00e9tude sur la notation au bac me laissaient perplexe. Bien s\u00fbr, apr\u00e8s la d\u00e9p\u00eache mentionn\u00e9e, toute la presse s’est empress\u00e9e de se saisir du scoop, ann\u00e9e du bicentenaire du bac oblige. J’ai d\u00e9j\u00e0 eu l’occasion de dire modestement mes doutes<\/a> sur la question du bac, me rangeant \u00e0 l’id\u00e9e que si le bac continue \u00e0 \u00eatre organis\u00e9 de la m\u00eame fa\u00e7on, ce n’est pas parce qu’il est utile pour les candidats qu’il en aille ainsi, mais plus certainement parce qu’il existe une demande sociale \u00e0 ce sujet, totalement d\u00e9connect\u00e9e de la r\u00e9alit\u00e9 avanc\u00e9e. Demande sociale qu’il ne m’appartient pas d’\u00e9valuer (apr\u00e8s tout, il y a des gens qui veulent d\u00e9penser de l’argent public pour la coupe du monde de football ou des jeux olympiques, ce qui co\u00fbte pas mal d’ann\u00e9es d’organisation du bac). L’affaire des \u00e9carts de notation rebondit aujourd’hui suite \u00e0 un courrier re\u00e7u ce matin et adress\u00e9 \u00e0 divers organes de presse.<\/p>\n

Ce courrier, si j’ai bien compris, est une lettre ouverte, cosign\u00e9e par un inspecteur p\u00e9dagogique r\u00e9gional de l’acad\u00e9mie de Dijon et deux enseignants de SES ayant organis\u00e9 un stage consacr\u00e9 \u00e0 l’\u00e9valuation. Stage durant lequel Bruno Suchaut est intervenu et \u00e0 l’issu duquel il a r\u00e9cup\u00e9r\u00e9 des informations ensuite r\u00e9utilis\u00e9es pour son \u00e9tude. Je vous laisse lire le reste. Mes commentaires personnels sont \u00e0 la fin.<\/p>\n

\n

Dijon, le 13 mars 2008<\/p>\n

Alain Debrabant
\nI.P.R. de Sciences Economiques et Sociales
\nAcad\u00e9mie de Dijon<\/p>\n

Fran\u00e7oise Paindavoine-Toulot<\/p>\n

Professeur de Sciences \u00e9conomiques et sociales<\/p>\n

Lyc\u00e9e Hippolyte Fontaine<\/p>\n

21000 Dijon<\/p>\n

Pascal Parmantier<\/p>\n

Professeur de Sciences \u00e9conomiques et sociales<\/p>\n

Lyc\u00e9e Pontus de Tyard<\/p>\n

71100 Chalon sur Sa\u00f4ne<\/p>\n<\/p>\n

MISE AU POINT SUITE A L\u2019ARTICLE DE BRUNO SUCHAUT :<\/strong><\/p>\n

La loterie des notes au bac<\/p>\n

Un r\u00e9examen de l\u2019arbitraire de la notation des \u00e9l\u00e8ves<\/p>\n

Bruno Suchaut<\/p>\n

Ir\u00e9du-CNRS et Universit\u00e9 de Bourgogne<\/p>\n

Mars 2008<\/p>\n

Un chercheur malhonn\u00eate en mal de sensationnalisme<\/strong><\/p>\n

Le Bac n\u2019est pas une loterie<\/p>\n

Les donn\u00e9es fournies par Bruno Suchaut dans son article sont des donn\u00e9es qu\u2019il s\u2019est appropri\u00e9es mais il n\u2019a en aucun cas construit le protocole scientifique de son article.
\nRevenons \u00e0 la r\u00e9alit\u00e9 et au contexte dans lequel ces donn\u00e9es lui sont parvenues.<\/p>\n

En juin 2005 Alain Debrabant : IPR de l\u2019Acad\u00e9mie de Dijon a command\u00e9 \u00e0 Fran\u00e7oise Paindavoine-Toulot et \u00e0 Pascal Parmantier l\u2019animation d\u2019un stage concernant la probl\u00e9matique de l\u2019\u00e9valuation au bac afin d\u2019harmoniser nos pratiques (construction d\u2019une grille de correction commune et socialisation \u00e0 l\u2019\u00e9valuation).
\nLes deux enseignants en SES ont d\u00e8s le mois de septembre d\u00e9but\u00e9 une r\u00e9flexion sur l\u2019organisation de ce stage.
\nAfin de pr\u00e9parer les coll\u00e8gues \u00e0 la probl\u00e9matique de l\u2019\u00e9valuation nous leur avons fait parvenir d\u00e8s le mois d\u2019octobre 3 copies de bac ( not\u00e9es respectivement : copie 1 : 10 copie 2 : 8 et copie 3 : 14)
\nLes coll\u00e8gues devaient corriger et nous renvoyer les notes (ou une fourchette de notes) et des appr\u00e9ciations beaucoup plus compl\u00e8tes que celles mises sur les copies de bac.
\nNous avons consign\u00e9 toutes les notes dans un tableau et r\u00e9sum\u00e9 (le chercheur n\u2019a pas eu acc\u00e8s aux appr\u00e9ciations in extenso) toutes les appr\u00e9ciations dans un autre (14 pages en format word) ; ce qui nous a demand\u00e9 un travail tr\u00e8s important.<\/p>\n

D\u00e9but janvier 2006 nous avons fait parvenir le tableau r\u00e9capitulatif des notes \u00e0 Bruno Suchaut pour qu\u2019il puisse en faire un traitement statistique (moyenne, note modale, \u00e9cart-type, laxisme \u2013 s\u00e9v\u00e9rit\u00e9 des correcteurs\u2026) et pour qu\u2019il intervienne le mardi 24 janvier 2006 \u00e0 l\u2019IUFM.<\/p>\n

Son intervention, de qualit\u00e9, a dur\u00e9 une heure, il nous a pr\u00e9sent\u00e9 ses conclusions sur les notes et surtout a remis dans un contexte historique et sociologique la probl\u00e9matique de l\u2019\u00e9valuation au bac. En revanche, nous avons diss\u00e9qu\u00e9 les appr\u00e9ciations puisqu\u2019il ne les poss\u00e9dait pas in extenso.<\/p>\n

En septembre 2007 , Alain Debrabant souhaitant continuer la r\u00e9flexion de l\u2019\u00e9valuation au bac dans l\u2019acad\u00e9mie de Besan\u00e7on a propos\u00e9 aux coll\u00e8gues de Besan\u00e7on de se mettre en contact avec Fran\u00e7oise Paindavoine \u2013 Toulot, pour b\u00e9n\u00e9ficier de tous les documents du stage de janvier 2006 et elle a propos\u00e9 aux coll\u00e8gues de contacter le chercheur.<\/p>\n

Nous regrettons :<\/p>\n

M.Suchaut assimile copie de bac et notation au bac. Les notes qu\u2019il a utilis\u00e9es pour sa d\u00e9monstration ne sont pas des notes de bac qui auraient \u00e9t\u00e9 donn\u00e9es \u00e0 Dijon. Le stage en question ne visait qu\u2019\u00e0 corriger 3 copies de bac (au lieu de 50 \u00e0 70 en juin), en janvier 2006 (donc sans enjeu pour les \u00e9l\u00e8ves concern\u00e9s qui avaient pass\u00e9 leur bac en juin 2005), avec des coll\u00e8gues dont certains \u00e9taient peu exp\u00e9riment\u00e9s. L\u2019objectif final \u00e9tait justement de limiter les \u00e9carts de note pour la session suivante. Ce stage a d\u2019ailleurs d\u00e9bouch\u00e9 sur des am\u00e9liorations de la grille de notation habituellement utilis\u00e9e dans l\u2019acad\u00e9mie.<\/p>\n

Il n\u2019a pas pris la peine de se renseigner sur les proc\u00e9dures en vigueur au moment de la correction du bac. Une commission d\u2019entente a d\u2019abord lieu pour d\u00e9finir des crit\u00e8res communs de correction. Une commission d\u2019harmonisation se r\u00e9unit ensuite (proc\u00e9dure internet depuis la session 2007) en milieu de correction pour \u00e9viter les \u00e9carts manifestes entre correcteurs. Elle est l\u2019occasion de relire des copies en commun et d\u2019\u00e9ventuelles rectifications de notes. Dans ces conditions, on ne peut pas et on ne doit pas tirer de conclusion d\u00e9finitive sur le d\u00e9roulement et les r\u00e9sultats de l\u2019examen \u00e0 partir d\u2019une exp\u00e9rience r\u00e9alis\u00e9e durant un stage.<\/p>\n

Enfin, M.Suchaut a utilis\u00e9 les r\u00e9sultats de notre travail sans jamais en avoir demand\u00e9 l\u2019autorisation et \u00e0 des fins qui n\u2019ont rien \u00e0 voir avec l\u2019objectif de notre stage. Il se trouve que le document en question (tableau des notes des 34 correcteurs de l\u2019acad\u00e9mie 1 selon l\u2019article), \u00e9tabli par nos soins, \u00e9tait \u00e0 usage interne et n\u2019a m\u00eame pas \u00e9t\u00e9 diffus\u00e9 \u00e0 tous les professeurs de SES.<\/p>\n

Nous ne sommes pas des n\u00e9ophytes en mati\u00e8re de sociologie scolaire<\/strong><\/p>\n

Nous avons lu les travaux s\u00e9rieux d\u2019E.Chatel, de P.Merle et bien d\u2019autres (dont des \u00e9tudes fort int\u00e9ressantes de l\u2019IREDU) donc nous ne pouvons accepter la d\u00e9sinvolture de M.Suchaut. De tels travaux sont de nature \u00e0 discr\u00e9diter une discipline de l\u2019enseignement secondaire mais \u00e9galement la recherche universitaire Nous sommes interpell\u00e9s et nous interrogeons quant \u00e0 la valeur de cet article de recherche prenant les atours d\u2019un article \u00e0 sensation<\/p>\n

Nous ne pr\u00e9tendons pas arriver \u00e0 une notation parfaite (la \u00ab vraie \u00bb note) le jour du bac mais nous sommes trop sensibles aux enjeux de cette notation pour les \u00e9l\u00e8ves et leurs familles pour ne pas travailler \u00e0 l\u2019am\u00e9lioration de notre \u00e9valuation.<\/p>\n

Au cours des \u00e9changes courriels, tout au long de cette p\u00e9riode nous n\u2019avons pas eu d\u2019informations sur les intentions du chercheur de publier un article \u00e0 partir de nos donn\u00e9es et du travail que nous avons effectu\u00e9 (et qui avait demand\u00e9 un travail tr\u00e8s important)<\/p>\n

Mise au point<\/strong><\/p>\n

Bruno Suchaut n\u2019a absolument pas particip\u00e9 \u00e0 la construction du protocole des 3 stages.
\nBruno Suchaut par ses m\u00e9thodes d\u00e9cr\u00e9dibilise la recherche en sociologie et l’IREDU qui n’ont rien \u00e0 voir avec de telles m\u00e9thodes:<\/p>\n

Il prend une information<\/p>\n

Il manipule cette information<\/p>\n

Il analyse cette information \u00e0 des fins incertaines<\/p>\n

Il s\u2019est appropri\u00e9 le travail d\u2019autrui pour tirer des conclusions exp\u00e9ditives stigmatisant une profession et fragilisant une institution majeure du syst\u00e8me \u00e9ducatif.<\/p>\n

Le d\u00e9roulement exact de l’avant stage<\/strong><\/p>\n

M. Suchaut n’a pas collect\u00e9 les 3 copies de bac, n’a pas \u00e9crit aux collegues participants au stage afin qu’ils corrigent les copies, n’a pas la liste des coll\u00e8gues et c’est par le canal de notre hi\u00e9rarchie que les copies sont parvenues aux coll\u00e8gues, il n’a pas collect\u00e9 et depouill\u00e9 toutes les notes et appr\u00e9ciations.
\nIl n’a pas particip\u00e9 \u00e0 l’organisation du stage et \u00e0 l’originalit\u00e9 de sa conception.
\nIl est intervenu une heure ( 1\/4h compte rendu sur les notes et syntheses d’appr\u00e9ciation fournies par nos soins avant le stage) et 3\/4 d’heure sur la mise en perspective de l’\u00e9valuation ( historique…)
\nIl ne nous a jamais demand\u00e9 l’autorisation de travailler, \u00e0 son \u00e9chelle, sur les donn\u00e9es collect\u00e9es par nous m\u00eames.
\nL’objectif de nos stages est d’ameliorer entre nous notre socialisation \u00e0 l’evaluation ( et nous y parvenons). Notre exercice \u00e9tait sorti du contexte r\u00e9el du bac.
\nNous regrettons cette imposture intellectuelle, nous regrettons que notre travail ait pu \u00eatre repris \u00e0 des fins incertaines et qui n’engage que ce \u00ab\u00a0chercheur\u00a0\u00bb.
\nLa m\u00e9thode est choquante.<\/p>\n<\/blockquote>\n

Mes commentaires<\/strong><\/p>\n

J’ai lu un peu plus en d\u00e9tail l’\u00e9tude. Je suis effectivement \u00e9tonn\u00e9 par l’absence de certaines pr\u00e9cautions m\u00e9thodologiques qui me semblent \u00e9l\u00e9mentaires. Aucune r\u00e9serve possible n’est \u00e9voqu\u00e9e quant \u00e0 la s\u00e9lection des copies de bac. On suppose la note attribu\u00e9e valide, alors m\u00eame qu’on cherche \u00e0 montrer des lacunes dans l’\u00e9valuation des notes du bac.<\/p>\n

Il y a visiblement un \u00e9cart entre les notes r\u00e9put\u00e9es obtenues par les copies, d’apr\u00e8s les enseignants auteurs de la lettre et l’auteur de l’\u00e9tude. Sans que les \u00e9carts soient dramatiques, ils m’\u00e9tonnent. C’est un d\u00e9tail qui peut t\u00e9moigner d’une certaine facilit\u00e9 dans la r\u00e9alisation de l’\u00e9tude.<\/p>\n

A aucun moment n’est pris en compte le contexte de l’\u00e9valuation. Outre les remarques fort justement formul\u00e9es concernant les protocoles d’harmonisation au bac, comment sont s\u00e9lectionn\u00e9s les enseignants ? Apr\u00e8s tout, on peut tout \u00e0 fait logiquement imaginer que sont invit\u00e9s \u00e0 ce stage des enseignants qui rencontrent des difficult\u00e9s d’\u00e9valuation, soit en raison de leur jeune exp\u00e9rience, soit de fa\u00e7on r\u00e9currente (il faut ainsi savoir qu’un enseignant rep\u00e9r\u00e9 en juin pour avoir commis un carnage dans son jury de bac peut \u00eatre convoqu\u00e9 d’office en stage d’\u00e9valuation l’ann\u00e9e suivante ; je vous laisse imaginer l’\u00e9tat d’esprit du mec). Pas \u00e9tonnant de trouver des aberrations.<\/p>\n

Dans quel contexte \u00e9valuent-ils fictivement ces copies ? Comme le rappellent les auteurs de la lettre, corriger en examen et en formation est tr\u00e8s diff\u00e9rent (voire m\u00eame pendant l’ann\u00e9e. Comme je le dis \u00e0 mes \u00e9l\u00e8ves : \u00ab\u00a0recomptez bien vos points quand je rends les devoirs, je garde mes neurones pour les examens\u00a0\u00bb). Je le confirme \u00e0 titre personnel (l’anecdote que je rapportais sur ma participation – obligatoire – \u00e0 une exp\u00e9rience de ce type est parlante). C’est \u00e0 mon sens la lacune la plus fondamentale de l’\u00e9tude. En gros, il ne sait pas si les enseignants pr\u00e9sents en avaient tout simplement quelque chose \u00e0 foutre. Mais au del\u00e0 de \u00e7a, on peut imaginer tout un tas de biais psychologiques qui font que la mani\u00e8re d’\u00e9valuer trois copies dans un groupe de travail r\u00e9duit et sans enjeu particulier sera diff\u00e9rente de la fa\u00e7on de faire le jour du bac. Le prof qui veut faire du bruit pendant une telle formation peut le faire ais\u00e9ment, sans cons\u00e9quences. Durant le bac, se vanter de d\u00e9molir et le faire effectivement peut lui causer quelques menus soucis.<\/p>\n

J’ai relev\u00e9 une observation qui montre \u00e0 quel point cette m\u00e9connaissance du contexte conduit au ridicule. C’est le cas de l’interpr\u00e9tation des appr\u00e9ciations port\u00e9es sur les copies. Suchaut est frapp\u00e9 par le fait que les copies les plus mal not\u00e9es sont aussi celles qui contiennent les commentaires les plus longs. Outre qu’on ne comprend pas vraiment – pas du tout, en fait – quelles conclusions il en tire, cet \u00e9tonnement est d’un rare burlesque. Cette tendance se justifie par deux raisons compl\u00e9mentaires. Les enseignants sont habitu\u00e9s \u00e0 justifier plus pr\u00e9cis\u00e9ment les griefs port\u00e9s \u00e0 une copie quand la note est jug\u00e9e mauvaise par rapport \u00e0 la barre de 10\/20 ou \u00e0 la moyenne usuelle de l’examen. La premi\u00e8re raison concerne la perspective de l’\u00e9chec \u00e0 l’examen : encas d’\u00e9chec, un candidat recal\u00e9 pourra toujours tirer les le\u00e7ons de son \u00e9chec \u00e0 partir des appr\u00e9ciations, s’il demande \u00e0 consulter la feuille d’\u00e9valuation remplie par le jury. D’autre part, l’autre explication, compl\u00e9mentaire de la premi\u00e8re, tient au fait qu’en cas de contestation, une appr\u00e9ciation d\u00e9taill\u00e9e sera un \u00e9l\u00e9ment apport\u00e9 au dossier. Et, je vous le confirme, quand il m’arrive de mettre 4\/20 dans certaines \u00e9preuves, je fais une grosse tartine. C’est normal. Et comme c’est normal, les profs le font plut\u00f4t consciencieusement. Pas \u00e9tonnant que l’auteur puisse \u00e9tablir une corr\u00e9lation (si, si, je vous assure, il s’est fendu d’une corr\u00e9lation qui semble l’avoir impressionn\u00e9)… Je peux m\u00eame lui assurer que la causalit\u00e9 est r\u00e9elle, allant de la note \u00e0 la longueur de l’appr\u00e9ciation.<\/p>\n

Finalement, se succ\u00e8dent des analyses statistiques de base, dont la pertinence en termes de protocole exp\u00e9rimental, on l’a vu, surprend quand on est, ne serait-ce qu’un peu, habitu\u00e9 \u00e0 lire des \u00e9tudes de ce type. Le plus surprenant est l’assurance des conclusions. Aucune place pour le doute, pas de renvoi \u00e0 des approfondissements \u00e9ventuels, pas m\u00eame une simple remarque de bon sens : un test sur deux acad\u00e9mies, 66 correcteurs corrigeant deux groupes de copies diff\u00e9rentes (donc, disons 33 sur chaque groupe), ben c’est un peu limit\u00e9. Aucune remise en perspective de la mati\u00e8re, non plus. Pas la moindre trace de commentaires concernant les r\u00e9sultats \u00e0 explorer dans d’autres disciplines, dans d’autres contextes exp\u00e9rimentaux. C’est simple, je crois que j’aurais pu la faire cette \u00e9tude. Les motifs incertains que les auteurs de la lettre \u00e9voquent me semblent assez clairs, cela dit : faire buzzer comme un malade. Ca a march\u00e9. Mais \u00e7a ne nous fait gu\u00e8re avancer sur la question du bac…<\/p>\n","protected":false},"excerpt":{"rendered":"

J’avais signal\u00e9 \u00e0 quel point certaines simplifications journalistiques dans le recensement d’une \u00e9tude sur la notation au bac me laissaient perplexe. Bien s\u00fbr, apr\u00e8s la d\u00e9p\u00eache mentionn\u00e9e, toute la presse s’est empress\u00e9e de se saisir du scoop, ann\u00e9e du bicentenaire du bac oblige. J’ai d\u00e9j\u00e0 eu l’occasion de dire modestement (Lire la suite…)<\/a><\/p>\n<\/div>","protected":false},"author":2,"featured_media":59424,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-7065","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blablabla"],"_links":{"self":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts\/7065","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/comments?post=7065"}],"version-history":[{"count":0,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/posts\/7065\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/media\/59424"}],"wp:attachment":[{"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/media?parent=7065"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/categories?post=7065"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/econoclaste.eu\/econoclaste\/wp-json\/wp\/v2\/tags?post=7065"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}