Loterie du bac ou loterie de la recherche ? Après le maljournalisme, la malrecherche ?

J’avais signalé à quel point certaines simplifications journalistiques dans le recensement d’une étude sur la notation au bac me laissaient perplexe. Bien sûr, après la dépêche mentionnée, toute la presse s’est empressée de se saisir du scoop, année du bicentenaire du bac oblige. J’ai déjà eu l’occasion de dire modestement mes doutes sur la question du bac, me rangeant à l’idée que si le bac continue à être organisé de la même façon, ce n’est pas parce qu’il est utile pour les candidats qu’il en aille ainsi, mais plus certainement parce qu’il existe une demande sociale à ce sujet, totalement déconnectée de la réalité avancée. Demande sociale qu’il ne m’appartient pas d’évaluer (après tout, il y a des gens qui veulent dépenser de l’argent public pour la coupe du monde de football ou des jeux olympiques, ce qui coûte pas mal d’années d’organisation du bac). L’affaire des écarts de notation rebondit aujourd’hui suite à un courrier reçu ce matin et adressé à divers organes de presse.

Ce courrier, si j’ai bien compris, est une lettre ouverte, cosignée par un inspecteur pédagogique régional de l’académie de Dijon et deux enseignants de SES ayant organisé un stage consacré à l’évaluation. Stage durant lequel Bruno Suchaut est intervenu et à l’issu duquel il a récupéré des informations ensuite réutilisées pour son étude. Je vous laisse lire le reste. Mes commentaires personnels sont à la fin.

Dijon, le 13 mars 2008

Alain Debrabant
I.P.R. de Sciences Economiques et Sociales
Académie de Dijon

Françoise Paindavoine-Toulot

Professeur de Sciences économiques et sociales

Lycée Hippolyte Fontaine

21000 Dijon

Pascal Parmantier

Professeur de Sciences économiques et sociales

Lycée Pontus de Tyard

71100 Chalon sur Saône

MISE AU POINT SUITE A L’ARTICLE DE BRUNO SUCHAUT :

La loterie des notes au bac

Un réexamen de l’arbitraire de la notation des élèves

Bruno Suchaut

Irédu-CNRS et Université de Bourgogne

Mars 2008

Un chercheur malhonnête en mal de sensationnalisme

Le Bac n’est pas une loterie

Les données fournies par Bruno Suchaut dans son article sont des données qu’il s’est appropriées mais il n’a en aucun cas construit le protocole scientifique de son article.
Revenons à la réalité et au contexte dans lequel ces données lui sont parvenues.

En juin 2005 Alain Debrabant : IPR de l’Académie de Dijon a commandé à Françoise Paindavoine-Toulot et à Pascal Parmantier l’animation d’un stage concernant la problématique de l’évaluation au bac afin d’harmoniser nos pratiques (construction d’une grille de correction commune et socialisation à l’évaluation).
Les deux enseignants en SES ont dès le mois de septembre débuté une réflexion sur l’organisation de ce stage.
Afin de préparer les collègues à la problématique de l’évaluation nous leur avons fait parvenir dès le mois d’octobre 3 copies de bac ( notées respectivement : copie 1 : 10 copie 2 : 8 et copie 3 : 14)
Les collègues devaient corriger et nous renvoyer les notes (ou une fourchette de notes) et des appréciations beaucoup plus complètes que celles mises sur les copies de bac.
Nous avons consigné toutes les notes dans un tableau et résumé (le chercheur n’a pas eu accès aux appréciations in extenso) toutes les appréciations dans un autre (14 pages en format word) ; ce qui nous a demandé un travail très important.

Début janvier 2006 nous avons fait parvenir le tableau récapitulatif des notes à Bruno Suchaut pour qu’il puisse en faire un traitement statistique (moyenne, note modale, écart-type, laxisme – sévérité des correcteurs…) et pour qu’il intervienne le mardi 24 janvier 2006 à l’IUFM.

Son intervention, de qualité, a duré une heure, il nous a présenté ses conclusions sur les notes et surtout a remis dans un contexte historique et sociologique la problématique de l’évaluation au bac. En revanche, nous avons disséqué les appréciations puisqu’il ne les possédait pas in extenso.

En septembre 2007 , Alain Debrabant souhaitant continuer la réflexion de l’évaluation au bac dans l’académie de Besançon a proposé aux collègues de Besançon de se mettre en contact avec Françoise Paindavoine – Toulot, pour bénéficier de tous les documents du stage de janvier 2006 et elle a proposé aux collègues de contacter le chercheur.

Nous regrettons :

M.Suchaut assimile copie de bac et notation au bac. Les notes qu’il a utilisées pour sa démonstration ne sont pas des notes de bac qui auraient été données à Dijon. Le stage en question ne visait qu’à corriger 3 copies de bac (au lieu de 50 à 70 en juin), en janvier 2006 (donc sans enjeu pour les élèves concernés qui avaient passé leur bac en juin 2005), avec des collègues dont certains étaient peu expérimentés. L’objectif final était justement de limiter les écarts de note pour la session suivante. Ce stage a d’ailleurs débouché sur des améliorations de la grille de notation habituellement utilisée dans l’académie.

Il n’a pas pris la peine de se renseigner sur les procédures en vigueur au moment de la correction du bac. Une commission d’entente a d’abord lieu pour définir des critères communs de correction. Une commission d’harmonisation se réunit ensuite (procédure internet depuis la session 2007) en milieu de correction pour éviter les écarts manifestes entre correcteurs. Elle est l’occasion de relire des copies en commun et d’éventuelles rectifications de notes. Dans ces conditions, on ne peut pas et on ne doit pas tirer de conclusion définitive sur le déroulement et les résultats de l’examen à partir d’une expérience réalisée durant un stage.

Enfin, M.Suchaut a utilisé les résultats de notre travail sans jamais en avoir demandé l’autorisation et à des fins qui n’ont rien à voir avec l’objectif de notre stage. Il se trouve que le document en question (tableau des notes des 34 correcteurs de l’académie 1 selon l’article), établi par nos soins, était à usage interne et n’a même pas été diffusé à tous les professeurs de SES.

Nous ne sommes pas des néophytes en matière de sociologie scolaire

Nous avons lu les travaux sérieux d’E.Chatel, de P.Merle et bien d’autres (dont des études fort intéressantes de l’IREDU) donc nous ne pouvons accepter la désinvolture de M.Suchaut. De tels travaux sont de nature à discréditer une discipline de l’enseignement secondaire mais également la recherche universitaire Nous sommes interpellés et nous interrogeons quant à la valeur de cet article de recherche prenant les atours d’un article à sensation

Nous ne prétendons pas arriver à une notation parfaite (la « vraie » note) le jour du bac mais nous sommes trop sensibles aux enjeux de cette notation pour les élèves et leurs familles pour ne pas travailler à l’amélioration de notre évaluation.

Au cours des échanges courriels, tout au long de cette période nous n’avons pas eu d’informations sur les intentions du chercheur de publier un article à partir de nos données et du travail que nous avons effectué (et qui avait demandé un travail très important)

Mise au point

Bruno Suchaut n’a absolument pas participé à la construction du protocole des 3 stages.
Bruno Suchaut par ses méthodes décrédibilise la recherche en sociologie et l’IREDU qui n’ont rien à voir avec de telles méthodes:

Il prend une information

Il manipule cette information

Il analyse cette information à des fins incertaines

Il s’est approprié le travail d’autrui pour tirer des conclusions expéditives stigmatisant une profession et fragilisant une institution majeure du système éducatif.

Le déroulement exact de l’avant stage

M. Suchaut n’a pas collecté les 3 copies de bac, n’a pas écrit aux collegues participants au stage afin qu’ils corrigent les copies, n’a pas la liste des collègues et c’est par le canal de notre hiérarchie que les copies sont parvenues aux collègues, il n’a pas collecté et depouillé toutes les notes et appréciations.
Il n’a pas participé à l’organisation du stage et à l’originalité de sa conception.
Il est intervenu une heure ( 1/4h compte rendu sur les notes et syntheses d’appréciation fournies par nos soins avant le stage) et 3/4 d’heure sur la mise en perspective de l’évaluation ( historique…)
Il ne nous a jamais demandé l’autorisation de travailler, à son échelle, sur les données collectées par nous mêmes.
L’objectif de nos stages est d’ameliorer entre nous notre socialisation à l’evaluation ( et nous y parvenons). Notre exercice était sorti du contexte réel du bac.
Nous regrettons cette imposture intellectuelle, nous regrettons que notre travail ait pu être repris à des fins incertaines et qui n’engage que ce “chercheur”.
La méthode est choquante.

Mes commentaires

J’ai lu un peu plus en détail l’étude. Je suis effectivement étonné par l’absence de certaines précautions méthodologiques qui me semblent élémentaires. Aucune réserve possible n’est évoquée quant à la sélection des copies de bac. On suppose la note attribuée valide, alors même qu’on cherche à montrer des lacunes dans l’évaluation des notes du bac.

Il y a visiblement un écart entre les notes réputées obtenues par les copies, d’après les enseignants auteurs de la lettre et l’auteur de l’étude. Sans que les écarts soient dramatiques, ils m’étonnent. C’est un détail qui peut témoigner d’une certaine facilité dans la réalisation de l’étude.

A aucun moment n’est pris en compte le contexte de l’évaluation. Outre les remarques fort justement formulées concernant les protocoles d’harmonisation au bac, comment sont sélectionnés les enseignants ? Après tout, on peut tout à fait logiquement imaginer que sont invités à ce stage des enseignants qui rencontrent des difficultés d’évaluation, soit en raison de leur jeune expérience, soit de façon récurrente (il faut ainsi savoir qu’un enseignant repéré en juin pour avoir commis un carnage dans son jury de bac peut être convoqué d’office en stage d’évaluation l’année suivante ; je vous laisse imaginer l’état d’esprit du mec). Pas étonnant de trouver des aberrations.

Dans quel contexte évaluent-ils fictivement ces copies ? Comme le rappellent les auteurs de la lettre, corriger en examen et en formation est très différent (voire même pendant l’année. Comme je le dis à mes élèves : “recomptez bien vos points quand je rends les devoirs, je garde mes neurones pour les examens”). Je le confirme à titre personnel (l’anecdote que je rapportais sur ma participation – obligatoire – à une expérience de ce type est parlante). C’est à mon sens la lacune la plus fondamentale de l’étude. En gros, il ne sait pas si les enseignants présents en avaient tout simplement quelque chose à foutre. Mais au delà de ça, on peut imaginer tout un tas de biais psychologiques qui font que la manière d’évaluer trois copies dans un groupe de travail réduit et sans enjeu particulier sera différente de la façon de faire le jour du bac. Le prof qui veut faire du bruit pendant une telle formation peut le faire aisément, sans conséquences. Durant le bac, se vanter de démolir et le faire effectivement peut lui causer quelques menus soucis.

J’ai relevé une observation qui montre à quel point cette méconnaissance du contexte conduit au ridicule. C’est le cas de l’interprétation des appréciations portées sur les copies. Suchaut est frappé par le fait que les copies les plus mal notées sont aussi celles qui contiennent les commentaires les plus longs. Outre qu’on ne comprend pas vraiment – pas du tout, en fait – quelles conclusions il en tire, cet étonnement est d’un rare burlesque. Cette tendance se justifie par deux raisons complémentaires. Les enseignants sont habitués à justifier plus précisément les griefs portés à une copie quand la note est jugée mauvaise par rapport à la barre de 10/20 ou à la moyenne usuelle de l’examen. La première raison concerne la perspective de l’échec à l’examen : encas d’échec, un candidat recalé pourra toujours tirer les leçons de son échec à partir des appréciations, s’il demande à consulter la feuille d’évaluation remplie par le jury. D’autre part, l’autre explication, complémentaire de la première, tient au fait qu’en cas de contestation, une appréciation détaillée sera un élément apporté au dossier. Et, je vous le confirme, quand il m’arrive de mettre 4/20 dans certaines épreuves, je fais une grosse tartine. C’est normal. Et comme c’est normal, les profs le font plutôt consciencieusement. Pas étonnant que l’auteur puisse établir une corrélation (si, si, je vous assure, il s’est fendu d’une corrélation qui semble l’avoir impressionné)… Je peux même lui assurer que la causalité est réelle, allant de la note à la longueur de l’appréciation.

Finalement, se succèdent des analyses statistiques de base, dont la pertinence en termes de protocole expérimental, on l’a vu, surprend quand on est, ne serait-ce qu’un peu, habitué à lire des études de ce type. Le plus surprenant est l’assurance des conclusions. Aucune place pour le doute, pas de renvoi à des approfondissements éventuels, pas même une simple remarque de bon sens : un test sur deux académies, 66 correcteurs corrigeant deux groupes de copies différentes (donc, disons 33 sur chaque groupe), ben c’est un peu limité. Aucune remise en perspective de la matière, non plus. Pas la moindre trace de commentaires concernant les résultats à explorer dans d’autres disciplines, dans d’autres contextes expérimentaux. C’est simple, je crois que j’aurais pu la faire cette étude. Les motifs incertains que les auteurs de la lettre évoquent me semblent assez clairs, cela dit : faire buzzer comme un malade. Ca a marché. Mais ça ne nous fait guère avancer sur la question du bac…

• Derniers articles

Stéphane Ménia

"Je suis l'absence totale d'optimalité de Jack." Pour en savoir plus sur moi, cliquez ici.

• Sur le passeport vaccinal - 18 mai 2021
• Laissez le temps de travail en paix - 19 mai 2020
• Élinor Ostrom, le Covid-19 et le déconfinement - 16 mai 2020
• Ne tuons pas l’enseignement à distance. Optimisons-le - 15 mai 2020
• Quelques commentaires sur les évaluations à l’arrache des systèmes de santé en pleine épidémie - 9 mai 2020
• Du bon usage du supposé dilemme santé vs économie - 9 mai 2020
• Le problème avec la courbe. Édition Covid-19 - 4 mai 2020
• Reprise d’activité - 21 avril 2020
• Problème corrigé sur les notes de lecture - 6 février 2020
• éconoclaste a 20 ans. Épisode 2. Passeurs dans les années 2000 - 27 décembre 2019