Questionnaires pour Cotations Massives (QCM)

Ah ces QCM! Parlons-en — et d’autant plus que nous venons d’en sortir. Les Questionnaires à choix multiples sont en fait des Questionnaires pour Cotations Massives. C’est l’aspect sur lequel nous reviendrons dans ce billet après avoir présenté le dispositif et ses pratiques (le singulier serait ici en effet abusif).

Que l’étudiante ou l’étudiant lambda raisonne beaucoup en termes d’évaluation sans se questionner outre mesure sur l’ingénierie des épreuves est on ne peut plus logique. Pour elle ou pour lui, la validation de l’année est un enjeu majeur. En revanche, l’‘étudiant sur le tard, pour être un étudiant sérieux (si si!), A, un peu plus de recul. Pour s’être beaucoup intéressé à la chose éducative, il lui est plus facile de questionner la cohérence du système… en appliquant le postulat de départ qu’il a posé: le respect de la «règle du jeu».

Nous avons déjà évoqué les écrits et l’organisation des examens. Pour les trois matières à contrôle continu (avec travaux dirigés), l’examen final de contrôle continu a eu lieu en décembre dernier. D’une durée de trois heures, il compte à chaque fois pour 50% de la note globale. Pour les matières à contrôle terminal exclusivement, l’évaluation vient d’avoir lieu par QCM au cours des deux premières semaines de janvier (les cours reprennent le 18). C’est la règle au premier semestre en première année de licence.

Au second semestre, les choses seront différentes. Les trois enseignements sans TD mais relevant de la «spécialité» (liés à la science politique donc) feront l’objet d’un écrit (en principe de deux heures). Mais la promotion de politistes (je ne sais ce qu’il en sera pour la majorité écrasante de juristes «pur jus») se limite à une centaine d’étudiants. Le premier semestre était commun; là, nous divergeons (hors droit constitutionnel, langue et formations transversales).

Comment ça fonctionne…

À l’issue du premier semestre, donc, cinq enseignements ont été concernés: trois spécifiques et deux transversaux, communs à tous les étudiants de L1 de Nanterre, quelle que soit la discipline. Les QCM peuvent être à points négatifs ou pas, au choix de l’enseignant-chercheur chargé du cours.

⇒ Dans un QCM à points négatifs, il faut choisir une réponse parmi celles qui sont proposées : l’absence de réponse vaut zéro, mais une réponse erronée est pénalisée. Par exemple sur une question cotée à 2 points, la bonne réponse la rapportera; l’absence de réponse donnera zéro; une mauvaise réponse se traduira par —1. Le QCM à points négatifs conduit à chercher les réponses sûres: il désincite à donner une réponse aléatoire.

⇒ Dans un QCM sans de points négatifs, la bonne réponse peut correspondre à une pluralité de choix (généralement de 1 à 4). Seule la réponse complète (et, plus souvent, complexe) donnera les points. et une réponse erronée, même si les autres sont justes, conduira au zéro pour la question.

L’étudiant est invité à noircir les cases correspondant à la réponse ou aux réponses choisies, ou à y placer une croix  (toujours en noir ou bleu foncé). À la fin de l’épreuve, la grille sur laquelle figure son identification (qui a été contrôlée) est ramassée¹.

C’est là qu’intervient l’intérêt pour des promotions aussi nombreuses que les premières années de licence (en gros, un millier d’étudiant par «unité pédagogique» avec ses enseignants et donc ses sujets d’examen spécifiques): la lecture optique des questionnaires permet d’automatiser la correction. Il reste certes encore le report, mais c’est moins complexe. Surtout, si l’on se souvient qu’en des temps anciens ce qui n’était pas écrit donnait lieu à une épreuve orale (donc mobilisation d’un jury, de questions, de locaux… et de beaucoup de temps pour les passages individuels), on conçoit qu’en termes d’organisation ce soit beaucoup plus simple.

C’est a fortiori plus marqué encore pour les enseignements transversaux, diffusés uniquement par la plateforme «cours en ligne» de l’université. Ils concernent en effet tous les étudiants de première année de l’université (Atelier de langue française pour vérifier, conforter et améliorer la compréhension et l’orthographe; Grands Repères, qui correspond à un enseignement de culture générale, mais évoquant également des éléments comme le raisonnement, le plagiat, l’usage des ressources documentaires et les références bibliographiques: des éléments à connaître pour l’apprenti étudiant.

 Qu’évalue-t-on dans un QCM?

Pour l’étudiante lambda ou l’étudiant mu (par le désir de réussir son année), ce sont ses réponses. Peut-on se satisfaire de ce qui nolens volens ressemble à l’un de ces quizz continus qui font la matière de maints jeux télévisés depuis que la télévision existe (avec quelques glorieux ancêtres radiophoniques, soit dit en passant)? Le souci qui anime la conceptrice ou le concepteur d’un QCM est de vérifier que l’étudiant a appris son cours. Il n’a pas la possibilité de le faire en s’appuyant sur une composition à l’alchimie plus complexe (mais on objectera que celle-ci présente aussi ses limites). Il y a donc un inévitable picorage dans le cours. On peut supposer que qui a «bien répondu» aura travaillé suffisamment le cours structuré pour pouvoir en tirer une réflexion construite. Ce n’est plus l’architecture (comme dans la composition), mais le «contrôle qualité» des éléments.

L’écrit peut tourner à la concentration (autour d’un sujet ou deux), avec les aléas dus aux impasses, aux trous de mémoire, aux notions insuffisamment approfondies pour une raison ou pour une autre. Le QCM peut aller de la sélection d’éléments significatifs (mais quant c’est la structure qui l’est, comment faire?) à ce qui ressemble à un sondage pointilliste autant que pointilleux. Cela peut rendre délicat la réalisation de l’exercice par les candidats: la prise de notes doit viser, avant même que d’être exhaustive, à être structurée. Comment dans ces conditions être certain d’avoir perçu l’illustration qu’on retrouvera dans le questionnaire? Bien évidemment, les enseignants, dans la plupart des cas, insistent fortement sur des éléments clés, mais, même si cela n’est que «ponctuel» des éléments peuvent manquer.

La préparation et ses limites

De fait, l’absence de poly(copié)s qui ont disparu des radards ne permet pas de reprendre la totalité du cours de l’enseignant. C’est bien dommage: la prise de note pourrait alors, justement, viser à ancrer la structuration que donnent globalement les éléments dont on dispose (plan voire plan détaillé de cours, diaporamas). En fait, même si le cours change, on a intérêt (par acquit de conscience) à travailler aussi sur les annales: autrement dit, les questionnements antérieurs. L’exercice a ses limites mais n’est pas toujours dépourvu d’utilité pratique (pour le candidat) à défaut d’intérêt universitaire.

Tout ceci, à l’évidence, ramène à des techniques de bachotage qui, si elles permettent de donner satisfaction en bout de course à l’évaluateur comme à l’évalué, ne sauraient être présentées comme le modèle à suivre, tout comme le QCM ne saurait constituer le paradigme de l’évaluation. Faut-il pleurer sur ce modèle que serait la composition classique? Pas davantage! Elle a ses avantages et ses inconvénients (dont sans doute son aspect formaliste — et pas seulement formel).

La situation est complexe: l’enseignant-chercheur doit en effet intégrer, dans un nombre d’heures limité et sans autre appui que son propre cours (pas de TD dans ce cas) des notions à maîtriser, une pensée structurée qu’elles nourrissent et qui les organise et une évaluation qui doit permettre ex post d’essayer de savoir comment les étudiants ont digéré tout ça en soixante minutes et, généralement, quarante ou soixante questions. Mais le questionnement sur le questionnaire et, ensuite, la vérification que les étudiants puissent y répondre est une autre paire de manches dont le tricotage supposerait que les enseignants-chercheurs disposassent à la fois de plus de temps, d’appui (il faudra que nous évoquions les «fonctions support») et sans doute des moyens matériels.

L’évaluation est perçue sans nul doute — et pas uniquement dans l’enseignement supérieur — comme le point final alors que, dans l’ingénierie de formation, elle appelle des questionnements et sans doute des rétroactions. En attendant, la «règle du jeu» et ses contraintes (et d’abord les contraintes matérielles) s’imposent à tous les acteurs. À la fin du second semestre, le recours au QCM sera sensiblement réduit pour ce qui me concerne: hormis la Common Law (où il n’est pas inintéressant), ils ne seront pratiqués que pour les enseignements transversaux (communs à toutes les étudiantes et tous les étudiants de «première année»)… Les mécanismes évoluent donc: en tirerons-nous une capacité à développer une certaine agilité intellecctuelle? Cela ne nuirait pas, mais nous n’en sommes pas encore là!

______

Notes

¹Dans un cas sur les cinq, le sujet a été ramassé sans qu’on sût pourquoi.

______

Crédits photos : Luc Bentz (QCM) – Éditions du fleuve (Fleuve noir) pour San Antonio (voir la page liée sur le site de l’éditeur).