Gallika.net

EuroMillions : oui au hasard. Concours : non, merci.

Olivier Delhaye — 2025-09-16T07:46:36Z

Un journal raconte qu'un Français a gagné deux fois un million d'euros à l'EuroMillions. C'est rarissime, mais ça arrive : le hasard existe.
Dans un concours ou un examen, on ne veut pas que le hasard décide du résultat. C'est pourquoi, après une épreuve à QCM, on analyse souvent les réponses apportées à chaque question : c'est l'analyse d'items.

Qu'est-ce qu'un « item » et pourquoi l'analyser ?

Un item, c'est une question du QCM. Après l'épreuve, on regarde :
– la difficulté : combien de candidats ont fourni la réponse attendue ;
– la discrimination : est-ce que la question différencie bien les candidats forts des candidats faibles ?
– les mauvaises réponses (distracteurs) : est-ce qu'elles attirent vraiment (> 5 % des candidats) mais pas trop (≤ 30 %) ceux qui n'ont pas la bonne compétence ?

Que faire si une question pose problème ?

Erreur évidente – Mauvaise clé ou ambiguïté manifeste
Il faut retirer la question pour tout le monde et recalculer la note.
(Ex. : discrimination négative ou quasi nulle : r_pb ≤ 0, difficulté extrême : p < 0,20 ou p > 0,90).

Question peu discriminante mais sans dysfonction
Il faut laisser en l'état cette fois-ci et réécrire ou améliorer la question pour la prochaine session.
(Ex. : discrimination faible : 0,10 ≤ r_pb < 0,20, ou difficulté très haute/basse : 0,20 ≤ p < 0,30 ou 0,85 < p ≤ 0,90).

Plusieurs questions problématiques
Il faut ajuster légèrement le seuil de réussite si plusieurs items sont exclus (par exemple, relever ou abaisser de 1–2 points sur 100 si plus de 5 % des questions ont été retirées), afin de rester équitable.

Pourquoi ne pas corriger « au cas par cas » ?

Corriger différemment selon les candidats serait injuste. On applique la même règle pour tous, et on annonce à l'avance comment on traitera ce genre de situations.

Comment s'assurer que les examens restent équitables d'une année à l'autre ?

– On doit garder un historique des résultats des questions (pour repérer si elles deviennent trop faciles parce que tout le monde les connaît).
– On compare les difficultés entre les groupes de performances mesurées pour qu'aucune partie du « programme » ne pèse trop lourd.
– On fait relire certaines questions par un collègue pour détecter des biais ou des ambiguïtés que les statistiques seules peuvent avoir relevés mais dont l'origine n'a pas été identifiée.

L'analyse d'items est un contrôle de qualité : on retire seulement les questions clairement défectueuses ou de difficulté extrême ; on garde les autres pour cette session mais on les améliore pour la suivante ; dans tous les cas, on garde des règles claires et les mêmes pour tout le monde. Ainsi, les concours restent justes et fiables : ils mesurent la compétence réelle et non un coup de chance… comme celle de notre joueur d'EuroMillions.

Hasard, loto et QCM

Gagner deux fois à l'EuroMillions peut sembler impossible…
Mais chaque tirage est indépendant. Après un premier gain, ta chance au second tirage reste exactement la même : environ une sur 139 millions. Le jeu ne « se souvient » pas que tu as déjà gagné.

Un QCM, c'est différent.

Une question à 4 choix : 1 chance sur 4 (25 %) de répondre juste au hasard.

– Deux questions de suite : on multiplie les chances (0,25 x 0,25 ≈ 6,25 %.)
– Trois questions : seulement 1,56 %.
– Dix questions : une chance sur plus d'un million.

Conclusion : remporter deux jackpots au loto reste peu probable mais constant d'un tirage à l'autre. Par contre, réussir plusieurs QCM au hasard devient exponentiellement plus difficile à chaque question supplémentaire.

Questionnaires en mémoire et en thèse : entre illusion de rigueur et subjectivité non assumée

Olivier Delhaye — 2025-08-02T06:00:02Z

Dans les mémoires de master ou les thèses en didactique des langues, le questionnaire est roi. Présenté comme un outil rigoureux, il masque souvent un manque cruel de fondement méthodologique : questions biaisées, réponses subjectives, analyses statistiques mal conduites… Cet article démonte les illusions d'objectivité et invite à une réflexion critique sur l'usage de cet instrument trop souvent maltraité.

Un outil trop souvent choisi par défaut

Le questionnaire séduit : simple à créer, facile à distribuer, il donne des résultats chiffrés qui rassurent. Mais dans bien des cas, ce choix n'est ni justifié, ni intégré à une démarche de recherche rigoureuse.

Des questions sorties de nulle part

Souvent, les questions ne viennent ni d'une étude préalable, ni d'une revue de la littérature. Elles traduisent les représentations du chercheur, non celles des répondants. L'absence de problématisation entraîne des questions vagues, subjectives ou biaisées.

Une subjectivité généralisée mais ignorée

Les réponses reflètent des opinions ou des représentations sociales, pas des faits. Cette subjectivité devrait être reconnue, mais elle est souvent niée, comme si les données chiffrées suffisaient à valider la recherche.

Des QCM mal pensés et des options tronquées

Questions à choix unique ou multiples, échelles floues, absences d'options essentielles, questions ambiguës : l'expérience du répondant est trop souvent frustrante ou faussée. Les résultats deviennent peu exploitables.

Des chiffres rassurants, mais creux

On affiche des pourcentages et des moyennes pour produire une impression de rigueur. Mais sans analyse ni mise en contexte, ces chiffres ne disent pas grand-chose. Le graphique devient décoration et non preuve.

Un traitement statistique peu rigoureux

– Les choix statistiques sont rarement justifiés.
– L'écart-type est mentionné mais jamais interprété.
– La représentativité de l'échantillon n'est pas démontrée.
– Les échelles de Likert sont mal construites ou mal exploitées.
– On distingue par exemple hommes/femmes mais on n'analyse pas les écarts.
– Des camemberts inutiles illustrent des variables non analysées.
– Les types de graphiques sont mal choisis, avec des légendes floues, ce qui nuit à la compréhension.

Bref : l'outil statistique est souvent un alibi, pas une preuve.

Camembert classique, figurant des données non analysées/interprétées.
Légende imprécise.

Une vigilance partagée : chercheurs et encadrants

La responsabilité est collective. Il faut former les étudiants à la méthodologie des enquêtes et aider les encadrants à mieux accompagner la conception et l'exploitation de ces outils.

Quelques principes de rigueur

– Ne pas commencer par le questionnaire, mais par l'analyse du terrain.
– Justifier chaque choix méthodologique.
– Tester et relire.
– Croiser les outils : questionnaire ≠ méthodologie unique.
– Analyser finement, pas seulement afficher.

Ne pas tomber dans l'illusion méthodologique

Le questionnaire ne garantit aucune scientificité. Il faut en repenser l'usage, cesser de le sacraliser et apprendre à reconnaître ses limites. Un bon questionnaire ne vaut que par sa pertinence, sa rigueur et son intégration réfléchie dans un dispositif global de recherche.

Faut-il donner des devoirs à nos élèves ?

Olivier Delhaye — 2025-05-26T19:55:00Z

Entre surcharge mentale, pression des examens, recours à l'IA et inégalités des conditions de vie à la maison, les devoirs sont devenus un sujet sensible. Faut-il continuer à en donner ? Sous quelle forme ? Avec quel objectif ? Ce petit article propose une lecture nuancée et des pistes concrètes pour adapter nos pratiques sur ces points.

Le contexte : une surcharge bien réelle

En Grèce – considérons ce seul cas – les élèves ne manquent pas d'activités : école le matin, φροντιστήρια l'après-midi, devoirs dans plusieurs matières, examens à préparer... Le FLE, souvent en bout de chaîne, souffre parfois d'un manque d'investissement. Non pas par désintérêt, mais par épuisement.

Christos, professeur de collège, témoigne :

« J'avais donné un petit résumé à faire. Seule une élève me l'a rendu. Les autres m'ont dit : « On avait trois contrôles demain, on n'a pas eu le temps. »

Les arguments POUR les devoirs

Lorsqu'ils sont bien conçus, les devoirs :

– renforcent la mémorisation et l'automatisation,
– entraînent à l'autonomie,
– préparent mieux les élèves à des certifications (DELF, ΚΠγ, etc.),

« Je donne une phrase à écrire ou à corriger après chaque séance de cours. C'est très léger, mais les élèves en difficulté progressent doucement. »

Les arguments CONTRE

Plusieurs limites apparaissent :

– Surcharge cognitive : les élèves sont déjà très sollicités.

– Travail impersonnel : entre les parents qui aident trop, les devoirs copiés ou carrément générés par ChatGPT, l'intention pédagogique se perd.

– Inégalités sociales et matérielles : certains élèves disposent d'une chambre calme, d'un bureau et d'une connexion internet. D'autres doivent composer avec du bruit, peu d'espace ou des tâches familiales à assurer.

« J'ai réalisé que je donnais mes devoirs comme si tous mes élèves vivaient dans les mêmes conditions à la maison… Ce n'était pas le cas. »

Vers une troisième voie : des devoirs… autrement

Et si on changeait de posture ? Voici quelques pistes concrètes, toutes testées par l'un ou l'autre collègue :

– Tâches courtes et claires : mieux vaut faire produire une phrase ciblée qu'un long texte, vite recopié.

– Micro-tâches orales : enregistrer une phrase, poser une question en français à un proche, commenter une photo.

– Devoirs différenciés : proposer trois devoirs, chacun choisit celui qu'il préfère.

– Activités créatives : prendre une photo et écrire une légende, créer une mini-BD, illustrer un mot nouveau.

– Travaux collaboratifs : travail à deux, en présentiel ou à distance.

– Devoirs facultatifs mais valorisés : affichés, lus à voix haute, commentés.

Je donne parfois un « devoir bonus » : facultatif mais noté si rendu. Certains élèves adorent ce côté « à moi de choisir ».

On pourrait aussi passer aux devoirs « version classe inversée ».

Avec la classe inversée, les devoirs préparent plutôt qu'ils ne répètent. L'élève découvre la notion à la maison, le professeur approfondit en classe. Par exemple :

– À la maison : écouter un dialogue, regarder une vidéo de 2 minutes, lire un très court texte.

– En classe : réutiliser ces éléments pour un jeu de rôle, une discussion ou une production.

« Je demande d'écouter un podcast à la maison. Le lendemain, on joue la scène en binôme, chacun réutilise les phrases entendues. »

Ce modèle :

– valorise l'autonomie,
– évite la surcharge d'écriture,
– favorise la participation en classe.

La question à poser est, non pas « pour ou contre ? », mais « dans quel but ? »
Il ne s'agit pas d'abandonner ou non les devoirs, mais de redéfinir leur place :

– Quels objectifs pédagogiques poursuivons-nous ?
– Quelle charge est raisonnable pour nos élèves ?
– Comment rendre les devoirs utiles, motivants [1] et accessibles à tous ?

[1] Un bon test : “Est-ce que moi-même, j'aurais envie de faire ce devoir ?”

À méditer

Ce qu'on peut éviter	Ce qu'on pourrait encourager
Tâches longues, impersonnelles	Tâches courtes, claires, signifiantes
Devoirs identiques pour tous	Choix différenciés ou personnalisés
Production finale sans trace du chemin parcouru	Devoirs par étapes, visibles, discutés
Activités déconnectées de la vie réelle	Tâches authentiques, contextualisées
Jugement ou punition en cas d'oubli	Valorisation de l'effort et du progrès (bientôt traité dans un prochain billet.)

Le devoir a-t-il été rédigé par une IA ?

Olivier Delhaye — 2025-05-25T09:39:43Z

L'intelligence artificielle est entrée dans la salle de classe... parfois par la petite porte.
Comment repérer si un élève a laissé ChatGPT rédiger son devoir à sa place ? Sans tomber dans la chasse aux sorcières, dix indices concrets permettent de lever le doute. À lire, à imprimer, à partager.

Introduction

Depuis l'arrivée des intelligences artificielles génératives comme ChatGPT, une question hante les enseignants : cet élève m'a-t-il rendu un devoir personnel… ou rédigé par une machine ?

Voici dix indices concrets qui permettent, sans preuve formelle mais avec un faisceau de signaux concordants, de détecter une rédaction artificielle.

1. Ponctuation inhabituelle
Les IA mettent souvent une virgule avant la conjonction «  et  », comme en anglais. Exemple : Il a étudié, et il a réussi.
Les francophones ne procèdent généralement pas ainsi.

2. Tirets trop longs ou trop typographiques
L'IA utilise des tirets cadratins comme celui-ci « — » au lieu des tirets normaux « – », souvent avec des espaces insécables bien placés. C'est typographiquement impeccable, mais suspect venant d'un élève.

3. Conclusion titrée et formatée
Les IA aiment les structures visibles : un paragraphe de conclusion clairement intitulé «  Conclusion  », qui commence souvent par : En conclusion, nous pouvons affirmer que…

4. Majuscules superflues
Des mots comme « L'Art », « La Science », « L'Éducation » prennent souvent une majuscule en début de mot sans raison grammaticale. Ce mimétisme anglo-saxon trahit parfois l'IA.

5. Trop de perfection
Une syntaxe sans accroc, un vocabulaire précis, un texte fluide… mais sans la moindre maladresse stylistique. Ce zéro défaut est souvent suspect, surtout si l'élève n'a jamais produit ce niveau auparavant.

6. Structure « trop belle » pour être vraie
Une introduction de 5 lignes, 3 paragraphes équilibrés, une conclusion bien formée : on croirait un plan-type d'examen. Mais l'absence de vraie progression ou de variation peut trahir l'automatisme.

7. Aucune référence au vécu scolaire
Le plus souvent, un devoir écrit par une IA n'évoque ni le cours, ni l'enseignant, ni les documents étudiés, ni la situation locale. Il semble « hors-sol », générique, passe-partout.

8. Idées répétées sous d'autres formes
L'IA reformule parfois la même idée dans plusieurs paragraphes en changeant de mots. L'élève humain, lui, fait plutôt des redites par étourderie, pas par stratégie de paraphrase.

9. Exemples trop lisses ou grandiloquents
Exemples célèbres (Mandela, Hugo, Einstein), citations générales mais aucune allusion concrète à des choses vues en classe. L'IA ratisse large mais reste en surface.

10. Ton excessivement neutre et poli
L'élève hésite, prend position, exagère parfois. L'IA, elle, reste polie, prudente, sans émotion. Elle ne « s'engage » pas. Ça se sent.

Tableau récapitulatif

Indice	Manifestation typique	Pourquoi c'est suspect
Ponctuation étrange	Virgules avant «  et  »	Anglicisme syntaxique courant chez les IA
Tirets typographiques	Tirets cadratins (—) avec espaces	Peu d'élèves utilisent cette ponctuation sophistiquée
Conclusion surformatée	Paragraphe intitulé « Conclusion »	Structure trop rigide
Majuscules abusives	Mots communs capitalisés sans raison (L'Art, La Science)	Influence des usages anglophones
Texte « trop parfait »	Aucune faute, aucune hésitation	Lissé artificiellement
Plan trop régulier	Intro – 3 paragraphes – conclusion	Comme un modèle rédigé pour une épreuve type
Absence de vécu scolaire	Pas de référence à un cours, un prof, un document de classe	Un élève ancré dans son apprentissage en parle
Répétitions déguisées	Même idée exprimée plusieurs fois de manière différente	Paraphrasage automatique typique de l'IA
Exemples génériques	Figures célèbres, concepts universels, citations idéalisées	Pas d'ancrage local ni personnel
Ton trop poli, trop neutre	Absence de subjectivité, de point de vue marqué	Un élève s'engage, même maladroitement

Astuce pédagogique

Douter sans accuser : que faire si un devoir semble rédigé par une IA ? Repérer des signes d'automatisation dans un devoir ne suffit pas à poser un jugement. Pour agir avec justesse, voici quelques pistes :

Éviter la confrontation directe.
Ne jamais accuser sans preuve. L'élève peut être intimidé, voire innocent. L'IA peut aussi avoir été utilisée comme aide ponctuelle, sans intention de tricher.

Proposer un entretien rapide.
Une discussion orale de 5 minutes peut révéler si l'élève maîtrise ce qu'il a « écrit ».
« Peux-tu m'expliquer ce que tu voulais dire ici ? »

Donner une mini-tâche en classe.
Une reformulation ou une suite de paragraphe à écrire sur place, dans le même style que le devoir rendu.

Responsabiliser sans punir.
Expliquer que l'IA peut être un outil d'aide à l'écriture, mais que son usage doit être réfléchi, déclaré et assumé.

Encourager la transparence.
Autoriser l'usage de l'IA dans certaines consignes, à condition de le mentionner explicitement : par exemple : « Ce texte a été rédigé avec l'aide de ChatGPT, puis retravaillé par mes soins. »

Bonus discret mais révélateur : les espaces « invisibles »
Il arrive que certains devoirs contiennent des espaces typographiques insécables (U+00A0 ou U+202F), là où un élève n'en mettrait jamais. Ces espaces particulières – et oui, «  espace  » est un mot féminin dans le jargon des typographes ! – sont insérées automatiquement par l'IA pour respecter les règles de typographie française.
On peut les faire apparaître en affichant les caractères invisibles dans un traitement de texte ou en ouvrant le texte dans un éditeur brut.

À noter aussi
Il existe des logiciels ou plateformes en ligne qui prétendent mesurer le pourcentage de contenu rédigé par une IA (GPTZero, Copyleaks, Turnitin, etc.). En réalité, ces outils sont moins fiables qu'on ne le pense : leurs résultats sont aléatoires, surtout sur des textes courts ou retouchés.
Souvent proposés gratuitement en première utilisation, ils servent surtout à attirer des clients vers des versions payantes, en jouant sur l'anxiété des enseignants ... ou des élèves.

QCM et lancer de dés : quand l'évaluation rencontre la probabilité

Olivier Delhaye — 2025-02-20T18:37:34Z

Dans la conception d'un questionnaire à choix multiple (QCM), une question cruciale se pose : combien de réponses proposer pour un item ? Combien d'items sont nécessaires pour évaluer une micro-compétence ? Et combien d'items au total doivent composer un examen ? Pour répondre à ces questions, nous pouvons partir d'une analogie mathématique simple : le lancer de dés.

Probabilité du double six : un cas exemplaire

Lorsqu'on jette deux dés, la probabilité d'obtenir un double six est de :

P_{(double six)} = 1/6 × 1/6 = 1/36

Autrement dit, une seule combinaison sur 36 aboutit à ce résultat. Si l'on répète plusieurs fois l'expérience, la probabilité de réaliser plusieurs double six de suite diminue de manière exponentielle :

P_{(deux double six consécutifs)} = (1/36)² = 1/1296

et ainsi de suite.

Inférence sur le nombre de propositions de réponse dans un QCM

Dans un QCM, le nombre de propositions de réponse joue un rôle similaire aux faces des dés. Si l'on propose quatre réponses par question, la probabilité de répondre correctement par pur hasard est de 1/4 (soit 25 %). Si l'on augmente le nombre de propositions à cinq, cette probabilité passe à 1/5 (soit 20 %), et ainsi de suite.

En évaluation, un QCM doit permettre de discriminer les connaissances réelles des candidats d'un simple hasard. Trop peu de propositions biaisent l'évaluation vers une réussite aléatoire, tandis qu'un trop grand nombre peut complexifier inutilement la tâche et détourner de l'objet d'évaluation initial. La littérature en psychométrie recommande souvent trois ou quatre propositions par question comme un bon compromis entre fiabilité et faisabilité [1] [2].

Nombre d'items pour évaluer une même micro-compétence

Dans une épreuve de FLE, par exemple, chaque item vise à mesurer une compétence spécifique (richesse lexicale, construction syntaxique de verbes, conscience interculturelle, compréhension globale d'un document, etc.). Si l'on ne pose qu'un seul item par micro-compétence, le risque de hasard est élevé, comme lorsqu'on tente d'obtenir un double six sur un unique lancer. Pour obtenir une mesure fiable, il faut multiplier les observations.

Une règle empirique, confirmée par la théorie des tests, indique qu'un minimum de trois à cinq items par micro-compétence est nécessaire pour lisser les effets du hasard et obtenir une mesure plus robuste [1] [3].

Combien d'items dans un examen QCM ?

Si un examen comporte 30 questions avec quatre réponses possibles chacune, la probabilité qu'un candidat réponde correctement à la moitié au moins des questions par pur hasard est de :

P_{(score ≥ 15)} = 0,00275 soit 0,27 %

Si le seuil de réussite n'est pas 15/30, mais 18/30 :

P_{(score ≥ 18)} = 0,00005 soit 0,005 %

Dans les deux cas, une probabilité quasiment nulle, ce qui garantit que la réussite à l'examen reflète bien une compétence réelle et non un simple coup de chance.

En pratique, une épreuve d'examen de FLE devrait comprendre au moins 30 items pour garantir une évaluation fiable [1].

Nombre d'activités et structuration d'un examen

Un QCM bien conçu ne se limite pas à une simple juxtaposition d'items. Il doit être structuré en plusieurs blocs d'activités cohérents, chacun évaluant une famille de compétences. L'examen doit comporter plusieurs groupes d'items (compréhension orale, compréhension écrite, conscience linguistique, médiation orale de l'écrit, etc.), contenant chacun un nombre suffisant d'items pour assurer une évaluation fiable. En général, chaque groupe, chaque épreuve, devrait idéalement contenir de 30 à 50 items [1]).

Format optimal d'un examen QCM

Pour des raisons de praticité, un examen comportant de 6 à 20 activités, composées chacune de 5 items proposant 3 ou 4 réponses dont une seule est correcte, revêt un format idéal.

Une seule et même compétence, 5 items, 4 propositions de réponses

Ce format 20 × 5 × 4 permet d'assurer un bon équilibre entre la validité de l'évaluation, la gestion du temps et la fiabilité des résultats [3] [4].

S'il s'agit d'activités d'appariement ou de distribution, il est bien sûr recommandé d'inclure une réponse supplémentaire non appariée (parfois appelée « distracteur en excès » ou « réponse leurre »). Cette technique permet d'éviter que les candidats puissent déduire les bonnes réponses par élimination et garantit une meilleure validité et une meilleure fiabilité des résultats.

Appariements avec réponse leurre

Effet du hasard sur le classement dans un concours

Lors d'un concours où 100 candidats sont classés en fonction de leur score, une question clé est de savoir si un candidat peut être mal classé uniquement en raison du hasard.

Supposons que l'examen soit composé de 20 activités, chacune contenant 5 items avec 4 propositions de réponse, et que les coefficients de discrimination des items soient suffisants.

Un candidat répondant totalement au hasard aurait en moyenne :

E_(score) = 20 × 5 × 1/4 = 25 réponses correctes sur 100

L'écart-type (la racine carrée de la variance) de cette distribution suit la loi binomiale :

σ = √ (100 × 1/4 × 3/4) ≈ 4,33

Ainsi, environ 95 % des candidats répondant au hasard obtiendraient un score compris entre 16 et 34 réponses correctes :

25 ± (2 × 4,33) ≈ [16 ; 34]

Si le score médian des candidats réellement compétents est largement supérieur à cette plage, la probabilité qu'un candidat répondant au hasard soit classé parmi les meilleurs reste très faible. Toutefois, si la variance des scores est réduite (c'est-à-dire si tous les candidats ont des résultats proches), alors l'effet du hasard peut devenir plus significatif.

Puisque les indices de discrimination des items influencent directement la dispersion des scores, un test composé d'items bien discriminants permet d'accroître la variance des scores et d'assurer une meilleure différenciation des candidats. Cela réduit la probabilité qu'un candidat soit classé de manière erronée uniquement par chance.

Conclusion

L'analogie avec la probabilité d'obtenir un double six met en lumière une réalité fondamentale de l'évaluation : un test fiable nécessite plusieurs observations indépendantes pour minimiser l'effet du hasard. Un bon QCM repose ainsi sur un équilibre entre le nombre de propositions de réponse, le nombre d'items par micro-compétence et la structuration en plusieurs activités/épreuves distinctes.

L'importance des indices de discrimination et de la variance des scores dans un concours montre également qu'un examen bien conçu permet d'assurer un classement juste et représentatif des compétences réelles des candidats, réduisant ainsi les effets du hasard sur les résultats finaux.

Grâce à cette approche, il est possible de concevoir des évaluations plus justes et plus pertinentes pour mesurer les compétences des apprenants en FLE.

[1] Rocher, T. (2015). Méthodes psychométriques utilisées dans le cadre des évaluations des élèves. Éducation & Formations, 86-87, 37-57.

[2] Cf. Combien de propositions de réponse dans un QCM : deux, trois, quatre ou plus ?

[3] Laveault, D., & Grégoire, J. (2014). Introduction aux théories des tests en psychologie et en sciences de l'éducation. De Boeck.

[4] Delhaye, O. (2023). Évaluation des savoirs et des compétences de communication en langue étrangère [Matériel de cours]. Université Aristote de Thessaloniki.

Μπορεί ένα τεστ πολλαπλής επιλογής να αποτυπώσει αξιόπιστα τις πραγματικές ικανότητες ενός υποψηφίου χωρίς να ευνοεί την τύχη ; Η ανάλυση της πιθανότητας – μέσα από την αναλογία με τη ρίψη δύο ζαριών – φωτίζει τον ρόλο που παίζουν ο αριθμός των επιλογών, ο αριθμός των ερωτημάτων και η δομή του τεστ στη μείωση του τυχαίου παράγοντα.

Η αξιοπιστία δεν εξαρτάται μόνο από το περιεχόμενο των ερωτήσεων, αλλά και από τη στατιστική τους συμπεριφορά : αριθμός επιλογών ανά ερώτημα, επάρκεια items ανά μικρο-δεξιότητα, συνολικός όγκος ερωτήσεων, δείκτες διακριτικής ικανότητας και διακύμανση των βαθμολογιών. Όσο αυξάνονται οι ανεξάρτητες παρατηρήσεις και βελτιώνεται η διακριτική ισχύς των ερωτημάτων, τόσο περιορίζεται η επίδραση του τυχαίου παράγοντα.

Ένα καλά σχεδιασμένο QCM δεν αποτελεί απλή συσσώρευση ερωτήσεων, αλλά οργανωμένο σύστημα μέτρησης. Μόνο υπό αυτές τις προϋποθέσεις μπορεί να εξασφαλιστεί δίκαιη κατάταξη και ουσιαστική αποτίμηση των γλωσσικών ικανοτήτων.

Combien de propositions de réponse dans un QCM : deux, trois, quatre ou plus ?

Olivier Delhaye — 2025-02-18T14:13:20Z

QCM est l'abréviation de « Questionnaire à Choix Multiples ». C'est un type d'évaluation où une question est suivie de plusieurs propositions de réponse, dont une seule est correcte (QCM à réponse unique) ou plusieurs peuvent l'être (QCM à réponses multiples).

Le format QCM est largement utilisé en éducation, en certification et dans les enquêtes car il permet :

une correction rapide et objective, notamment par des logiciels automatisés ;
une évaluation standardisée, assurant une meilleure comparabilité des résultats ;
une mesure fiable des connaissances et des performances sur un large éventail de sujets.

Il est parfois critiqué pour son potentiel biais de chance (réponses aléatoires) ou pour la difficulté à évaluer des compétences complexes comme la production écrite ou orale.
Le nombre de propositions de réponse dans un QCM influence directement la qualité de l'évaluation. L'objectif est de mesurer les performances tout en limitant les réponses aléatoires. Il est donc essentiel de trouver un équilibre entre pertinence et fiabilité. À cet égard, proposer quatre réponses apparaît comme le compromis optimal, et ce, pour plusieurs raisons.

Une meilleure différenciation entre les candidats

Les recherches en psychométrie [1] [2] montrent que trois ou quatre propositions suffisent à discriminer efficacement les niveaux de compétence. Avec seulement trois choix, la probabilité de répondre correctement par hasard reste toutefois importante (33 % contre 25 % avec quatre réponses), ce qui peut réduire la fiabilité du test. À l'inverse, avec cinq ou six choix, les distracteurs risquent d'être artificiels ou trop éloignés de la bonne réponse, compromettant ainsi la validité de l'évaluation [3].

Une charge cognitive optimisée

Lorsqu'un candidat répond à un QCM, il doit analyser les propositions, repérer les indices et sélectionner la meilleure réponse. Un excès de choix complexifie cette tâche et peut entraîner une surcharge cognitive, en particulier chez les apprenants moins expérimentés. Quatre propositions constituent un juste milieu, permettant un traitement efficace de l'information sans alourdir inutilement la réflexion.

Un gain de temps pour les concepteurs

Rédiger de bons distracteurs est une tâche exigeante : chaque proposition incorrecte doit être plausible sans être trompeuse et ne doit pas paraître manifestement erronée. Avec quatre réponses, le concepteur peut se concentrer sur la qualité plutôt que sur la quantité, en évitant d'ajouter des options superflues qui n'apportent aucune valeur à l'évaluation.

Une analyse statistique plus fiable

L'interprétation des résultats d'un QCM peut être brouillée si le nombre de réponses possibles est trop élevé. Avec quatre propositions, les indices de difficulté et de discrimination restent optimaux [4], rendant l'analyse des performances plus précise. De plus, ce format s'aligne sur les standards psychométriques, facilitant ainsi les comparaisons avec d'autres évaluations standardisées.

Préférer quatre propositions de réponse dans un QCM repose sur des fondements psychométriques et pédagogiques solides. Ce format garantit un équilibre optimal entre validité, fiabilité et praticité, tout en améliorant l'expérience d'évaluation des candidats et en facilitant la conception des tests pour les enseignants.

[1] Owen, S. V., & Froman, R. D. (1987). What's wrong with three-option multiple choice items ? Educational and Psychological Measurement, 47(3), 513-522.

[2] Rodriguez, M. C. (2005). Three options are optimal for multiple-choice items : A meta-analysis of 80 years of research. Educational Measurement : Issues and Practice, 24(2), 3-13. https://doi.org/10.1111/j.1745-3992.2005.00006.x

[3] Caussarieu, A. (2023). Combien faut-il de propositions à un QCM ? [Résumé d'article scientifique]. Vous avez dit… dactique ? Des sciences.. https://ditdactique.hypotheses.org/1124

[4] Delhaye, O. (2023). Évaluation des savoirs et des compétences de communication en langue étrangère [Matériel de cours]. Université Aristote de Thessaloniki.

Formation des enseignants : évaluation de sa qualité

Olivier Delhaye — 2024-12-17T19:00:00Z

Présenté en janvier 2020 au cours d'une école d'hiver consacrée au plurilinguisme et à l'enseignement des langues, ce diaporama explore des outils et approches permettant d'évaluer la qualité des formations pour enseignants. Bien qu'il date de quelques années, ce travail reste une ressource précieuse pour optimiser les processus d'apprentissage et d'enseignement.

Mesurer l'efficacité des formations, un enjeu clé

Cette conférence s'appuie sur des recherches menées entre 2013 et 2018 pour analyser la qualité des formations d'enseignants, en particulier celles dispensées à distance. À travers une méthodologie socioconstructiviste, elle propose des solutions concrètes pour évaluer la progression des participants et l'impact des formations.

Axes principaux abordés :

Cadre théorique solide : Constructivisme et socioconstructivisme comme piliers de l'apprentissage collaboratif ;

Utilisation des TICE : Forums interactifs et outils d'analyse comme NVivo pour suivre et mesurer les contributions des stagiaires ;

Analyse des acquis : Triangulation des données pour objectiver les progrès en termes de compétences et d'autonomie.

Un outil toujours pertinent

Malgré son ancienneté, cette présentation reste d'actualité pour les formateurs, gestionnaires et chercheurs en éducation. Elle met en avant des pratiques innovantes pour renforcer l'efficacité des formations à l'ère numérique.

Téléchargez le diaporama

Accédez au diaporama ici pour découvrir comment évaluer et améliorer vos formations pour enseignants grâce à une approche basée sur des données fiables et des outils technologiques performants.

Comprendre, analyser et repenser les pratiques d'évaluation

Olivier Delhaye — 2024-12-07T10:04:34Z

L'évaluation, qu'elle soit formative, sommative ou institutionnelle, soulève de nombreuses interrogations chez les enseignants. Ce diaporama, présenté lors du 18^e Séminaire de rentrée au Pirée, propose des réponses concrètes pour surmonter les défis liés à l'évaluation des compétences en FLE.

Lors de sa conférence inaugurale au 18^e Séminaire de rentrée des professeurs de français, Olivier Delhaye, didacticien des langues et docimologue, a exploré les multiples facettes de l'évaluation. Ce diaporama met en lumière des sujets tels que les écarts inter-juges, la conception d'évaluations ponctuelles, et les biais dans l'interprétation des scores. Il aborde également des pistes novatrices, comme l'utilisation de la métacognition et des compétences générales pour transformer l'évaluation en un outil éducatif inclusif.

Accédez au diaporama et plongez dans les détails de cette réflexion en suivant ce lien : L'évaluation « dans tous ses états ».

L'évaluation des élèves et la promotion des valeurs morales

Olivier Delhaye — 2023-05-01T07:49:47Z

L'évaluation scolaire ne s'arrête pas à la simple mesure des connaissances académiques. Elle peut aussi devenir un puissant levier de promotion des valeurs morales. Revenons sur une pratique ancienne où les élèves s'autoévaluaient et se livraient à une hétéroévaluation sur des critères tels que la loyauté, la fraternité, et la courtoisie. Qu'en est-il aujourd'hui ? Ces valeurs sont-elles toujours pertinentes à l'ère du numérique et des réseaux sociaux, où l'influence et la superficialité semblent parfois prendre le pas sur les vertus fondamentales ?

Dans l'établissement d'enseignement secondaire pilote où j'ai été pensionnaire il y a deux cents ans 🤣, l'évaluation des élèves se faisait d'une façon particulière. Tous les vendredis au soir, ils se réunissaient et se livraient chacun à une autoévaluation, doublée d'une hétéroévaluation : ils se levaient tour à tour et annonçaient à l'assemblée les notes qu'ils attribuaient à leurs propres attitudes et comportements durant la semaine écoulée.

Ils notaient préalablement leurs appréciations sur un bout de papier, en utilisant une liste de critères prédéfinis : loyauté, fraternité, obéissance, courtoisie… en dernière position, leur « application », en d'autres termes, leur attitude envers l'étude, envers l'apprentissage scolaire.

Chaque élève communiquait donc à l'assemblée les notes qu'il s'attribuait pour chaque poste (autoévaluation). Ses pairs pouvaient ensuite prendre la parole et contester, devant tout le monde, l'une ou l'autre de ses appréciations. Au premier élève d'éventuellement modifier ensuite les notes contestées (hétéroévaluation).

Une évaluation dépassée ?

Cette double forme d'évaluation, qui intègre d'autres critères que la seule qualité des performances à quelque test, séduit généralement les étudiants à qui je la rapporte aujourd'hui. Mais je devine qu'une partie d'entre eux trouvent que ces autres critères d'évaluation appartiennent à une époque révolue : loyauté, fraternité, obéissance, courtoisie… Ces valeurs ne seraient-elles finalement pas universelles ? ni intemporelles ?

La diversité des cultures, des religions, des traditions, des contextes historiques, des normes sociales, des expériences et des convictions personnelles peut faire penser que non. Si la plupart des cultures et des religions condamnent unanimement le vol, le mensonge, la trahison, prônent l'honnêteté, la compassion, la justice, la paix, le respect de la vie humaine, elles peuvent en effet se distinguer l'une de l'autre sur d'autres plans : ceux de la tolérance ou du respect de la diversité, par exemple.

Bien heureusement, l'actualité peut cependant remettre à l'honneur des valeurs précises. Ainsi le réchauffement climatique, la récente pandémie, les conflits en Ukraine et au Proche-Orient ont eu un impact certain sur la mise en avant des valeurs de solidarité, d'empathie, d'altruisme, d'engagement envers la santé publique, de justice sociale, d'équité, d'inclusion, d'engagement en faveur de l'environnement, de respect des droits de l'homme, de tolérance, de respect de la diversité.

À mon avis, derrière ces étiquettes parfois nouvelles, se cachent finalement les mêmes vertus. Derrière ce souci d'inclusion très en vogue, ces vagues d'empathie qui déferlent sur les réseaux sociaux, par exemple, on retrouve finalement la bonne vieille fraternité dont il était question précédemment. La terminologie peut certes changer, mais les valeurs à cultiver demeurent toutefois les mêmes.

L'effet mode

Il reste que la culture de ces valeurs, déjà si peu pratiquée dans les écoles, l'est d'autant moins par les individus qui, abandonnant parfois tout sens critique, prennent pour références les personnes, les représentations et les actions que les réseaux sociaux promeuvent à coups de chiffres (followers, vues, likes), de messages de plus en plus superficiels (shorts, tweets, tiktok) et surtout de plus en plus sensationnalistes (exploits inutilement dangereux, fake news, montages). Sur les réseaux sociaux, la première – et souvent seule – préoccupation des rédacteurs est la recherche d'audience.

À nous, enseignants, d'essayer de protéger nos élèves de ces effets de mode (influenceurs, promotions déguisées) en leur fournissant les outils (moteurs de recherche, encyclopédies en ligne) et les stratégies (identification des sources, dépistage de la partialité) qui leur permettront de s'en prémunir.

À nous, enseignants, de ne pas oublier de faire développer chez nos élèves ces qualités morales, ces savoir-être recensés dans le Cadre européen commun de référence pour les langues [1] et sa mise à jour [2], qui feront d'eux demain des citoyens accomplis et responsables.

Seul un engagement constant en faveur de ces valeurs peut garantir un avenir où l'authenticité et la moralité prévalent sur les artifices et les intérêts personnels.

[1] Conseil de l'Europe. (2001). Cadre européen commun de référence pour les langues : apprendre, enseigner, évaluer. Didier.

[2] Conseil de l'Europe. (2022). Volume complémentaire du Cadre européen commun de référence pour les langues : Apprendre, enseigner, évaluer. Conseil de l'Europe.

Évaluer oui, mais pour éduquer !

Olivier Delhaye — 2022-09-12T15:17:03Z

Aujourd'hui encore, des professeurs de français enseignent essentiellement la « grammaire », le « vocabulaire », la « rédaction ».

Pour la plupart d'entre eux, « grammaire » est peut-être devenue « mise en œuvre du système de la langue », « vocabulaire » est devenu « lexique », « rédaction » est devenue « production écrite ». Mais ces activités n'en sont pas nécessairement plus motivantes pour la cause.

Depuis la diffusion de la perspective actionnelle de l'usage et de l'apprentissage des langues, il n'est plus de communication qui ne soit motivée, justifiée désormais par quelque action sociale, par quelque collaboration.

Mais pas de collaboration sans interlocuteurs ! Sans interlocuteurs véritables, authentiques !

Et devant ces interlocuteurs, il n'est plus question de « se présenter », par exemple, mais de « séduire ». Plus question de « demander des informations », mais de « s'inscrire ». Plus question de « produire un texte », mais de « publier ». Plus question de « participer à un petit jeu proposé par le manuel », mais de « gagner un vrai concours » !

Ravis, les apprenants développent – outre leur compétence de communication enfin motivée, enfin motivante – un tas de compétences dites « générales » : culture, goût du beau, soin, esprit d'équipe, respect de l'Autre, persévérance, amour de son prochain…

Une grande question se pose ici : « Ces compétences générales mises à l'honneur dans le Cadre européen commun de référence et dans ses compléments, sont-elles considérées par les systèmes éducatifs au moment d'évaluer les élèves ou les étudiants ? »

Facile à vérifier :
« Qu'évaluent généralement les bulletins les livrets scolaires dans les écoles ? »
– Juste les performances scolaires. Le nombre des absences aussi : tantôt justifiées, tantôt injustifiées… et pourtant toujours justifiables, d'une manière ou d'une autre.

Dans l'école secondaire que j'ai fréquentée petit, l'évaluation se passait heureusement différemment :

Chaque vendredi soir, les élèves se rassemblaient par groupes de trente et s'asseyaient en rond. Un à un, ils se levaient et se livraient à leur autoévaluation hebdomadaire.

Ils tenaient chacun dans la main un petit papier avec, si je me souviens bien, neuf critères d'autoévaluation : « loyauté », « fraternité », « obéissance », « courtoisie » … Le neuvième et tout dernier critère ? « Mon attitude envers l'étude ». Critère important certes, mais placé tout dernier.

Chacun se levait à son tour donc et communiquait aux autres l'image qu'il avait de lui-même : « Loyauté, assez bien, Fraternité, très bien… ». À tout instant, un autre élève pouvait se lever et dire, par exemple : « Fraternité : très bien ? Mais hier encore, tu as refusé de m'aider à ranger les livres de la bibliothèque ! ». Le premier élève décidait alors de corriger ou non la note qu'il s'était attribuée, d'affiner l'image qu'il avait de sa propre serviabilité.

Dans le cadre des cours de langue plus qu'ailleurs, nous pouvons instaurer, en parallèle avec le système institutionnel, peut-être moins performant à ce niveau, une évaluation d'autres performances que la seule et bonne réalisation d'activités (trop) scolaires. Nous pouvons dépasser notre volonté d'enseigner, passer à la vitesse supérieure, nous pouvons éduquer !

Et sur le carnet de notes, affiché près de la porte à l'entrée de la classe, ajouter des critères comme :

– ponctualité pour que le groupe soit prêt à apprendre plus vite
– soin pour que les cahiers deviennent de meilleurs outils d'apprentissage
– esprit d'équipe pour que les activités de groupes se déroulent mieux encore
– obéissance pour que les élèves respectent le petit règlement intérieur à la rédaction duquel ils auront d'ailleurs participé
– performances sportives pour pouvoir récompenser l'élève qui n'est peut-être pas toujours performant scolairement

Tout est permis… On peut préférer ou ajouter : bonne humeur ou beau sourire, respect de l'Autre, persévérance, souci écologique, etc. La liste est infinie.

Cette nouvelle forme d'évaluation, que nous pouvons (si ce n'est déjà fait) facilement mettre en place, induira – par un effet nommé washback ou backwash – une nouvelle approche où l'apprentissage du français deviendra aussi – et, pourquoi pas, surtout ! – prétexte à véritable éducation.