EuroMillions : oui au hasard. Concours : non, merci.

Qu’est-ce qu’un « item » et pourquoi l’analyser ?

Un item, c’est une question du QCM. Après l’épreuve, on regarde :
– la difficulté  : combien de candidats ont fourni la réponse attendue ;
– la discrimination  : est-ce que la question différencie bien les candidats forts des candidats faibles ?
– les mauvaises réponses (distracteurs) : est-ce qu’elles attirent vraiment (> 5 % des candidats) mais pas trop (≤ 30 %) ceux qui n’ont pas la bonne compétence ?

Que faire si une question pose problème ?

Erreur évidente – Mauvaise clé ou ambiguïté manifeste
Il faut retirer la question pour tout le monde et recalculer la note.
(Ex. : discrimination négative ou quasi nulle : r_pb ≤ 0, difficulté extrême : p < 0,20 ou p > 0,90).

Question peu discriminante mais sans dysfonction
Il faut laisser en l’état cette fois-ci et réécrire ou améliorer la question pour la prochaine session.
(Ex. : discrimination faible : 0,10 ≤ r_pb < 0,20, ou difficulté très haute/basse : 0,20 ≤ p < 0,30 ou 0,85 < p ≤ 0,90).

Plusieurs questions problématiques
Il faut ajuster légèrement le seuil de réussite si plusieurs items sont exclus (par exemple, relever ou abaisser de 1–2 points sur 100 si plus de 5 % des questions ont été retirées), afin de rester équitable.

Pourquoi ne pas corriger « au cas par cas » ?

Corriger différemment selon les candidats serait injuste. On applique la même règle pour tous, et on annonce à l’avance comment on traitera ce genre de situations.

Comment s’assurer que les examens restent équitables d’une année à l’autre ?

– On doit garder un historique des résultats des questions (pour repérer si elles deviennent trop faciles parce que tout le monde les connaît).
– On compare les difficultés entre les groupes de performances mesurées pour qu’aucune partie du « programme » ne pèse trop lourd.
– On fait relire certaines questions par un collègue pour détecter des biais ou des ambiguïtés que les statistiques seules peuvent avoir relevés mais dont l’origine n’a pas été identifiée.

L’analyse d’items est un contrôle de qualité : on retire seulement les questions clairement défectueuses ou de difficulté extrême ; on garde les autres pour cette session mais on les améliore pour la suivante ; dans tous les cas, on garde des règles claires et les mêmes pour tout le monde. Ainsi, les concours restent justes et fiables : ils mesurent la compétence réelle et non un coup de chance… comme celle de notre joueur d’EuroMillions.