Gallika.net

Survol d'un examen du TFLF (Université de Liège)

Olivier Delhaye — 2015-09-13T11:37:27Z

Cette analyse rapide, réalisée et publiée à la demande de collègues, livre en vrac quelques défauts et qualités relevés dans l'examen intitulé Test Francophone de Langue Française (TFLF), Certificat de compétences linguistiques, Institut Supérieur des Langues Vivantes (ISLV), Université de Liège, Livret du candidat, Niveau B2 du Cadre européen commun de référence pour les langues, Session de MAI 2015.

Le texte qui suit est un relevé de ce qui, dans cet examen, reflète la qualité métrologique de l'évaluation. C'est ce qui avait été demandé sur le site http://qr.gallika.net.

Les considérations n'engagent que moi et ne reflètent en rien le jugement global que je pourrais porter à l'égard de l'examen ou du dispositif de certification dont il émane. Ce dispositif est d'ailleurs bourré de qualités : il est belge – comme moi ! –, il est plus transparent que de nombreux autres dispositifs, et il est surtout très « amical », comme on dit en Grèce. Tant pour les apprenants du français que pour leurs profs, d'ailleurs !

Le lecteur comprendra mieux ces propos s'il sait ce que sont les qualités métrologiques de fiabilité et de validité. Il peut s'informer ici : http://gallika.net/methodo/evaluation/article/la-docimologie

Test Francophone de Langue Française (TFLF), Niveau B2 du Cadre européen commun de référence pour les langues, Session de MAI 2015

Le titre se réfère à l'échelle de niveaux communs de référence d'une compétence langagière promu par le CECR (B2) mais la grille semble ne se référer qu'à deux des quatre modes d'activités langagières recensés dans le CECR (http://www.coe.int/t/dg4/linguistic/Source/Framework_fr.pdf, p. 18) : la réception et la production. Les compétences d'interaction et de médiation ne sont apparemment pas évaluées. Une compétence appartenant à un autre paradigme est également mesurée : celle de la mise-en-œuvre du système de la langue (« Structures »).

Les consignes sont en fait réduites à des instructions : les activités proposées ne sont mises, ni en situation de communication (pourtant attendue dans le cadre d'une approche communicative), ni en contexte d'(inter)action sociale (attendu dans toute perspective actionnelle). Ce choix, qu'explique probablement un souci de clarté et de brièveté, s'avèrera malheureux à l'épreuve d'expression écrite.

À première vue, les documents visuels et/ou sonores sur lesquels portent les consignes d'activité de réception sont authentiques. Toutefois, le premier document (compréhension écrite) a été tronqué, la division en paragraphes modifiée, les sous-titres supprimés et le texte légèrement modifié (pour le rendre plus facile à comprendre ?) à certains endroits. Le document original est d'une lecture beaucoup plus aisée, plus agréable aussi, parce qu'il est plus cohérent et plus cohésif :

Une indication systématique des sources permettrait de retrouver plus facilement les documents d'exploitation et de pouvoir en vérifier le degré d'authenticité.

Voici les liens qui conduisent aux sources de l'examen étudié :
– Apprendre avec l'enseignement à distance :
http://www.lalibre.be/actu/belgique/apprendre-a-son-rythme-a-domicile-ou-a-l-etranger-521193ac35708f18276ea565
– Stage pour ados en surpoids :
http://www.rtbf.be/video/detail_stage-pour-ados-en-surpoids?id=2008137
– L'Hermione reprend la mer :
http://www.rtbf.be/video/detail_l-hermione-reprend-la-mer?id=2008492

On constate que les trois documents émanent de médias belges. Il serait peut-être intéressant de diversifier les sources pour qu'un plus grand éventail de prononciations du français soit soumis aux examinés. N'oublions pas que ces anciens examens constituent aussi souvent des matériels d'apprentissage.

« Compréhension écrite »

Activité 1
Questionnaire à choix multiples. Il est précisé que plusieurs réponses peuvent être correctes. En fait, toutes les réponses sont bonnes ! Cette particularité devrait réduire l'indice de fiabilité de l'item : en effet, l'examiné cochera au moins une des trois cases et, même s'il le fait au hasard, il obtiendra certainement au moins 1/3.
Au plan de la mise en page, il eût été préférable de placer des carrés (indiquent que plusieurs choix sont permis) devant chacune des options plutôt que des ronds (choix s'excluant l'un l'autre).

Activité 2
L'indice de fiabilité de cette activité sera probablement faible dans la mesure où l'examiné devra choisir entre deux réponses, seulement. La probabilité de réussite à chaque item sera donc de 50%, ce qui est énorme. Pour les examinés plus faibles, il s'agira donc juste de jouer à pile ou face.

Plus que la compréhension proprement dite du texte, c'est la compétence linguistique lexicale qui est évaluée. Il peut suffire, pour répondre correctement, de repérer et de comprendre les séquences : minimum/moyennant, soit… soit…, encodé et sur les… la moitié.

L'item 2.4 est problématique. Pour être valide, la première réponse devrait être formulée ainsi : Vrai. La moitié des inscrits ne commencent pas les cours. À vrai dire, le texte original est lui-même incohérent. Il y est dit que « Chaque année, l'EAD enregistre quelque 11 500 à 14 000 nouvelles inscriptions », puis, 30 lignes plus bas, que« Sur les 30 000 nouvelles formations demandées chaque année, environ la moitié des apprenants ne débutent pas le processus de formation alors qu'ils sont inscrits ».

Activité 3
Cette activité est peut-être trop facile : les éléments de réponses sont carrément juxtaposés dans le texte (où et quand il le souhaite, à son rythme et selon ses possibilités). Si l'examiné a repéré un élément de réponse, il aura fatalement repéré les deux autres et pourra par ailleurs les recopier sans même les avoir nécessairement compris.

Activité 4
Cette activité ne permet pas une évaluation fiable parce que la mesure de la compétence lexicale n'est effectuée qu'une seule fois : l'examiné a la chance de connaître ou de ne pas connaître la locution « prendre le pli », de comprendre ou de ne pas comprendre le cotexte et/ou le contexte.

Activité 5
Voici un bel exemple d'activité où l'on souffle à l'examiné ce qu'il devait comprendre seul : qu'à l'EAD, on peut « corriger ses exercices » et « vérifier ses connaissances ». Ici, on contrôle seulement si l'examiné est en mesure de repérer dans le texte deux séquences qui correspondent à ce qui a été décodé à sa place.

Activité 6
Cette activité pèche en ce que de trop nombreuses réponses sont possibles : le prix, non certifiant, la souplesse, le risque, le meilleur encadrement, la liberté, etc. On ne sait pas comment elles seront notées par l'humain.

Remarque ultime, portant sur l'ensemble de l'épreuve de compréhension écrite : la nature des activités, l'ordre dans lequel elles sont présentées et/ou la longueur excessive du texte (600 mots) obligent l'examiné à lire et à re-parcourir de trop nombreuses fois le document. Ceci peut constituer une source de fatigue et de retard dans l'accomplissement de l'examen.

« Expression écrite »

L'examiné est amené à répondre à une série de questions en donnant son opinion ou, ce qui n'est pas annoncé dans la consigne, en justifiant son point de vue : Oui, je pense que… parce que…

L'épreuve doit plaire aux examinés et à leurs enseignants parce qu'il s'agit de produire un écrit sans aucune contrainte d'ordre sociolinguistique, pragmatique ou stratégique. Elle plaira d'autant plus qu'elle fait toujours réaliser la même paire d'actes de parole : donner son opinion / justifier son point de vue.

Où sont les dizaines d'autres micro-fonctions dont le Cadre demande de contrôler la capacité de réalisation ? Comment contrôler les degrés de cohérence et de cohésion (articulateurs, etc.), la connaissance et le respect des contraintes sociolinguistiques, la capacité d'élaboration de stratégies de communication dans cette pauvre succession de questions/réponses scolaires :

– Si tu devais suivre des cours à distance, quelle(s) matière(s) choisirais-tu ? Justifie ton choix.
– Si je devais suivre des cours à distance, je choisirais l'Histoire et la Biologie parce que j'adore ces deux matières. Tous les soirs, je lis des livres d'histoire. Je visite plein de sites qui parlent de biologie sur Internet. (A2)

« Structures »

Activité 1
Il faut comprendre une métalangue (plus-que-parfait, pronom, mode, etc.) inconnue de nombreux – et éventuellement excellents ! – locuteurs natifs.

Au moins deux compétences linguistiques sont mesurées en même temps, ce qui rend l'évaluation moins valide et l'exercice (ici, il s'agit plus d'un exercice que d'une activité, même dans ce cadre évaluatif : pas de contexte de communication, répétition immotivée) difficile. Un francophone natif peinera à réaliser ces transformations… parce qu'il n'a jamais fait ça.

Par contre, le fait que l'activité soit composée de 5 items lui confère un plus haut degré de fiabilité : une même mesure (mise au temps/mode correct, pronominalisation de compléments) est effectuée cinq fois. Elle est donc plus sûre, plus précise aussi.

La notation des réponses à l'activité 2 sera ardue : il y a souvent trois, parfois six réponses possibles. Et la validité de chaque réponse fournie ne peut être établie qu'en liaison avec l'ensemble des réponses données dans les autres lacunes du texte.

« Compréhension orale »

Pas si orale que ça puisqu'il y a l'image, mais cette adaptation à l'ère du multimodal est certainement un bien.

« Exercice » 1

Le sujet du reportage n'est peut-être pas adroit : des examinés pourront se sentir mal à l'aise s'ils se sentent concernés. C'est un problème de validité et de fiabilité tout à la fois.

J'ai pu répondre aux questions 1, 3 et 5 avant même d'avoir trouvé et visionné la vidéo. Ces questions ne mesurent donc pas à coup sûr le degré de compréhension orale (problème de validité).

Il est malaisé de répondre aux questions 3 (la réponse est discutable) et 4 (pas le temps de noter et surtout séquences difficiles et peu utiles : velouté de carottes aux lentilles, etc.).

L'activité 6 est vraiment de très bonne qualité. Il est impossible de valider les assertions sans avoir vu/entendu/compris la vidéo. En outre, quatre des cinq réponses attendues sont contre-intuitives, ce qui est parfait.

Toutefois, j'ai dû revoir plus de deux fois la vidéo et j'ai trouvé le « on est déjà venu me le dire » de l'item 6.3 particulièrement mal articulé ou inaudible.

« Exercice » 2

Activité 1
Ce ne sont pas des chiffres qu'il est demandé de transcrire, mais des nombres. Quatre mesures de la détention d'une même compétence (compréhension de la quantification chiffrée), c'est suffisamment fiable.

Activités 3 et 4
L'évitement de toute négation dans la formulation des consignes (n'a (n'ont) jamais été utilisée (/s), Ce n'est pas la première sortie en mer du bateau) figure dans les bonnes pratiques de rédaction d'un examen.

Voilà ! Je sais, la critique est facile. Mais elle est constructive puisque des formes alternatives précises d'activités d'évaluation pourraient être mises en place. Répétons aussi que ce survol ne concerne qu'une épreuve, qu'un seul niveau, qu'une seule session d'examen.

Voir en ligne : L'épreuve d'examen commentée

Qui peut et n'empêche, pèche !

Olivier Delhaye — 2007-02-01T19:05:20Z

Je ne sais vraiment pas à qui a pu être confiée la rédaction des sujets pour le concours ASEP, organisé pour les enseignants du français, cette année. Et je préfère ne jamais le savoir pour pouvoir exprimer plus librement ici ma surprise et ma déception.

Commençons par l'épreuve de langue du samedi.

On proposait aux candidats la transcription d'un texte, peut-être authentique, mais tronqué en au moins douze endroits, ce qui n'aidait pas le lecteur au moment de répondre à la dernière des 48 questions qui composaient le QCM. Je n'ai personnellement pu répondre avec certitude qu'à une trentaine de questions. Tantôt parce qu'aucun élément du texte ne permettait de répondre à la question, tantôt parce que la formulation de la question ou des propositions était ambiguë ou maladroite, tantôt encore parce qu'il semblait y avoir plus d'une bonne réponse à la question. J'ai aussi relevé d'assez nombreuses incorrections morphosyntaxiques, stylistiques et une faute d'orthographe qui empêchait la bonne compréhension d'une des propositions. Dix-neuf items problématiques contre vingt-neuf items qui semblent à priori fonctionner. Pas de quoi être fiers, messieurs les rédacteurs !

La seconde activité consistait en la rédaction d'un texte d'un genre difficile à cerner. La situation proposée était la suivante :

– Vous avez participé à une table ronde,

– vous vous êtes « positionné(e) en faveur de » (expression introuvable sur Google) l'utilisation des documents scientifiques,

– vous êtes « tenu(e) de remettre » (autre première, dans pareil contexte !) le texte de votre intervention,

– vous devez le rédiger en reprenant les grandes lignes de votre présentation.

Quelle « présentation » ? J'ai fait une présentation ? Oui, oui ! On vous signale d'ailleurs que les grandes lignes en sont : public des apprenants, source(s), types de documents, thématique(s), adaptation, modes d'exploitation, … à vous de donner quelque cohérence à la liste, à vous aussi de développer une argumentation pour justifier vos points de vue parce que de « présentation », il semble bien que, quatre lignes plus bas, votre intervention soit tout à coup devenue « prise de position ».

Pour corser le tout on vous laisse choisir si, oui ou non, vous ferez référence à des expériences personnelles et un « etc. », aussi final qu'inattendu dans une consigne de production à des fins d'évaluation, ouvre la porte à n'importe quel autre ajout.
Je souhaite bien du plaisir aux évaluateurs des productions. Quels pourront donc bien être les critères dont ils devront vérifier la réalisation ? Respect des normes du genre de discours ? Encore faudrait-il que nous nous entendions sur le genre de discours attendu. Accomplissement d'actes de paroles précis ? Mais quels sont-ils finalement ?

Je suis effrayé de constater que la qualité de cette consigne d'activité est à plus d'un titre inférieure à la qualité que l'on attend – enfin, j'espère ! – des consignes que les candidats doivent produire au cours de l'épreuve de didactique spécifique.

Passons justement à cette épreuve de didactique spécifique. Tenez-vous bien ou asseyez-vous, je ne sais pas. Je préviens les âmes sensibles que nous passons sans transition du registre du franc comique au tragique le plus noir !

Les candidats ont reçu un document. Que les références ne nous trompent pas : ce document est tout, sauf un document authentique. Les paroles en ont été réécrites, deux passages ont été escamotés, deux sérieuses fautes morphosyntaxiques ont profité de la bataille pour s'incruster et enfin, le tour de parole n'est vraiment pas aussi clair que sur la planche originale.

Comment a-t-on pu abîmer ainsi un document qui sentait certes le moisi (Nos élèves étaient-ils seulement nés en 1983 ?) mais qui aurait par exemple pu permettre de mettre nos apprenants au contact de l'écriture manuscrite ou de l'humour de Bretécher. Parce que même cet humour, les conditions de reproduction l'ont tué. Qui a ri en lisant cette planche ? Peu de gens. Pourquoi ? Parce qu'il manque justement cette écriture manuscrite si caractéristique (absence de majuscules, alinéas significatifs, etc.), les détails savoureux (justement ceux qui ont été escamotés : le babyliss à emporter, se refaire une sangle abdominale en deux mois en faisant du yoga !) et une indication claire des tours de parole (le seul fait de placer une réplique plus haut dans une case ne suffit pas à s'assurer de ce que les lecteurs la liront en premier).

Alors, avant d'aller plus loin je vais poser une question. Que peut bien faire, mettons, un Français de France au spectacle de cette planche ? Il la lit et il rigole, il en raconte l'histoire à un ami ou il fabrique un avion en papier. C'est du moins ce que j'ai compris à la lecture du cadre commun que nous connaissons tous par cœur.

Ici, les concepteurs ont visé plus haut : À en croire la consigne et les éléments intégrés dans le tableau, nos pauvres apprenants vont « travailler » ce document, vont enrichir le « lexique pour la description d'un personnage » (On ne décrit personne sur cette planche !), vont développer leurs compétences de production orale (On se demande sur quels modèles !), vont participer à des activités sur les « qualificatifs » (sic !) pour la description d'un personnage à partir de petites annonces matrimoniales (si ,si ! c'est écrit dans le tableau ! il est vrai que si l'on ne définit le public des apprenants qu'en termes de niveaux et d'âges, tous les coups sont permis !).

Ne me demandez pas ce qu'est devenue la bande dessinée. Nous sommes passés dans une autre dimension de l'univers : je suis à la case F2 et je me vois obligé d'organiser une activité communicative de production écrite (Je me demande en passant ce qu'est une activité non-communicative de production écrite…) qui consiste (là, je m'écroule !) à répondre à une petite annonce matrimoniale. On précise bien heureusement aux apprenants qu'ils sont une « femme à la recherche d'un compagnon ». Certains vont avoir des difficultés à se projeter dans le personnage, mais bon ! L'important est que la BD ait fournit l'indispensable « lexique pour la description d'un personnage », en tout et pour tout : cellulite, cheveux, haut des cuisses, jambes, épaule et sangle abdominale (va être difficile à placer celle-là ! peut-être pour ça que l'expression n'apparaît plus dans le document expurgé).

Comment ? Le public ? Oui, je crois aussi : un public pour le moins averti ! D'autant plus averti que si, comme le suggère ce tableau (qui pourrait à mon avis être vendu à prix d'or chez Christie's), les apprenants sont invités à collecter des matériels supplémentaires (annonces matrimoniales !) sur la Toile, l'ambiance au cours sera chaude ! À organiser juste après une conférence sur les dangers de l'Internet, histoire de rassurer les parents !

Redevenons sérieux. Nous étions à la case F2, en train d'organiser une activité de production écrite qui s'intègre, à en croire l'œuvre d'art, dans l'étape de la compréhension sélective (case A2). Donc, en termes simples : « Je suis une femme à la recherche d'un compagnon qui répond à une petite annonce parce qu'ainsi, je comprends mieux la planche de Bretécher qui n'a rien à voir mais ce n'est pas grave puisqu'on va de toute façon bientôt passer à la compréhension détaillée, puis à l'analytique ».

Du délire !

Je ne m'attarderai pas sur les composantes de la situation de communication qui devaient bien entendu être avant tout liées à la situation de communication dans laquelle sont impliqués les lecteurs et l'auteur de la planche, et non à la situation présentée dans la planche-même. Je ne poserai pas la question de savoir pourquoi, par exemple, l'identification du cadre physique ou des participants ne se fait pas déjà au cours de l'étape de compréhension globale. Je ne m'extasierai pas non plus devant les lieux aussi communs que gratuits listés sous « méthode(s) et mode(s) de travail » (mais pourquoi ces S systématiquement placés entre parenthèses, il y a déjà 5 méthodes et modes !) ou sous « Équipements (supports et moyens, ici le pluriel est obligatoire). Des réponses individuelles de la part des apprenants ? Oui, mais pourquoi ? Un dictionnaire analogique ? Oui, mais pour quoi faire ? On peut vraiment copier-coller tout ça n'importe où ? Et sans explications ?

Ah oui ! Le chronomètre semblant désormais faire partie de la panoplie du bon enseignant des langues, mesurez bien le temps que prendra chaque activité comme l'ont si bien fait les rédacteurs de cette épreuve !

Je n'ai plus le courage d'examiner de près les deux consignes et les notes au bas du tableau. Ça ne servirait d'ailleurs à rien. Comme me le souffle ma grande amie Dimitra, avant d'être complété, ce tableau doit de toute façon être d'abord sérieusement révisé (Mais comment l'a-t-elle compris ?). Je ne commenterai pas non plus les questions de didactique générale et de pédagogie, elles sont heureusement moins mauvaises.

Les lignes qui précèdent ne constituent en rien une évaluation scientifique des épreuves organisées le week-end passé et ne peuvent être utilisées comme telles. J'autorise par contre tout le monde à les publier où bon lui semble. Il s'agit juste d'un appel au scandale !

Le modeste Αλλοδαπός Διδάσκαλος que je suis, qui n'a peut-être rien compris aux épreuves du concours ASEP de cette année, dédie ce petit texte aux 3000 candidats qui se sont présentés aux épreuves et dont on a, à mon avis, très injustement assassiné les plus grands espoirs familiaux et professionnels.

Pour mieux voir cet article et les documents annexés, cliquez sous "Document joints".

Examens de français Palso : excellents !

Olivier Delhaye — 2003-01-04T22:00:00Z

Les nombreux professeurs qui ont participé à l'atelier du 29 août dernier au Congrès de la Fédération à Athènes savent que l'établissement des seuls degrés de difficulté ou de discrimination pour chacun des items qui composent un questionnaire à choix multiples ne permet de tirer aucune conclusion sur la valeur de l'examen qui l'intègre. Il est indispensable que les hauts degrés de fiabilité (fidélité) et de validité de cet examen aient préalablement été établis à tous les niveaux (pour l'ensemble de l'examen, pour chacune des épreuves qui le composent, pour chaque type d'activités, pour chaque item, etc.) au moyen de techniques d'analyse et de calculs statistiques complexes.

Le calcul de la fiabilité d'un examen permet de répondre à la question : « A-t-on éliminé tout risque d'imprécision, voire d'erreur, dans la mesure ? » L'état de fatigue du correcteur, la longueur excessive d'un test, la mauvaise qualité sonore d'un cassettophone peuvent réduire le degré de fiabilité d'un examen.

L'établissement de la validité de l'examen permet de savoir si l'on mesure bien ce que l'on croit mesurer. Ainsi, le trop jeune âge d'un candidat, le milieu socio-culturel dans lequel il évolue, d'éventuels vices de conception dans le modèle théorique sur lequel repose son apprentissage des langues, ou plus simplement dans l'activité d'évaluation proposée elle-même, peuvent parasiter la mesure des seules compétences langagières de ce candidat.

Petit exemple : « C'est le collègue _____ je me moquais tantôt ».

Imaginons qu'un apprenant ait complété cette lacune avec le mot que.
Quelle conclusion pouvons-nous tirer de cette erreur ?

 L'élève testé connaît mal le paradigme des pronoms relatifs
 Il ignore la construction syntaxique du verbe se moquer ?
 Il a été mal influencé par la traduction qu'il a pu faire de cette phrase en grec.
 Il est incapable de distinguer les différents emplois de που en grec.
 Il n'a pas compris le sens de la phrase, du mot collègue, ou du verbe se moquer.

Oserions-nous cocher une ou plusieurs de ces options sans craindre de nous tromper ? Non ! Que cette activité s'intègre dans une évaluation formative ou sommative, intermédiaire ou finale, elle ne permet donc de déterminer le degré de compétence de l'apprenant dans aucun domaine précis.

Autre question : Et si cette activité était une activité d'apprentissage ? Serions-nous en droit de la ranger sous le titre Exercices sur l'emploi des pronoms relatifs ?

Une fois le malaise existentiel créé, nous pouvons passer à la bonne nouvelle : Il ressort d'une étude docimologique (maintenant, nous savons ce que c'est !) des résultats aux examens de français PALSO de l'année passée que ces épreuves étaient de fort bonne qualité, et d'une qualité d'autant meilleure que l'étude que j'ai réalisée d'épreuves d'examen homologues et concurrentes révèlent d'importants vices de conception aux plans de la fiabilité et de la validité.

Paru dans la revue mensuelle de la Panhellenic Federation of Language School Owners (PALSO) en septembre 1995.

Évaluation des épreuves du Delf A4 (mai 1997)

Olivier Delhaye — 1997-06-15T16:58:00Z

Évaluation certificative des compétences de communication en français développées par des apprenants grecs : le cas d'examens du niveau A4 (anciens niveaux) pour l'obtention du DELF (session du mois de mai 1997 – centre d'examens d'Athènes – IFA).

Un lien vers une reproduction des 8 photocopies distribuées lors des épreuves d'examen est placé au bas de cette page.

Mise-à-jour : la qualité de ces épreuves, très anciennes, ne doit pas être rapprochée de celle des épreuves organisées aujourd'hui (2022).
Pour la petite histoire, c'est la critique de ces épreuves de 1997 qui est à l'origine de ma vocation de docimologue.

Examens du DELF A4

Épreuve orale

L'exercice dit de discrimination phonétique est de bonne qualité. Aucun élément sémantique ne rend chacune des deux transcriptions proposées plus probable que l'autre. Les oppositions phonologiques sont variées, choisies en fonction des particularités du système phonologique néogrec, plongées dans des contextes lexicaux et morphosyntaxiques élémentaires qui n'interfèrent donc en rien sur l'évaluation de la capacité des candidats à distinguer certains sons à laquelle est notamment subordonnée leur compétence de compréhension d'un fragment de discours oral.

L'exercice 2 range sous la rubrique actes de parole des termes qui désignent tout autre chose. Il serait surprenant qu'une seule situation de communication (femme à son mari, etc.) corresponde à chacune des phrases enregistrées (comment évalue-t-on dès lors les réponses ?). Le tableau destiné au report des réponses peut ne pas être compris par tous les candidats (inversion de l'abscisse et de l'ordonnée, chiffres romains).

La carte présentée sous la consigne de l'exercice 3 comporte trop d'éléments pour que les candidats puisse la compléter sereinement. La probabilité que des apprenants se livrent un jour, même dans leur propre langue, au sport proposé par la con-signe est très faible.

Le document écrit proposé à l'exercice 4, pourtant intitulé compréhension orale, interfère sur l'évaluation de la capacité de compréhension d'un discours oral. Le nombre trop élevé de questions peut rendre la réalisation de l'exercice difficile, même en langue maternelle. On ne précise pas si les questions doivent être lues avant, pendant (difficile !) ou après audition de la cassette. Au hasard de la stratégie adoptée, un même candidat obtiendra donc des scores très différents. Enfin, l'intérêt communicatif de certaines des questions (proportionnel à la mesure dans laquelle une personne pourrait se poser de telles questions à l'écoute spontanée de pareil enregistrement) est douteux.

Épreuve écrite

L'ordre dans lequel titres, première consigne et document sont présentés à la pre-mière page peut embrouiller le candidat.
La nature des propos du journaliste interviewé peut ne pas être facilement comprise par les jeunes lecteurs que sont la majorité des candidats.

L'exercice 1 tient plus de la devinette (4^e lacune surtout !) que de l'évaluation d'une compétence. Quelle serait-elle d'ailleurs ? L'exercice n'évalue en tout cas pas dans quelle mesure le candidat est capable d'employer des pronoms en français, comme le laisse supposer la consigne, puisque ses choix seront aussi subordonnés à une bonne connaissance du lexique et des constructions syntaxiques utilisés dans l'extrait.

L'exercice 2 propose au candidat de construire un texte monstrueux, truffé de répétitions, celui qu'on ne voudrait justement jamais voir écrire par un élève. L'absence de l'article juste avant la première lacune peut troubler des candidats. Il n'y a aucune raison de noyer ces trois exercices de transformation dans un texte de toute façon artificiel puisque les verbes proposés ne permettent qu'une seule substantivation courante. Le recours à un quelconque contexte est donc inutile.

L'activité proposée dans l'exercice 3 évalue des savoir-faire inutiles : Cherche-t-on jamais à formuler par écrit la question à laquelle répondent des éléments soulignés dans un texte ? La notation des questions que proposeront les candidats sera en outre difficile. À la réponse Mes élèves, pourrait aussi bien correspondre la question

– Qui vous a très vite fait comprendre que votre discours ne les intéressait pas tous ou qu'ils avaient d'autres choses à faire (...) ?

que la question

– Qui ?

La résolution de l'exercice semble à nouveau ne pas dépendre de la mise en situation – invraisemblable, par ailleurs ! – proposée.

L'exercice 4 surprend. Attend-on vraiment que les candidats répondent :

– J'avais toujours tout connu de tout ça.

– À l'université, tous les étudiants avaient toujours eu le bon goût de ne pas rire au fond de l'amphithéâtre ?

Les candidats sont-ils condamnés à proposer des énoncés si peu acceptables ? En outre, le principe de la double négation leur fait en définitive paraphraser les propos du journaliste au lieu d'exprimer le contraire de ce qu'il dit.

Les lacunes ménagées dans le texte proposé à l'exercice 5 peuvent être complétées de nombreuses manières ce qui pourrait poser des problèmes (objectivité des critères d'évaluation, cohérence de l'ensemble des réponses) au moment de la correction.

L'exercice 6 évalue une technique (celle qui consiste à « imparfaitiser » les verbes à l'indicatif et à transformer quelques pronoms personnels) totalement indépendante du degré de compréhension du contexte et du sens des phrases ainsi transformées. La seule éventuelle difficulté – celle que constituent le choix et l'emploi des verbes introducteurs – a été éludée.

L'exercice 7 conduit le candidat à produire des phrases grammaticalement correctes mais peu vraisemblables et dont l'une surtout ne peut être admise que dans un contexte très particulier. Le candidat osera-t-il proposer :

– Les notes ont arrêté d'être prises et les cahiers d'être ouverts ?

Sa proposition sera-t-elle acceptée par les correcteurs ? Le quand c'est possible de la consigne se réfère-t-il à la grammaticalité de la phrase ou à sa validité performative dont on ne pourrait de toute façon pas juger puisqu'aucune situation de communication n'est proposée ici ?

Des candidats habitués aux exercices bien peu naturels de « reconstitution de phrase aux mots permutés » pourraient s'enliser dans l'exercice 8. On aurait peut-être du leur signaler que les éléments donnés sont présentés dans l'ordre attendu.

Le tableau qu'il est demandé d'expliquer à l'exercice 9 n'est pas clair du tout. Le fait que des nombres de jours/semaine, que l'indication d'une certaine demi-journée de la semaine et que la mention rythme différent soient rangés sous la même rubrique semble indiquer qu'il s'agit d'un document (mal) fabriqué.

Conclusions

Les Instructions pour l'organisation des épreuves du Diplôme Élémentaire de Langue Française et du Diplôme Approfondi de Langue Française (1986) éditées par le Ministère français de l'Éducation Nationale précisent, notamment à la page 6, que l'orientation pédagogique des examens du DELF et du DALF portera plus sur des objectifs à atteindre, exprimés en termes de savoir-faire, que sur des inventaires de connaissances. Le titre de l'unité A4 (pratique du fonctionnement de la langue) con-firme d'ailleurs cette volonté des docimologues d'évaluer avant tout les compétences de communication et de ne jamais séparer, donc, les occasions de comprendre ou de produire un discours oral/écrit de la situation sociale dans laquelle ce discours s'intègre.

Aux exercices scolaires, devraient ainsi se substituer des activités socialement motivées, reposant sur des documents authentiques et susceptibles d'être un jour réellement effectuées par les apprenants.

Hormis l'exercice de discrimination phonologique (8,33 % de la note générale), les activités proposées dans les épreuves étudiées ne répondent pas du tout à ces attentes.

Le manque de soin dans la mise en page (ordre des titres à la première page, tableaux peu clairs aux pages 7 et 11),

l'absence, dans tous les exercices, de mise en situation des fragments de discours proposés aux candidats,

le caractère particulièrement scolaire de la plupart des exercices,

le fait que l'âge moyen des candidats ne semble pas avoir été pris en compte,

et que les réponses attendues dans certaines activités seront difficilement évaluables,

toutes ces imperfections peuvent compromettre la réussite des candidats.

À notre avis, un candidat développant de véritables compétences de communication en français pourrait avoir moins de chances de réussir l'épreuve écrite qu'un candidat qui aurait acquis les quelques savoirs scolaires évalués par l'examen.

L'analyse métrologique devrait confirmer

que le taux de réussite aux deux épreuves sera faible,

que les chances de succès d'un candidat à cet examen sont particulièrement imprévisibles et

que la probabilité de réussite des examinés dépend d'un nombre élevé de facteurs dont le plus influent ne sera hélas pas nécessairement ... leur bonne « pratique de la langue ».

Annexes

Reproduction des 8 photocopies distribuées lors des épreuves d'examen organisées en mai 1997 à l'Institut Français d'Athènes pour l'obtention du Diplôme Élémentaire de Langue Française délivré par le Ministère français de l'Éducation Nationale :

Examens du DELF A4