Gallika.net

1 Introduction

Olivier Delhaye — 2003-12-15T22:00:00Z

Voici la présentation critique [1] d'un instrument d'évaluation mis en œuvre en Grèce pour l'octroi d'une certification en langue française, en l'occurrence des examens de français du PALSO. Ces examens sont devenus aujourd'hui « Examens PALSO-LAAS, niveau A2 ».

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

La lecture de ces textes (dans l'ordre suggéré) peut aider l'enseignant des langues à comprendre concrètement comment peut être conçue puis mise en œuvre une évaluation certificative des compétences de communication en langue étrangère, même imparfaite encore.

1.1 Justification de l'étude

C'est surtout aux progrès de la sociolinguistique enregistrés au cours des deux dernières décennies que la didactique des langues étrangères doit l'élargissement du cadre étroit dans lequel s'inscrivaient les méthodologies d'enseignement/apprentissage plus anciennes. Ce renouveau s'est notamment traduit par une expression systématique des contenus en termes d'objectifs à atteindre, par un élargissement de la nature de ces objectifs à la compétence de communication, et par une restructuration de la matière proprement linguistique autour de ces nouveaux objectifs.

Sur le terrain, l'approche communicative a imposé une redéfinition des rôles de l'apprenant et de l'enseignant dans le processus d'acquisition des compétences, une rénovation des supports de l'apprentissage et l'organisation d'activités socialement motivées. Si ces nouvelles nature et distribution des objectifs d'apprentissage sont maintenant de plus en plus clairement reconnues et appliquées par les enseignants des langues, elles ne transparaissent pas encore dans la façon avec laquelle les épreuves des examens de langue les plus répandus sont conçues. Les objectifs d'une évaluation sommative et/ou certificative ne devraient-ils pourtant pas correspondre exactement à ceux de l'apprentissage dont cette évaluation est l'aboutissement ?

En Grèce par exemple, les enseignants qui pratiquent une didactique des langues en relation avec les récents apports de l'ethnographie de la communication constatent avec dépit que les compétences de communication développées chez les élèves sont peu ou mal évaluées par les examens organisés en vue de l'obtention des certifications de langue traditionnellement convoitées . Depuis quelques années cependant, ces dernières sont entrées en concurrence avec des certifications de compétence de communication en langue anglaise, française, allemande ou italienne délivrées par la PAnhellenic federation of Language School Owners (PALSO), qui devraient mieux résister à la critique scientifique mais dont les pouvoirs publics nationaux ne reconnaissent pas encore unanimement la valeur.

Dans le but de mieux convaincre les éventuels détracteurs - enseignants, maisons d'édition ou ministres - de ces diplômes, la Fédération a chargé les universités d'une étude comparative de toutes les certifications de langue existant sur le marché national. C'est à cette étude d'envergure que la présentation des examens PALSO de français qui va suivre entend s'intégrer.

1.2 Objet de l'étude

L'objet précis de cette étude sera donc la présentation critique et non contrastive d'un instrument d'évaluation utilisé en Grèce pour la délivrance à l'échelle nationale de certifications de bonne connaissance de la langue française. Cet instrument a été créé en 1984 par le prof. Vasso TOCATLIDOU pour le compte de la PAnhellenic federation of Language School Owners (PALSO). Depuis mai 1987, nous participons à la conception et à l'amélioration de cet outil en exploitant notamment les informations fournies annuellement par la correction des épreuves et par l'analyse des résultats. Présentation sera donc également faite de cette autocritique itérative qui fait partie de l'instrument lui-même puisqu'elle en améliore, d'une session à l'autre, le degré de pertinence et de fiabilité par de constants va-et-vient entre les résultats et les tests qui les engendrent.

Le modèle théorique sur lequel repose l'évaluation PALSO est l'aboutissement d'une approche rigoureusement ethnographique de la communication. La validité spéculative de ce modèle ne sera pas discutée dans ces pages mais la validation de sa structure et de sa cohérence sera par contre recherchée dans l'analyse des résultats aux examens.

Plus qu'à la présentation générale de notre outil que réalisent de toute façon fort bien les documentations en annexe, c'est donc à une critique à la fois sociolinguistique et docimologique de l'instrument que s'attacheront surtout les pages qui suivent.

1.3 Plan

Quelques précisions théoriques liminaires sur la nature de la compétence langagière à évaluer et sur la mesure de cette compétence précéderont l'étude proprement dite.

La présentation et la critique de l'outil qui suivront s'appuieront sur la description des procédures d'évaluation certificative mises en oeuvre dans les 3 épreuves (niveau élémentaire) et les 4 épreuves (niveau certificat) qui constituaient l'examen annuel de langue française organisé à l'échelle nationale par le PALSO en mai 1998. Cette description sera organisée de façon à ce que puissent être rassemblées et présentées de façon ordonnée les questions qui concernent

– les objectifs de l'évaluation,
– la mise en oeuvre de l'évaluation et enfin,
– l'analyse des résultats de l'évaluation.

Les questions rangées sous les deux premiers titres seront abordées dans une perspective sociolinguistique ; les résultats de l'évaluation seront par contre l'objet d'une analyse docimonomique.

C'est dans ce même ordre que seront ensuite tirées les conclusions destinées à améliorer l'outil d'une part, et qui permettront, je l'espère, au lecteur de statuer sur le degré de pertinence et de fiabilité déjà atteint par l'instrument, de l'autre.

Voir en ligne : Suite

[1] Cette présentation est bien ancienne : elle a été réalisée avant la conception et la mise en place progressive, dès 2003, du dispositif de certification appelé ΚΠγ.

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

2 Précisions théoriques liminaires

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

Qui dit homme dit langage, et qui dit langage dit société . Ainsi, l'acquisition du langage ou son apprentissage sont-ils le propre de l'homme et constituent-ils depuis la nuit des temps l'objet d'évaluations plus ou moins pertinentes.

La qualité sensiblement meilleure des tests d'évaluation langagière organisés au-jourd'hui est liée

– à celle des modèles théoriques sous-jacents dont le récent établissement est l'aboutissement des progrès réalisés dans l'étude de l'acquisition du langage et dans la didactique des langues d'une part,

– à l'application de la métrologie aux procédures d'évaluation des compétences langagières, de l'autre.

L'étude de ces tests exige donc qu'on s'accorde préalablement

– sur la nature de la compétence langagière et
– sur la nature et la signifiance de la mesure proprement dite.

2.1 La compétence langagière

Les expressions par lesquelles la compétence langagière à évaluer est désignée dans la littérature scientifique sont nombreuses : communicative proficiency, communicative language ability, communicative language proficiency ou encore communicative competence chez HYMES (1972). L'analyse comparée des définitions qui correspondent à chacune de ces dénominations conduit, en accord avec BACHMAN (1990), à appeler compétence langagière la capacité de comprendre et/ou de produire un énoncé

– approprié au système discursif dans lequel il s'intègre, d'une part, et
– adapté à la situation sociolinguistique dans laquelle il s'inscrit, de l'autre.

Cette définition a le mérite d'étendre la notion chomskyenne de compétence à celle que HYMES (1972) désigne sous l'expression de compétence de communication. Elle devient la connaissance (pratique et non nécessairement explicitée) des règles psychologiques, culturelles et sociales qui commandent l'utilisation de la parole dans un cadre social.

L'exploitation de ces connaissances en situation de communication met en oeuvre des compétences organisationnelles et pragmatiques dont l'organisation a été détaillée notamment par BACHMAN (1990) dans le tableau reproduit ci-dessous et qui s'inscrivent elles-mêmes dans le schéma plus large d'une stratégie de réalisation des intentions.

[fig. 1]

Le développement de cette stratégie est subordonné à une compétence qui met tour à tour en oeuvre

– la définition de l'objectif (comprendre / produire un discours aux fonctions, modalités et contenus précis)

– le processus de planification (rassembler les éléments linguistiques néces-saires)

– le processus de construction (composition de la réalisation, assemblage des éléments)

– le processus d'exécution (processus neurologique et physiologique)

– l'énonciation (comprendre / produire le discours).

Une évaluation de la situation (feedback) permet un constant réajustement de cette stratégie. Le rôle des compétences langagières dans ce schéma est de permettre le déroulement des processus de planification et de construction. Des mécanismes psychophysiologiques en rapport avec le canal et le skill sont bien entendu également mis en oeuvre au moment de l'exécution.

[fig.2]

Si ces modèles théoriques de la compétence langagière et de la compétence de stratégie permettent de distinguer clairement les composantes de la compétence de communication et les rapports qu'elles entretiennent, ils ne permettent pas pour autant d'opérer une évaluation séparée de ces dernières puisqu'elles peuvent être simultanément mises en oeuvre. Leur réorganisation selon un modèle qui en rend l'évaluation possible est donc nécessaire.

Denise LUSSIER (1992) a ainsi proposé un modèle théorique organisant les compétences en termes d'objectifs opératoires. Il est reproduit ci-après :

[fig. 3]

Les fonctions langagières sont les intentions de communication ou les événements de parole d'un locuteur indépendamment de la forme des énoncés qui les véhiculent (COSTE 1976), ce sont les actes de parole.

Les situations de communications sont les intentions de communication ou les événements de parole qui actualisent certains référents concrets en relation avec l'environnement physique et spatio-temporel (COSTE 1976), c'est le setting dont HYMES (1969, 1972) a fourni le célèbre modèle d'analyse.

Les types de discours sont les intentions de communications ou des événements de parole qui se concrétisent dans divers genres de textes (COSTE 1976) et qui en contraignent finalement la forme.

Dans ce tableau, les objectifs intermédiaires sont assujettis aux objectifs spécifiques et ne peuvent donc pas constituer l'objet d'une évaluation sommative. L'évaluation des objectifs spécifiques permettra par contre d'inférer le développement des compétences inventoriées en regard des objectifs généraux (habiletés linguistiques) et de l'objectif global (niveau de compétence de communication).

2.2 La mesure de la compétence langagière et les tests langagiers

2.2.1 Finalités des test langagiers
Il existe une très grande variété de critères suivant lesquels les tests langagiers peuvent être différenciés. Leur place dans cette taxonomie complexe permet d'en cerner rapidement les finalités.

Ainsi peut-on distinguer les tests selon l'usage (sélection, entrée, placement, diagnostic, progrès, recherche), les contenus (réalisation, compétence, aptitude, réussite), la place dans le processus d'apprentissage (évaluation formative, sommative) le cadre de référence (norme statistique, norme critériée), la procédure de quantification (subjective, objective) ou la méthode d'investigation (questionnaire à choix multiples, complétion, essai, dictée, closure).

2.2.2 Types de test
Ces traits distinctifs sont la résultante de choix précis dont l'opération peut soulever des problèmes : Quelles compétences mesurer ? Comment les isoler ? Comment les quantifier ? Quelle norme adopter ? Dans quelle mesure les conditions du test sont-elles identiques aux conditions hors-test ? C'est du bon choix des compétences à mesurer et de la méthode adoptée que dépend l'acuité du test.

BACHMAN (1990) relève 5 types de caractéristiques permettant de définir la mé-thode appliquée dans un test :

– l'environnement du test, les conditions dans lesquelles il est organisé,

– son organisation au niveau du temps, des instructions, du canal et de la langue des instructions par exemple,

– les inputs qui le composent (leur nature, le canal, la vitesse, l'authenticité),

– les réponses attendues (sélectionnées, construites, linguistiques ou non) et,

– pour les inputs et les réponses attendues tout à la fois, la longueur, le degré de contextualisation, la distribution de l'information (compacte, diffuse), le type d'informations (abstrait, concret) et les caractéristiques (grammaticales, illocutionnaires, sociolinguistiques).

HENNING (1987) propose quant à lui une dizaine de critères qui permettent à la fois de développer un test de qualité ou d'établir le degré de qualité d'un test : Il doit être tenu compte

– de l'objectif (validité),
– de l'exactitude de la décision (fiabilité),
– du profil des examinés (difficulté),
– de l'appropriation du format et des tâches (applicabilité),
– de la population des examinés (pertinence),
– de la possibilité d'élaboration de tests assimilables ou équivalents (réplication),
– du coût (économie),
– de la disponibilité (disponibilité) et
– de la politique (acceptabilité) .

Les critères de fiabilité et de validité retiendront bien entendu plus particulièrement l'attention.

2.2.3 Fiabilité

L'analyse statistique des résultats à un test permet de mesurer à quel degré les me-sures/observations sont affectées par d'autres facteurs.

Il existe plusieurs méthodes pour évaluer la fiabilité d'un test :

– la première consiste en l'organisation à moins de deux semaines d'intervalle du même test auprès d'une même population d'examinés et en la comparaison des résultats ;

– la seconde consiste à comparer le test avec un test parallèle (même degré de difficulté, mêmes variances) et à inférer les qualités de fiabilité du second sur le premier ;

– une troisième méthode consiste à découper le test en sous-ensembles représentatifs de l'ensemble et à mesurer leur degré de corrélation (splithalf reliability) qui devrait être supérieur à .80.

HENNING (1987) a relevé à plusieurs niveaux les facteurs qui peuvent constituer des menaces à la fiabilité :

– au niveau du testé :

organisation d'un même test à plus de 2 semaines d'intervalle,
révélation des bonnes réponses entre deux organisations d'un même test,
annonce de ce qu'un même test sera organisé deux fois,
organisation d'un test suffisamment court pour que les bonnes réponses soient apprises par coeur,
fatigue ;

– au niveau de la correction :

fatigue du correcteur,
subjectivité relative entre correcteurs ;

– au niveau des conditions :

surveillants différents,
environnement ;

– au niveau du test :

longueur injustifiée,
degré de difficulté trop élevé / trop bas,
degré de discrimination trop élevé / trop bas,
absence d'homogénéité.

2.2.4 Validité

Les résultats d'un test ne peuvent être utilisés que si ce test est valide. Sans quoi, l'interprétation des scores est faussée. Si l'évaluation de la fiabilité d'un test consiste en la recherche de sources d'erreurs potentielles dans la mesure, l'évaluation de la validité consiste en une identification des facteurs autres que ceux qu'on veut mesurer, et qui interviennent pourtant dans la mesure.

Ces facteurs peuvent être :

– un modèle théorique sous-jacent erroné,
– une influence du milieu socioculturel,
– l'existence de préconnaissances,
– la mauvaise connaissance par le candidat d'un domaine investigué,
– l'ambiguité de la question,
– une interférence de la langue d'origine,
– un trait de la nationalité,
– le sexe,
– l'âge,
– etc.

HANSEN et STANSFIELD ont montré combien les caractéristiques cognitives et de personnalité pouvaient influer sur l'acquisition du langage et donc sur l'évaluation du degré de cette acquisition. HENNING (1987) a quant à lui insisté sur le fait que pour être valide, un test doit aussi être construit pour une population d'examinés très précise.

L'analyse de ces tests permet différents types de validations :

– validation de contenu : étude de la mesure dans laquelle les tâches représentent la globalité de la maîtrise en langue étrangère,

– validation de réponse : étude de la mesure dans laquelle le testé peut être surpris par le format des réponses à apporter,

– validation de concordance : mise en corrélation du test avec un test connu (critère), - validation prédictive : la mise en corrélation de deux tests permet d'induire la validité du premier à partir de la validité déjà reconnue du second,

– validation de construct : le but de la validité de construct est de montrer que la construction théorique sous-jacente est elle-même valide :

approche par différence de groupe : basée sur le fait que les testés qui ont atteint un certain niveau de compétence globale devraient avoir atteint un même degré de compétence dans les x épreuves qui composent l'examen. Pour le vérifier, on calcule le degré de corrélation entre ces x épreuves,

validation de construction interne (intérêt : un test suffit) : pour montrer la convergence entre 3 sous-tests, on les met chacun en corrélation avec le score total puis on regarde si le point de corrélation bisérielle avec le total est plus haut que celui qui réunit chacun de ces mêmes 3 tests au total.

Cette analyse très atomisante des tests langagiers ne doit pas faire perdre de vue que ces tests s'inscrivent dans un cadre éducatif, et politique qui change avec le temps et la société, et dont il faut tenir compte. Il ne faut donc pas oublier l'éventuelle décision à laquelle conduisent les tests et les intérêts qu'elle sert.

2.2.5 Techniques de mesure

La stratégie qui conduit au développement d'une évaluation fiable (sans erreur dans la mesure) et valide (sans influence sur les compétences mesurées) consiste, on l'a vu,

– en une définition claire et sans ambiguïté des compétences mesurées,

– en la spécification des conditions / opérations de provocation et d'observation des performances et

– en l'adoption d'une technique de mesure appropriée.

Les mesures peuvent être réalisées au moyen de différentes méthodes dont HENNING (1987) dresse une typologie contrastive. Sont ainsi opposés :

– les tests objectifs (questionnaire à choix multiples, par exemple) aux tests subjectifs (interview, par exemple) ,

– les tests directs (interview) aux tests indirects (questionnaire à choix multiples),

– les tests discret-point (exercices sur l'emploi des prépositions) aux tests intégrés

(développement de skills) , - les tests d'aptitude aux tests de rendement,

– les tests critériés (réussir 6 items sur 10) aux tests normatifs (dépas-ser la moyenne d'une population plus large),

– les speed tests aux power tests et

– les skill tests (production orale) aux feature tests (exercice sur le temps des verbes).

Les définitions et les distinctions qui ont été passées en revue dans ce chapitre constituent des précisions théoriques auxquelles il sera implicitement fait référence dans l'analyse qui suit.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

3 Les objectifs de l'évaluation

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

3.1 Préliminaires

L'estimation de la qualité d'une procédure d'évaluation doit passer par l'examen minutieux de ses objectifs. Un souci classique du docimologue est de vérifier si des objectifs généraux, spécifiques et opérationnels président à l'évaluation.

Pour peu que les objectifs généraux et spécifiques forment un ensemble cohérent et clairement défini, leur nature (politique, linguistique, etc.) ne devrait pas inquiéter outre mesure l'observateur. Il serait par contre opportun de préciser, avant de les étudier, ce qu'on entend exactement par objectif opérationnel d'évaluation.

Un objectif opérationnel d'évaluation peut être défini comme étant une micro-compétence directement mesurable et nécessairement représentative de la compétence plus large à évaluer. Selon HAMELINE (1990), un objectif est pleinement opérationnel quand rien n'est équivoque dans sa formulation (univocité), quand le comportement qu'il décrit est parfaitement observable (performance), quand les conditions qui contraignent sa réalisation sont clairement énoncées (conditions) et enfin, quand un seuil d'erreurs autorisé est défini (critère).

Il serait donc vain de vouloir faire exactement correspondre les objectifs d'apprentissage aux objectifs d'évaluation puisque ces derniers ne constituent en définitive qu'un échantillon représentatif des premiers. À la question de savoir si une liste exhaustive des objectifs opérationnels d'une évaluation certificative doit être communiquée aux personnes qui la préparent, il peut être répondu qu'une telle pratique risque d'enfermer les apprenants dans des activités de bachotage et de les voir se limiter à l'acquisition de compétences minimales, non plus dans le but d'être capable de conclure un acte de communication en langue étrangère mais bien dans celui de franchir un seuil de réussite.

3.2 Objectifs généraux et spécifiques

Les objectifs généraux et spécifiques des certifications délivrées par le PALSO sont définis dans le Curriculum distribué aux professeurs, confirmés par les titres donnés aux épreuves qui composent l'examen et évoqués dans une moindre mesure dans le texte des certifications délivrées.

3.2.1 Leur définition dans le curriculum

Dans le curriculum, les objectifs généraux de l'apprentissage et des examens sont exprimés en termes de compétences de communication et correspondent aux besoins langagiers que pourraient éprouver

– de jeunes apprenants au moment de leur passage à la vie active ou
– des adultes désireux de développer des contacts socioprofessionnels en français.

La frontière entre les niveaux élémentaire et certificat, principalement basée sur le degré de complexité de la batterie des moyens linguistiques mis en oeuvre pour répondre aux nécessités des situations de communication dans lesquelles pourraient se trouver impliqués les candidats, est nette et permet d'opérer deux évaluations bien distinctes. Précisons toutefois que, comme ce sont les actes de parole, les genres de discours à adopter, les modalités de l'acte d'énonciation qui entraîne une modification du degré de difficulté de la mise en exercice du système linguistique, c'est bien en termes d'actes, de genre de discours et de modalités que seront isolées et décrites les activités qui peuvent être proposées au seul examen du certificat.

Il reste qu'un cursus qui prétend s'adresser à des publics d'apprenants que peuvent différencier

– l'âge moyen,
– les besoins précis de communication et/ou
– l'identité socioculturelle

devrait conduire à une procédure d'évaluation qui soit également adaptée au profil des différents publics d'apprenants (classes d'école, groupes de collègues, etc.), voire au profil de chacun d'entre eux.

Pour prouver la nécessité d'une telle adaptation et pour en définir les premières modalités, il eût été intéressant de mesurer le degré de corrélation entre ces trois paramètres et les scores obtenus aux différentes épreuves de l'examen, mais le PALSO ne dispose d'aucune information statistique sur l'âge, sur les attentes ou sur le profil socioculturel des examinés .

3.2.2 Leur confirmation dans l'intitulé des épreuves

Les intitulés des épreuves confirment, quant à eux, qu'il a été choisi d'évaluer iso-lément les compétences

– de compréhension du discours oral (épreuve orale),

– d'expression orale et de maîtrise de l'interaction (épreuve de production orale),

– de compréhension du discours écrit et de mise en exercice du système linguistique (épreuve écrite, première partie),

– d'expression écrite (épreuve écrite, deuxième partie).

Des raisons pratiques évidentes imposent l'évaluation séparée de ces compétences-objectifs (utilisation d'un matériel spécifique pour chaque skill, formation de groupes plus ou moins réduits suivant le type d'épreuve, etc.). Mais cette organisation classique des objectifs d'évaluation (et d'apprentissage) lors de la mise en oeuvre d'une approche communicative de la langue correspond avant tout au modèle préconisé par de nombreux auteurs .

On peut pourtant se demander si cette organisation n'empêchera pas systématiquement les concepteurs de l'examen d'évaluer certaines compétences de communication qui nécessitent justement la mise en oeuvre successive, voire simultanée, de plusieurs de ces skills.

C'est pour répondre à ce souci qu'une évaluation de la maîtrise de l'interaction est effectuée au cours de l'épreuve dite de production orale et que l'évaluation des productions écrites est recoupée dans une autre épreuve par celle des compétences de mise en oeuvre du système linguistique.

3.2.3 Leur mention dans le texte des certifications

Le texte des diplômes délivrés aux candidats qui ont réussi les épreuves d'examen donne deux indications sur le degré des compétences acquises par rapport

– au cursi (niveau élémentaire/certificat) et
– à l'ensemble des apprenants examinés (mention passable / assez bien / bien / très bien).

Il ne fournit par contre aucun renseignement sur la nature de ces compétences (simplement : Certificat d'aptitude de langue française).

3.3 Objectifs opérationnels

Des exemples nombreux de situations d'implication de l'apprenant sont proposés dans le curriculum comme déclencheurs d'activités d'apprentissage. Ils pourraient constituer des objectifs opérationnels d'évaluation dans la mesure où ils sont directement évaluables. Mais ils sont explicitement présentés à titre d'exemple et ne constituent donc pas un corpus exhaustif. On peut d'autant moins les considérer comme des objectifs opérationnels d'évaluation que ne sont mentionnés nulle part les conditions d'évaluation et les critères d'acceptabilité chers à HAMELINE (1990).

Certes, une liste de moyens linguistiques et d'éléments morphosyntaxiques classés par acte de communication figure en fin de curriculum, mais ces réalisations en discours et leur description figurent de nouveau à titre indicatif.

Les actes, quant à eux, ne sont pas actualisés dans quelque situation de communication et la réalisation de chacun d'eux ne peut donc en aucun cas constituer un objectif à proprement parler opérationnel.

Les concepteurs ont en fait préféré tracer trois cadres hors desquels les activités d'évaluation proposées aux examinés ne sortent jamais :

– des situations d'implication garanties vraisemblables et à la portée des apprenants, dans leur langue d'origine tout au moins,

– des moyens linguistiques et des éléments morphosyntaxiques simples au service d'une liste exhaustive d'actes de parole,

– l'indication précise des compétences de communication qui seront exclusivement évaluées au niveau certificat (et donc pas à l'élémentaire).

Les justifications de ce choix heureux ont déjà été exposées supra .

3.4 L'évaluation des objectifs

Aux plans des objectifs généraux et spécifiques, l'épreuve s'intègre donc parfaitement dans l'approche didactique de la langue dont elle constitue l'aboutissement. On peut seulement regretter que le texte de la certification octroyée ne fournisse aucun détail sur la nature communicationnelle des compétences certifiées. La question de savoir comment pourraient être décrites ces compétences sera traitées sous peu.

Les objectifs sont donc explicitement déclarés par les concepteurs mais on ne sait pas s'ils sont compris (et dans quelle mesure) par les acteurs du processus d'apprentissage que sont notamment les enseignants et les apprenants.

La somme des objectifs généraux et spécifiques forme un ensemble complet, cohérent et dont aucune des parties ne se chevauchent : chaque épreuve correspond à un des skills de la communication On relève pourtant deux recouvrements concertés : l'évaluation de la maîtrise de l'interaction dans l'épreuve de production orale et l'évaluation de la mise en exercice du système de la langue dans l'épreuve de production écrite.

Dans la mesure où l'évaluation des compétences visées peut entraîner l'évaluation simultanée de compétences d'une autre nature comme

– la compétence d'utilisation de nouvelles technologies,
– la faculté de se comporter avec aisance en public,
– certaines capacités professionnelles,
– une bonne connaissance des derniers développement de l'actualité,

on peut se demander si ces dernières compétences constituent aussi des objectifs de l'évaluation ou si elles doivent être considérées comme des éléments parasites de la mesure de compétences purement langagières. En l'absence de données sur le profil des candidats, la mesure - préalable à toute discussion - de l'interaction de ces compétences ne pourra pas être effectuée.

La question de savoir si l'examen est structuré de façon équilibrée et dans le respect du dosage des parties sera discutée infra .

Il reste à se demander dans quelle mesure il ne serait pas préférable, au lieu d'exprimer les résultats par un score total/moyen, de mentionner séparément les notes obtenues pour chaque compétence, puisque l'objectif certificatif d'épreuves mesurant des compétences de communication pourrait justement être d'établir la liste des situations de communications dans lesquelles chaque candidat peut se débrouiller.

Cette préoccupation renvoie à la question de l'usage social qui sera fait de la certification dont l'évaluation permet l'octroi : N'est-ce pas de cet usage final que devrait en dernière analyse dépendre le choix des objectifs généraux et spécifiques d'évaluation ?

Charles HADJI (1995) a bien montré que les choix techniques imposés par toute procédure d'évaluation sont avant tout contraints par les intentions des différents acteurs sociaux impliqués et surtout par l'usage social qui sera fait des produits de cette évaluation.

Or, il est établi que la certification devra attester l'acquisition de compétences à la fois linguistiques et professionnelles correspondant aux besoins des entreprises / administrations / institutions susceptibles d'engager son détenteur. Ne serait-il dès lors pas opportun d'exprimer la nature des compétences développées en des termes accessibles aux employeurs potentiels qui ne sont justement pas toujours capables de déterminer et d'exprimer leurs besoins en des termes opératoires ?

Une difficulté au moins subsistera : Comment concilier

– le fait que les besoins auxquels doivent répondre les objectifs d'apprentissage et d'évaluation sont ceux que les apprenants éprouveront une fois entrés dans la vie active et

– le fait que la plupart de ces apprenants n'ont pas encore éprouvé (en sont-ils seulement capables ?) ces besoins puisqu'ils sont toujours élèves, au mieux étudiants.

En clair, peut-on ou non anticiper sur les besoins des apprenants ? Dans quelle mesure une approche fonctionnelle rigoureuse est-elle praticable à l'école ? Ces questions ne concernent bien évidemment plus le seul domaine de l'évaluation en tant que telle et montrent combien les finalités et les techniques de mises en oeuvre de l'apprentissage et de l'évaluation sont interdépendantes.

L'examen de la mise en oeuvre des objectifs d'évaluation permettra de mieux comprendre encore leur organisation et de vérifier entre autres

– si aucune interférence ne risque de réduire le degré de validité de l'évaluation des compétences et

– si les objectifs réels de l'activité correspondent aux objectifs déclarés par les concepteurs de la formation/évaluation.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

4 La mise en oeuvre de l'évaluation

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

Pour ce qui concerne la mise en oeuvre des objectifs de l'évaluation, il faudra passer en revue les conditions dans lesquelles se déroule l'évaluation et la qualité des contenus de l'évaluation.

4.1 Les conditions dans lesquelles se déroule l'évaluation

On tentera d'abord de dégager les influences sur le score des conditions de passation des épreuves que constituent la disposition des lieux, les contraintes de temps et les contingences techniques liées au choix de certains outils d'évaluation.

4.1.1 La disposition des lieux

La disposition des lieux peut difficilement influer sur le score relatif des examinés puisque les examens sont systématiquement organisés dans des bâtiments scolaires publics dont l'aspect invariable sur l'ensemble du territoire national garantit un cadre de passation des examens standardisé.

4.1.2 Les contraintes de temps

Les rapports rédigés par les chefs de centre au terme de chaque épreuve renseignent les organisateurs sur l'influence qu'une contrainte de temps aurait pu avoir sur le déroulement des épreuves. Ces rapports n'en ont jamais fait mention. Au contraire, il a été récemment décidé de diminuer le temps trop généreux de passation de certaines épreuves.

4.1.3 Les contingences techniques liées au choix de certains outils d'évaluation

La variabilité de la qualité acoustique du cassettophone et de la distance qui le sépare de chaque examiné pourrait par contre jouer un rôle déterminant sur les scores. Il est très difficile de connaître la place qu'occupait chaque examiné par rapport à l'enregistreur ou la qualité technique de ce dernier, mais une étude statistique de l'influence que peut avoir exercé la qualité de l'audition sur les scores montrera que cette influence est négligeable.

Le fait que les candidats doivent reporter leurs réponses sur un formulaire spécialement composé pour une lecture optique , que ces candidats sont plus ou moins rompus à ce genre de tâche, et que, durant cette phase de recopie, la tricherie est facile peut influencer les résultat finaux. Nous ne disposons pas de données empiriques pour confirmer ou infirmer ces dernières craintes.

4.2 Parcours de l'examen

Tout au long de la présentation de l'examen qui va suivre, on vérifiera systématiquement au fil des épreuves, des activités qui les composent et des items éventuels, la qualité des instructions et des consignes, la qualité des échantillons de discours soumis aux candidats et la nature des tâches proposées.

Seront ainsi vérifiés au niveau des instructions et des consignes :

– la simplicité de la syntaxe et du vocabulaire,
– l'adéquation du choix de la langue des consignes et
– la constance des soucis de clarté et de « naturalité ».

La qualité des échantillons sera objectivée par un contrôle systématique de :

– l'adéquation de la nature et du rôle des documents soumis aux candidats à ceux des objectifs d'apprentissage,

– l'accessibilité de ces documents aux candidats plus jeunes,

– leur représentativité linguistique et sociale, et

– l'adéquation du support de présentation au genre sélectionné.

Enfin, l'observation des tâches successivement proposées aux candidats permettra de vérifier

– dans quelle mesure les seules compétences à évaluer sont évaluées,

– si les candidats sont bien capables de développer les compétences évaluées en langue d'origine ,

– dans quelle mesure les difficultés de chaque exercice sont ou non liées à celles de la langue source.

Rappelons qu'un examen distinct est organisé pour chacun des deux niveaux de compétence évalués. Les examens pour le niveau certificat comportent 3 épreuves mesurant des compétences de communication correspondant grosso modo aux trois skills de la communication que constituent la compréhension du discours écrit, l'expression écrite et la compréhension d'un discours oral. Des activités mesurant la mise en exercice du système linguistique sont en outre intégrées dans la première épreuve. Au niveau certificat, une quatrième épreuve correspondant au skill de production orale est organisée et intègre également une évaluation de la maîtrise de l'interaction.

Seront passées en revue, épreuve après épreuve, activité par activité, item par item, toutes les tâches proposées aux examinés, et plus particulièrement celles dont la description métrologique livrée infra fait soupçonner quelque dysfonctionnement significatif.

Pour éviter au lecteur un compte rendu fastidieux de l'analyse qui a été effectuée de chacune des activités et/ou de chacun des items qui les composent selon les 66 critères d'évaluation, un tableau synoptique, repris dans les pages qui suivent immédiatement celle-ci, consignera l'ensemble de ces observations. Les plus pertinentes d'entre ces dernières seront exposées et discutées au fil du parcours des activités qui suivra.

Sur l'édition électronique de l'étude, nous ne reprenons pas ces tableaux qui sont trop lourds à télécharger (66 critères x 54 activités = 3564 cellules !) et difficiles à présenter sur une largeur d'écran. Ils seront remplacés par une simple liste des critères d'évaluation qui ont été utilisés au cours de l'analyse :

Type de la compétence mesurée :

– communicationnelle
– linguistique

Type d'information à repérer :

– consigne
– degré d'implication du candidat / d'un tiers
– incidences
– information sur la personne
– informations sur l'objet
– informations utiles
– intentions
– lieu
– matière
– mesures
– moments
– nombre
– origine document
– sexe

Nature des compétences mis en oeuvre :

– lexique
– morphosyntaxe
– orthographe
– sémantique

Opérateurs discursifs mis en oeuvre :

– articulateurs
– diaphores
– indicateurs de l'attitude du locuteur
– indicateurs du genre
– indicateurs du nombre
– indicateurs du temps et de l'aspect
– indicateurs spatio-temporels

Autres regroupements :

– homonymes en langue cible
– homonymes grecs

Degré de facilité et cause probable :

– faible degré de facilité
– haut degré de facilité
– concurrence/confusion avec ce n'est pas dit
– deux bonnes réponses
– difficultés liée à la langue-source
– document mal découpé
– document mal reproduit
– éléments à apparier comportent mêmes mots
– influence item voisin
– mot difficile
– parasité par compétence cognitive
– piège
– préconnaissance requise
– question subjective
– recherche d'harmonie dans la distribution
– résolution possible sans compétence visée

Qualité de la consigne :

– langue adéquate
– simplicité de syntaxe/vocabulaire
– souci de clarté/naturalité

Qualité du document :

– accessible par les plus jeunes
– adéquation nature/rôle avec objectifs
– adéquation support avec genre
– document authentique
– phrases courtes
– représentativité linguistique/sociale
– serait accessible en LM
– texte spécialisé

Qualité de l'activité :

– compétences développable en LM
– difficulté liée à LM
– mise en situation communicative
– naturalité
– naturalité des alternatives et des leurres

Type de représentation des référents :

– acoustique
– iconique
– linguistique

peuvent influer sur la validité de la mesure :

– nombre de choix
– rubrique je ne sais pas

L'évaluation de chaque activité sera précédée d'une transcription des consignes. Les documents authentiques sur lesquels reposent les activités sont reproduits en annexe. Leur consultation permettra une compréhension plus facile de l'analyse qui suit.

4.2.1 Les instructions préliminaires

Les instructions qui figurent sur la couverture de chacune des épreuves d'examen sont en français. La question du choix de la langue pédagogique sera l'objet d'une discussion infra mais il peut déjà être souligné que sans une compréhension totale des injonctions, recommandations et informations qui forment à chaque fois le contenu du texte,

– les bonnes conditions dans lesquelles devraient se dérouler l'épreuve d'évaluation et

– la qualité des mesures effectuées ne sont pas absolument garanties.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

4.2.2 Épreuve écrite (première partie)

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

L'épreuve écrite (première partie) revêt la forme d'un questionnaire à choix multiples comportant 70 items regroupés cinq à cinq en 14 activités au niveau élémentaire, d'un questionnaire à choix multiples comportant 75 items regroupés cinq à cinq en 15 activités au niveau certificat.

4.2.2.1 Niveau élémentaire

ACTIVITÉ I

Est-ce qu'on parle de la dame ou du monsieur ?

A. de la dame B. du monsieur C. on ne peut pas le savoir

1. Qui est-ce ?

2. Qui le connaît ?

3. C'est l'Italienne qui habite à côté.

4. On a dîner chez lui deux fois.

5. Ce chapeau lui va très bien.

L'objectif de cette première activité est de contrôler si les candidats sont capables de repérer dans un texte les marques qui permettent de déterminer le sexe de la personne à laquelle un locuteur se réfère.

Il s'agit donc de mesurer une compétence de communication de la façon la plus naturelle qui soit, puisque les candidats devront choisir entre deux représentations iconiques - et non exclusivement linguistiques - des référents possibles.

Le cas fréquent où aucun indice dans le discours ne permet de déterminer de quel sexe est la personne qu'on évoque n'a pas été oublié et rien dans le vocabulaire ou dans la syntaxe ne peut troubler le candidat qui, de toute façon, est simplement amené à repérer les marques élémentaires du genre : ce, le, l', -enne et lui.

Les productions proposées peuvent sembler constituer des transcriptions de fragments de discours oral, ce qui serait regrettable puisque l'épreuve est censée mesurer des compétences linguistiques ou de communication qui concernent le discours écrit. En fait, ces phrases qui pourraient malgré tout figurer dans un document écrit (un discours rapporté par exemple) ont été préférées par les concepteurs pour la simplicité de leur syntaxe et du vocabulaire, sans laquelle on ne mesurerait plus la seule capacité des candidats à déterminer le sexe de la personne à laquelle un locuteur se réfère.

Le faible taux de facilité à l'item 5 (.32) s'explique par le fait qu'un même mot (lui) marqueur du sexe masculin dans l'item précédent, ne l'est plus dans ce nouveau contexte syntaxique. Le haut degré de difficulté de ce cinquième item ne doit donc pas le faire éliminer puisqu'il ne traduit aucun dysfonctionnement. Il sera au contraire hautement discriminant.

ACTIVITÉ II

Est-ce qu'on parle d'un ou de plusieurs objets ?

A. un B. plusieurs

6. Prenez-le

7. Je n'aime pas ses couleurs.

8. Quel est leur prix ?

9. On les trouve partout.

10. Ils coûtent cher.

L'objectif de cette seconde activité est de contrôler si les candidats sont capables de repérer dans un texte les marques qui permettent de déterminer le nombre des objets auxquels un locuteur se réfère.

Les candidats devront cette fois choisir entre deux mots simples indicateurs du nombre. On pourrait se poser la question de savoir si le fait d'exprimer le référent par une représentation iconique (activité I), plus naturelle, ou par une représentation graphique (activité II), plus économique en place et en temps de préparation, peut avoir une influence sur le score des candidats. Cette hypothèse ne peut être vérifiée que par l'expérimentation.

Le très faible score moyen à l'item 7 s'explique en partie par la très grande différence des systèmes linguistiques grec et français pour indiquer le nombre de possesseurs et de bien possédés. Mais cette explication ne suffirait probablement pas à justifier un taux de facilité aussi réduit (.16). De nombreux candidats auront limité leur lecture de la production 7 à un repérage d'une quelconque marque du pluriel en oubliant que cette marque doit aussi concerner le/les objet(s) dont on parle. Une représentation iconique des référents possibles aurait sans doute tempéré cette difficulté en rappelant de la façon la plus simple aux candidats qu'il s'agit de dénombrer les pulls, par exemple, et non leurs couleurs. La question du choix du code de soumission des alternatives aux candidats se repose donc ici et appelle une recherche expérimentale sur son importance relative et sur les critères qui doivent présider à ces choix.

La question de savoir si le taux de facilité moyen particulièrement élevé enregistré pour la plupart des items qui composent les deux premières activités devait en entraîner l'élimination avant la passation des épreuves ou au moment de la notation sera discutée infra .

ACTIVITÉ III

Regardez bien cette étiquette, ensuite lisez les cinq phrases qui suivent. Est-ce que vous êtes d'accord ?

A. oui B. non C. on ne peut pas répondre

11. Ce tissu est fabriqué en France.

12. Il faut laver ce tissu à la main.

13. C'est un tissu en laine.

14. Il a besoin d'être repassé.

15. C'est une étiquette de robe.

L'objectif de cette activité est de contrôler si les candidats sont capables de reconnaître par la présence de signes non-linguistiques l'origine d'un texte, de repérer dans ce texte les éléments qui donnent des informations précises sur le lieu et sur la matière de l'objet concerné, de comprendre les instructions.

La question de savoir dans quelle langue devrait être exprimée la consigne se pose enfin ici (précédemment, les items ne constituaient pas des consignes, mais l'objet de l'activité ; ils devaient donc nécessairement être rédigés en français). Elle sera discutée infra .

Pour répondre correctement à l'item 13, les candidats devaient savoir que la viscose et l'élasthanne sont des matières textiles et qu'elles ne peuvent en aucun cas être confondues avec de la laine. Si le score moyen à cet item ne faisait pas suspecter quelque corrélation entre l'existence de ce pré-savoir et le succès à l'item, une analyse plus profonde montre que les candidats qui n'ont pas correctement répondu ont presque tous choisi l'alternative « on ne peut pas le savoir », ce qui prouve l'importance du rôle qu'a probablement joué le degré de connaissance de l'éventail des matières textiles par les candidats. Il est particulièrement regrettable que le PALSO ne puisse fournir l'indication systématique du sexe des candidats ; ce paramètre aurait pu jouer quelque rôle ici.

ACTIVITÉ IV

Quand ? Mettez une croix dans la case de votre choix :

A. dans le passé B. dans l'avenir C. tous les jours

16. On a un cours de langue tous les matins

17. On l'a vu venir

18. Il a passé ses vacances en Grèce.

19. Le temps va s'améliorer vers la fin de la semaine.

20. On l'a transporté à l'hôpital.

L'objectif de l'activité est de contrôler si les candidats sont capables de repérer dans le texte les marques qui donnent des informations sur le moment (présent itératif, passé, avenir).

Quoique les documents sur lesquels reposent l'activité ne soient pas restitués sous leur forme la plus authentique (mais ces phrases extraites de coupures de journaux devaient être isolées, ce qui justifie leur dactylographie), les compétences évaluées sont donc bien des compétences de communication.

ACTIVITÉ V

Regardez-bien le document ci-dessous, ensuite dites si les informations qui suivent sont exactes. Choisissez :

A. oui B. non C. ce n'est pas dit

21. C'est un plan de la ville de Montpellier.

22. Le plan montre la situation d'un hôtel.

23. L'Hôtel Alliance se trouve près de la gare.

24. Le Polygone est un centre commercial.

25. On peut envoyer un fax à l'hôtel.

L'objectif de cette activité est de contrôler si les candidats sont capables de recon-naître par des signes, linguistiques ou non, l'origine d'un imprimé et de repé-rer dans le texte de cet imprimé des éléments porteurs d'information.

Le taux de facilité à l'ensemble des items de cette activité semble indiquer qu'elle est de bonne qualité. Pourtant, le fait que la plupart des candidats qui n'ont pas réussi les items 21 et 25 aient choisi l'alternative « ce n'est pas dit » alors que c'est dit doit faire réfléchir. En fait l'assimilation du document présenté à un plan de la ville de Montpellier est relative : on n'en voit qu'un quartier sur ce plan. Quant à la question de savoir si on peut envoyer un fax à l'hôtel, elle peut demeurer sans réponse : il y a un fax, mais le candidat est en droit de se demander si on peut l'utiliser pour contacter un client de l'hôtel, par exemple.

ACTIVITÉ VI

Quel est le mot qui convient ? Choisissez :

A. qui B. que C. où

26. Où est ce jardin _______ tu aimes regarder ?

27. Où est ce jardin _______ tu aimes ?

28. Où est ce jardin _______ tu aimes passer tes dimanches ?

29. Où est ce jardin _______ poussent toutes les fleurs ?

30. Où est ce jardin _______ fleurit toute l'année ?

Cette activité pourrait avoir pour seul objectif le contrôle de la capacité des candidats à choisir entre des diaphores celle qui convient dans des situations données. En fait, elle mesure aussi si les candidats distinguent en français trois mots qui se traduisent de la même façon en grec. Cette activité est donc bien celle à laquelle peut se livrer un locuteur grec au moment de s' exprimer quand il hésite entre des formes qui seraient homonymes dans sa langue d'origine. Les mots proposés pour combler les lacunes du texte n'ont pas été regroupés parce qu'ils appartiennent à une même catégorie grammaticale (celle des pronoms relatifs), mais parce qu'ils entretiennent une relation fonctionnelle au plan de l'actualisation dans le discours et qu'ils sont confondus dans la langue d'origine des candidats-cibles.

On constate que le choix des réalisations en langue-cible sur lesquelles porte l'acti-vité est effectué en fonction des particularités du système de la langue-source.

La réduction des contextes à une phrase minimale presque identique pour chaque item réduit le risque d'interférence du lexique. Pourtant, le faible score moyen à l'item 29 révèle une difficulté qui résidait probablement dans l'utilisation du verbe pousser que les candidats ne connaissaient pour la plupart que dans le sens transitif de faire avancer. Cette traduction du verbe pousser explique pourquoi 62.32 % des candidats ont vu dans toutes les fleurs un complément d'objet direct.

ACTIVITÉ VII

Choisissez le mot convenable et mettez une croix dans la case correspondante :

A. pour B. à C. par D. en E. dans

Tous les matins monsieur Dupont commence 31 travailler 32 8 heures. Il vient 33 voiture et entre 34 le bâtiment 35 la porte du garage.

31.

32.

33.

34.

35.

L'objectif de l'activité VII est de contrôler dans quelle mesure les candidats sont capables de choisir dans une liste de prépositions justement confondues en grec.

Le faible score moyen des candidats à l'item 31 et le choix statistique de la propo-sition pour s'explique peut-être par le fait qu'en grec on aurait dit : « monsieur Du-pont va pour travailler à 8 heures » (traduction mot à mot).

ACTIVITÉ VIII

Paul vous montre le document ci-desosus et vous donne les renseignements qui suivent. Est-ce qu'ils sont vrais ou faux ?

A. vrai B. faux

36. L'EXPRESS est une revue d'actualité.

37. L'EXPRESS est une revue sportive.

Quand on prend un abonnement de 6 mois, on a une réduction de 30%.

39. En s'abonnant pour 6 mois, on reçoit un cadeau.

40. L'EXPRESS est une revue française.

L'objectif de cette activité est de contrôler si les candidats sont capables de recon-naître dans un texte bref les marques qui donnent une information précise sur l'objet concerné et sur l'intention de ses rédacteurs.

ACTIVITÉ IX

Choisissez parmi ces trois mots et mettez une croix dans la case convenable :

A. ces B. ses C. c'est

41. À qui sont _____ chaussures ?

42. Il va passer le week-end chez _____ parents.

43. Tu sais que _____ impossible.

44. _____ nuages-là vont apporter la pluie.

45. Il est très fermé, personne ne conaît _____ goûts.

L'objectif de cette activité est de contrôler si les candidats peuvent choisir entre des homonymes en langue-cible cette fois, dans un contexte donné.

L'activité ne mesure pas exclusivement la connaissance qu'ont les candidats du système de la langue-cible. Les contenus lexicaux et sémantiques des énoncés jouent aussi un rôle dans le choix de la bonne alternative.

Cette activité mesure aussi les compétence orthographiques des candidats. Cette compétence est en effet indispensable dans certains types de productions écrites si l'objectif de l'apprentissage est bien de réaliser certaines intentions en français (par exemple, obtenir un rendez-vous après envoi d'une lettre de candidature). L'activité se concentre sur le problème que pose l'écriture d'expressions homonymes extrêmement courante (On est loin de la dictée d'un texte littéraire).

ACTIVITÉ X

Choisissez le mot convenable et mettez une croix dans la case correspondante :

A. du B. un C. le D. au E. de

46. Voulez-vous encore _____ petit café ?

47. Oui, avec un peu _____ lait, s'il vous plaît.

48. Pas _____ sucre ?

49. Non merci, _____ sucre est mauvais pour la santé.

50. Votre femme veut aussi du café _____ lait ?

L'objectif de l'activité suivante est de contrôler si le candidat peut choisir entre quelques déterminants/quantificateurs dans des contextes morphosyntaxiques donnés. Il s'agit donc de mesurer des savoirs de nature linguistique. Le fait que les mots proposés n'appartiennent pas à une même catégorie grammaticale - au sens traditionnel normatif du terme - confirme le parti pris de travailler, comme annoncé dans le curriculum, au plan de la grammaire de l'énonciation.

Toutefois, la résolution de l'exercice peut être effectuée de façon mécanique : quelque soit le contexte sémantique ou syntaxique, un peu et pas sont presque toujours suivis de de, par exemple (items 47 et 48).

ACTIVITÉ XI

Voilà les annonces publicitaires de trois restaurants parisiens :

A. B. C.

De quel restaurant parlent Jules, Nadine, Marie, paul et Charles ? Mettez une croix dans la case de votre choix.

51. Jules : Là, on peut avoir des plats traditionnels à moins de 100FF.

52. Nadine : Ici, on peut essayer les propositions du nouveau chef.

53. Marie : Dans celui-là, l'apéritif et le vin sont compris dans le prix.

54. Paul : On y sert des plats traditionnels mais on ne connaît pas les prix.

55. Charles : Après minuit, il est toujours fermé.

L'objectif de cette activité est de contrôler si les candidats sont capables de repé-rer dans un texte écrit les éléments qui donnent une information précise sur le moment, le lieu, les mesures ou l'objet concerné.

Si l'objectif de l'activité est socialement légitime et parfaitement communicationnel, les moyens qui peuvent être mis en oeuvre pour y répondre le sont moins : En effet, aux items 51, 52 et 53, la présence dans les publicités et les propos à apparier d'expressions identiques a grandement facilité la tâche des candidats plus faibles comme le confirment les taux moyens de facilité qui s'élèvent à .98, .96, .96

ACTIVITÉ XII
Quelle est la bonne forme ? Choisissez et mettez une croix dans la case convenable :

A. partir B. partis C. partiront

56. Ils vont _____ demain.

57. Ils _____ demain par le train de 8 heures.

58. Ils sont _____ parce que demain il y a une grève des trains.

59. Ils veulent _____ demain, mais ils n'ont pas de billets.

60. Ils ne savent pas s'ils _____ demain.

L'objectif de cette activité est de contrôler si les candidats sont capables de choisir entre trois formes d'un même verbe celle qui convient dans un contexte énoncia-tif donné.

En définitive, le contexte syntaxique permet à lui seul de résoudre les difficultés puisque vont et veulent ne peuvent être suivis que d'un infinitif, sont d'un participe et ils d'un verbe conjugué à un mode personnel.

ACTIVITÉ XIII

Regardez les objets ci-dessous et lisez les légendes qui suivent. Quel objet correspond à chacune des légendes ? Mettez une croix dans la case qui correspond à votre choix.

A. B. C. D. E.
61.

62.

63.

64.

65.

L'objectif de l'activité ci-dessus est de contrôler si les candidats sont capables de repérer dans le texte les marques qui donnent une information précise sur l'objet concerné.

ACTIVITÉ XIV

Regardez-bien le document ci-dessous, ensuite dites si les phrases qui suivent sont correctes. Choisissez :

A. oui B. non C. peut-être

66. C'est une annonce publicitaire du club BVJ.

67. BVJ s'adresse aux jeunes qui ne veulent pas donner beaucoup d'argent.

On peut téléphoner pour demander plus de renseignements.

69. Le billet d'avion coûte à lui seul 1280 francs.

70. BVJ signifie Budget de Vacances pour Jeunes.

L'objectif de cette dernière activité est de contrôler si les candidats sont capables de reconnaître par des signes, linguistiques ou non, l'origine d'un imprimé et de repérer dans cet imprimé certains éléments porteurs d'information.

Le faible score enregistré pour l'item 67 s'explique par la subjectivité de la ques-tion qui a d'ailleurs fait répondre peut-être par la majorité des candidats.

Le taux fort bas de facilité au dernier item (item 70) et le fait que très peu de can-didats aient répondu non confirme le danger qu'il y a à mettre en concurrence les propositions oui et peut-être.

4.2.2.2 Niveau certificat

Les types d'activités d'évaluation proposés dans l'examen pour le niveau certificat sont les mêmes que ceux qui ont été décrits lors du parcours des items du niveau élémentaire. Pour ne pas fatiguer le lecteur, les commentaires seront limités

– à la mention systématique des caractéristiques qui distinguent éventuellement ces activités de celles de l'élémentaire et

– à une analyse des seuls items pour lesquels le degré de facilité ou de difficulté semble significatif.

ACTIVITÉ I

c'est ou il est ? Mettez une croix dans la case de votre choix.

A. c'est B. il est

1. _____ ton vélo.

2. _____ prof de piano.

3. _____ un acteur que j'adore.

4. _____ un joueur de foot.

5. _____ la soeur de ma copine.

Cette activité mesure si les candidats sont capables de choisir entre deux expressions françaises traduites de la même façon dans leur langue d'origine.

Si cette activité est simple relativement aux activités suivantes, elle ne pourrait pas être proposées au niveau élémentaire comme en témoignent les résultats plus fai-bles aux items 3 (.55) et 4 (.39).

ACTIVITÉ II

De quelle maison est-ce qu'on parle ? Mettez une croix dans la case de votre choix.

A. B. C. Ce n'est pas dit

6. Elle est à louer.

7. On n'en connaît pas le prix.

8. Elle est située dans la forêt.

9. La mer n'est pas si loin.

10. Elle se trouve près de la gare.

L'objectif de cette activité est de contrôler si les candidats sont capables de repérer dans un texte écrit les éléments qui donnent une information précise sur le lieu, les mesures ou l'objet concerné. Il s'agit aussi pour les candidats de trouver le référent des fragments de discours proposés sous les documents. Cette fois, au contraire des activités homologues au niveau élémentaire, ces fragments de discours ne contiennent plus de mots repérables dans les documents authentiques. L'appariement devient donc plus difficile.

À preuve, le très faible score total obtenu par les candidats à l'item 6 (.40) malgré les nombreux indices : pour la villa B, le rapprochement du terme location avec le verbe louer, le votre placé devant villa, le ménage quotidien, la vaisselle ; pour la villa A, la façon d'indiquer le prix, de la décrire, etc.

ACTIVITÉ III

Quelle est la forme convenable ? Mettez une croix dans la case correspondante :

A. aller B. allez C. allés

Pour 11 chez Martine il vaut mieux lui téléphoner avant. Nous y sommes 12 deux fois, mais elle n'était pas là. De toute façon, n' 13 pas pendant le week-end, elle est tou-jours absente. Et si vous 14 en voiture, essayez d'y 15 avant la tombée de la nuit.

11.

12.

13.

14.

15.

L'objectif de cette activité est de contrôler si les candidats peuvent choisir entre des homonymes en langue-cible, dans un contexte donné. Cette activité mesure donc aussi les compétence orthographiques des candidats.

ACTIVITÉ IV

Observez bien le document ci-dessous, ensuite lisez les affirmations qui suivent. Sont-elles correctes ? Répondez en mettant une croix dans la case de votre choix.

A. oui B. non C. on ne peut pas le savoir

16. Cet appareil empêche de se brûler les mains.

17. On peut le placer sur un seul type de cuisinière.

18. C'est seulement pour les cuisinières à gaz.

19. On peut changer sa longueur.

20. On peut choisir la couleur.

L'objectif de cette activité est le même que celui de l'activité II à ceci près qu'il ne s'agit plus de trouver dans quel document se trouve l'information à valider.

ACTIVITÉ V

Lisez les phrases qui suivent et choisissez la forme convenable pour les compléter. Mettez une croix dans la case de votre choix.

A. qui B. qu'est-ce que C. quoi D. que

21. _____ t'a entendu parler ?

22. _____ tu as entendu parler ?

23. _____ t'a fait parler ?

24. _____ fais-tu pour parler ?

25. _____ tui as fait pour parler ?

L'objectif de cette activité est de contrôler si les candidats sont capables de choisir entre quatre diaphores qui pourraient être traduites de la même façon dans leur langue d'origine. À la différence du niveau élémentaire, une résolution purement mécanique de l'exercice, basée sur la seule observation de la syntaxe et hors de toute considération d'ordre sémantique n'est plus possible.

L'échec général à l'item 22 (.19) peut être expliqué de deux façons. D'une part, lorsque au sein d'une même activité, le nombre des propositions est proche de celui des items, les candidats ont tendance à distribuer harmonieusement leurs réponses et répugnent donc à répondre deux fois successivement A, deux fois B, etc. D'autre part, La confusion fréquente chez les grecs entre les verbes dire et parler peut leur avoir fait croire que le parler de l'item 22 autorisait une construction transitive.

Aussi minimales qu'aient pu être les phrases proposées, le verbe pourtant courant qui les régissait aura trompé la majorité des candidats.

ACTIVITÉ VI

Mettez une croix dans la case de votre choix.

A. dès que B. même si C. à condition que

26. Il viendra _____ son patron est là.

27. Il viendrait ____ son patron serait là.

28. Il viendra _____ son patron soit là.

29. Il viendra _____ son patron sera là.

30. Il viendrait _____ son patron n'' ;etait pas là.

L'objectif de l'activité suivante est de contrôler si les candidats sont capables d'intégrer certains articulateurs dans une syntaxe adéquate. Le degré plus élevé de difficulté de l'ensemble de l'activité n'est pas à démontrer puisque le taux moyen de facilité à chacun de ces items est nettement inférieur au taux de facilité total à l'épreuve.

ACTIVITÉ VII

Lisez l'extrait qui suit et essayez ensuite d'indiquer si les 5 informations données en marge sont exactes ou pas, en mettant une croix dans la case correspondante.

A. oui B. non C. on ne peut pas le savoir

31. On peut gagner un voyage en participant à ce jeu.

32. On peut jouer par téléphone.

33. On peut aussi téléphoner pour acheter le voyage.

34. Pour participer au jeu, il faut être en France.

35. L'hôtel Mont-Vernonb se trouve au bord de la mer.

L'objectif de cette activité est le même que celui des activité II et IV. Cependant, les questions posées s'attachent plus aux incidences des informations repérées qu'a leur simple repérage. Il ne s'agit plus de reconnaître l'origine ou la finalité première d'un texte typé, mais de le consommer dans son intégralité en posant des questions cruciales : Qu'est-ce qu'on gagne ? Est-ce qu'on peut jouer par téléphone ? On peut aussi acheter ce voyage ? Si je n'habite pas en France, est-ce que je peux participer ?

La débâcle observée dans les résultats à l'item 33 (.21) provient du fait que le do-cument proposé aux candidats à été mal découpé ou mal reproduit. Sur le docu-ment original, la couleur vive du numéro de téléphone et le texte auquel on est renvoyé en bas de page confortait le lecteur dans l'idée qu'on peut jouer par télé-phone.

ACTIVITÉ VIII

Quelle est la forme que vous choisissez ? Mettez une croix dans la case correspondante :

A. mes B. mais C. mets D. mai E. m'est

36. Cela _____ impossible.

37. Tous _____ biens sont à toi.

38. Elle a tout vu _____ elle ne dit rien.

39. Je ne peux pas partir avant _____.

40. Ne _____ rien sur ce rayon.

L'objectif de l'activité suivante est de contrôler si les candidats sont capables de distinguer entre les cinq transcriptions possible d'une même production orale. Comme annoncé dans le curriculum, les activités s'oriente tout doucement vers la prise de notes et vers la rédaction d'un rapport. Cet exercice d'orthographe n'est donc pas gratuit et le problème posé est aussi courant que le sont les 5 graphies proposées.

ACTIVITÉ IX

Observez bien le document ci-dessous. Cinq amis en discutent. Est-ce qu'ils ont raison ?

Répondez en mettant unecroix dans la case convenable.

A. oui B. non C. ce n'est pas dit

41. Pierre : Lluis Llach est un chanteur catalan.

42. Luc : Lluis Llach chante l'amitié entre les peuples.

43. Louis : Nene Venetsanou chante avec lui.

44. Madeleine : Ils vont faire une tournée aux États-Unis.

45. Charlotte : Lluis Llach habite à Paris.

L'objectif de l'activité suivante est semblable à celui des activités II, IV et VII. Le faible taux de facilité moyen des candidats à l'item 42 (.29) s'explique par le fait que l'alliance entre Nord et Sud, la réconciliation des cultures, la déclaration d'amour à l'humanité n'ont pas paru signifier la même chose que l'amitié entre les peuples aux candidats, comme l'indique le choix particulièrement fréquent de l'alternative ce n'est pas dit (20% contre 0% et 3% aux items précédent et suivant) .

La formulation en langue d'origine de la proposition de Luc aurait peut-être permis d'éviter toute subjectivité dans le jugement à porter.

ACTIVITÉ X

Quel mot vous choisissez pour compléter chacune des phrases suivantes ? Mettez une croix dans la case de votre choix.

A. espère B. trouve C. craint D. se demande E. doute

46. Jean _____ qu'on puisse terminer avant jeudi.

47. Jean _____ qu'il est possible qu'on termine avant jeudi.

48. Jean _____ qu'on terminera avant jeudi.

49. Jean _____ qu'on ne termine avant jeudi.

50. Jean _____ s'il sera possible de terminer avant jeudi.

L'objectif de l'activité suivante est de contrôler si les candidats sont capables d'in-tégrer des verbes dans un contexte syntaxique adéquat. Au niveau certificat, l'application aveugle de règles syntaxiques ne permet plus d'obtenir un haut score. En témoignent le faible score à l'ensemble des items de cette activité. Le score as-sez bas de l'item 46 (.46, sic !) est normal : la complétion de la phrase par espère, qui était imaginable mais qui n'était pas attendue, n'a pas été considérée comme correcte.

ACTIVITÉ XI

Lisez ce document, ensuite dites si les affirmations qui suivent sont correctes. Mettez une croix dans la case qui correspond à votre choix.

A. oui B. non C. ce n'est pas dit

51. Le loup est un animal protégé.

52. On peut donner 250 F pour acheter un loup.

53. En Grèce, les loups ont presque disparu.

54. Le Conseil de l'Eyurope veut sauver les loups.

55. On peut envoyer 250 F et devenir l'ami d'un loup.

L'objectif de l'activité suivante est semblable à celui des activités II, IV, VII et IX. Cette activité suscite les mêmes commentaires.

ACTIVITÉ XII

Quelle est la forme qui convient à chacune des phrases suivantes ?

A. vers B. pour C. sans D. à E. de F. par G. en

Il est passé _____ le grand boulevard et il s'est dirigé _____ le quai. Il marchait _____ sa-voir la raison _____ laquelle il se sentait heureux, mais _____ arrivant au port il a compris pourquoi : il n'était plus seul.

56.

57.

58.

59.

60.

L'objectif de cette activité est de contrôler si les candidats peuvent choisir entre de nombreuses prépositions celle qui convient à chaque contexte syntaxique et sémantique proposé. L'échec général à l'item 57 (.37) ne peut s'expliquer que par la non compréhension du verbe se diriger ou du mot quai.

ACTIVITÉ XIII

Regardez les petites annonces ci-dessus. Laquelle des cinq pourrait intéresser chacune des personnes suivantes ? Répondez en mettant une croix dans la case de votre choix.

A.B. C. D. E.

61. Véronique, qui voudrait apprendre à peindre.

62. Charles qui aimerait diriger un bar ou un restaurant.

63. Bernard et les membres de son groupe rock qui préparent un nouveau CD.

64. M. Chappell, éditeur, qui prépare l'impression d'un atlas géographique.

65. M^me Laroche qui cherche une jeune fille qui parle anglais pour servir dans son restaurant.

L'objectif de l'activité suivante est de contrôler si les candidats sont capables de repérer des informations concernant leur implication éventuelle ou celle d'un tiers.

Le texte proposé est plus spécialisé (idiolecte et design des petites annonces) mais des expressions communes aux propositions et aux petites annonces à apparier rendent l'activité accessible aux candidats plus faibles. Les très haut taux de facilité (.95, .97, .99, .95, .97) le prouvent et devraient amener les concepteurs à éliminer l'activité ou à la remanier en formulant par exemple les propositions dans la langue d'origine des candidats.

ACTIVITÉ XIV

Quel est le mot convenable pour compléter chacune des phrases suivantes ?

A. lequel B. quel C. celui D. quelqu'un E. chacun

66. Elle ne savait pas _____ l'aimait le plus.

67. Mais elle se demandait _____ était le meilleur.

68. Elle se demandait aussi s'il y avait _____ de plus beau.

69. Elle ne comprenait pas _____ était le but de la rencontre.

70. Cependant, elle a décidé de choisir _____ d'intelligent.

L'objectif de cette activité est de contrôler si les candidats sont capables de choisir entre 5 diaphores qui peuvent entretenir des rapports d'homonymies deux à deux dans leur langue d'origine. Le grand nombre de propositions et les disparités de sens rendent l'exercice plus difficile que son homologue au niveau élémentaire. Le faible score à l'item 66 (.25) indique simplement un haut degré de difficulté et celui de l'item 70 (.29) montre que beaucoup de candidats ne connaissaient pas la tournure quelqu'un de + adjectif.

ACTIVITÉ XV

Lisez ce document, ensuite dites si les affirmations qui suivent sont correctes. Mettez une croix dans la case qui correspond à votre choix.

A. vrai B. faux C. on ne peut pas le savoir

71. C'est un réveille-matin automatique.

72. Il fonctionne sans pile.

73. Cet appareil est aussi une radio.

74. Il faut parler devant lui pour le mettre en marche.

75. Il sonne toutes les quatre minutes.

L'objectif de l'activité suivante est semblable à celui des activités II, IV, VII et IX. Cette activité suscite donc les mêmes commentaires.

Deux items sont problématiques. Le faible taux de facilité à l'item 72 (.26) devait être attendu : le fait que l'appareil sera livré sans pile ne signifie pas qu'il ne fonctionne pas sans pile, même si la présomption est forte. Le faible taux de facilité à l'item 73 (.34) tient de ce qu'on attend des candidats qu'ils réfléchissent. Certains l'ont fait et ont conclu que si ce réveil était aussi une radio, ce serait signalé. D'autres se sont prudemment retranchés derrière l'alternative on ne peut pas le savoir. La question ou les alternatives doivent donc être remaniées.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

4.2.3 Épreuve écrite (deuxième partie)

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

L'épreuve écrite (deuxième partie) consiste en la rédaction d'un texte court dans le respect des consignes. Au niveau élémentaire, deux sujets sont proposés, un seul doit être traité. Au niveau certificat, quatre sujets sont proposés, deux d'entre eux doivent être traités.

Les compétences à développer sont d'un type particulièrement communicationnel puisque les candidats sont systématiquement placés devant un problème que la rédaction d'une lettre, d'un mot, d'un rapport peut résoudre. Il leur est par exemple demandé de s'adresser à une administration par écrit pour demander une information, de répondre à un ami pour refuser une invitation, bref, de développer des compétences de stratégie de communication.

Les consignes de l'épreuve écrite sont formulées dans les deux langues :

– en langue d'origine pour garantir la bonne compréhension des consignes et pour ne pas mesurer simultanément une compétence parasite de compréhension du discours écrit ;

– en langue-cible pour des questions de prestige de l'examen.

En effet, l'idée que les consignes d'activités d'un examen de langue étrangère soient rédigées dans une autre langue que la langue évaluée ne semble pas encore avoir convaincu certains enseignants, les parents des apprenants et d'une façon plus générale les personnes qui ont vécu différemment leur propre apprentissage de la langue étrangère et son évaluation. C'est pour que les examens ne perdent pas de leur prestige auprès de cette partie non négligeable de la population des consommateurs de la certification que la Fédération préfère probablement que les consignes soient formulées en français.

Pour l'épreuve de production écrite, le compromis de la consigne bilingue a été trouvé, mais il diminue la validité de l'évaluation comme cela est montré infra .

Le passage en revue de la nature des critères et des techniques d'évaluation des productions des examinés permettra de mieux comprendre quelles compétences vise l'évaluation.

4.2.3.1 Nature de l'évaluation

Si l'on part du principe que toute production écrite met en oeuvre une stratégie décomposable en actes et est soumise à des contraintes d'ordre social (normes) et d'ordre linguistique (système de la langue). On doit donc en évaluer l'efficacité, la recevabilité et l'intelligibilité. Ainsi, les personnes chargées de cette évaluation ne sont donc absolument pas des correcteurs mais des évaluateurs qui devront exercer leur évaluation avec la subjectivité du destinataire hypothétique de la production :

Je suis le directeur du personnel et je reçois cette lettre de candidature à un poste vacant. Est-ce que j'ai envie de convoquer ou non cette personne pour un entretien d'embauche ? A-t-elle clairement indiqué ses coordonnées ?

Je cherche à correspondre avec des jeunes Français de mon âge. À cet effet, j'ai placé une annonce dans un périodique pour jeunes. Je reçois une première lettre. Est-ce que j'ai envie de répondre à son expéditeur ? Suis-je en mesure de le faire ?

4.2.3.2 Critères d'évaluation

Les critères retenus par les évaluateurs des productions écrites peuvent être classés en 4 catégories :

4.2.3.2.1 le respect des instructions et de la consigne

Le respect des instructions exige des examinés qu'ils effectuent le nombre d'exercices imposé, dans le respect du nombre de mots indiqué et suivant les procédures de mise en page proposées (un sujet par page, par exemple).

Le respect des consignes se manifeste quant à lui

– dans le choix adéquat du genre d'écrit,
– dans l'adéquation de l'objet de la production écrite aux exercices proposés,
– dans le respect scrupuleux de l'identité de l'expéditeur, du destinataire, des éventuels pseudonymes imposés, des dates et des lieux.

4.2.3.2.2 l'évaluation du respect des normes du genre d'écrit choisi

Cette évaluation passe

– par l'observation de l'aspect iconique de l'écrit (mise en page, lisibilité, soin),

– par la vérification de l'appropriation de l'ouverture et de la clôture (appels, formules de politesse, par exemple),

– par l'adéquation des actes (dépistage des actes manquants, des actes inappropriés)

– par l'articulation des parties (mention ou non, si nécessaire bien sûr, de la date, de l'expéditeur, du destinataire, de l'appel, d'une formule finale, d'une signature ; organisation des actes)

– par la cohérence de sens (relevé des incohérences, des contresens).

4.2.3.2.3 le respect du système linguistique et le degré de précision du vocabulaire

4.2.3.2.4 le degré d'initiative dans le développement du contenu de l'écrit.

4.2.3.3 Techniques d'évaluation

Pour chaque niveau, l'ensemble des copies sont remises à un ou deux évaluateurs natifs qui sont chargés chacun d'attribuer une note à toutes les copies . À défaut d'objectivité dans l'évaluation d'une production qui met en oeuvre des compétences dont le degré de complexité ne permet plus une mesure par un outil fermé, cette solution instaure l'application aux copies d'une même subjectivité. Pour que cette subjectivité soit autant que faire se peut constante, une grille d'évaluation est remise à l'évaluateur. En voici une reproduction :

Pénalisations maximales

– Non respect des instructions 1
– Non respect de la consigne 2
– Faible degré d'initiative 1
– Non respect des normes du genre
– Mauvais aspect iconique de l'écrit 2
– Absence ou inappropriation des ouverture / clôture nécessaires 2
– Absence ou inappropriation des actes 2
– Mauvaise articulation des parties 2
– Incohérences au plan du sens 2
– Non respect du système linguistique 3
– Imprécision du vocabulaire 3

Cette grille n'est pas à proprement parler remplie par l'évaluateur mais elle lui permet au cours des séances de correction qui durent bien entendu plusieurs jours, de « remettre les horloges » à l'heure, de prêter à chaque critère d'évaluation son importance relative.

La complétion d'une telle grille serait d'ailleurs impossible dans la mesure où l'importance d'une même imperfection relevée dans deux productions différentes peut avoir des retentissements plus ou moins importants sur l'efficacité finale de l'écrit dans lequel elle s'intègre.

Voir en ligne : Suite

4.2.4 Épreuve orale (première partie)

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

L'épreuve orale (première partie) revêt la forme d'un questionnaire à choix multiples comportant 10 items distribués cinq à cinq, soient 2 activités au niveau élémentaire, d'un questionnaire à choix multiples comportant 15 items distribués cinq à cinq dans 3 activités au niveau certificat. Les activités portent sur des documents oraux enregistrés sur une cassette.

4.2.4.1 Niveau élémentaire

On trouvera en italique la transcription des documents oraux soumis aux candidats. Il est entendu que ces derniers ne disposent pas à l'examen de ces transcriptions, réalisées et rapportées ici pour la facilité du lecteur.

ACTIVITÉ I

Vous allez entendre une personne dire 5 phrases. En disant chacune de ces phrases, la personne regarde la dame ou le monsieur ?

1. - Ah ! Sur cette photo, elle est vraiment belle !

2. - Tu as vu ? On dirait qu'il essaie de faire une grimace… Regarde-le !

3. - Comment, tu ne le reconnais pas ? Tu ne te souviens pas de lui ?

4. - Je l'ai vue dans son spectacle et je l'ai trouvé très bonne. Excellente, même !

5. - Si si, c'est lui quand il était plus jeune. J'en suis certaine !

L'objectif de cette activité est de contrôler si les candidats sont capables de repérer dans un fragment de discours oral les marques qui permettent de déterminer le sexe de la personne à laquelle un locuteur se réfère. Les référents proposés sont présentés sous une forme iconique, ce qui augmente le degré de validité de l'évaluation opéré par l'activité.

Rien dans le vocabulaire ou dans la syntaxe des productions orales ne devrait troubler les candidats qui doivent simplement repérer les marques élémentaires du genre que constituent les morphèmes -elle, belle, il, -le, le, lui, -onne et -ente.

ACTIVITÉ II

Vous allez entendre une personne dire 5 phrases. En disant chacune de ces phrases, la personne regarde la photo A ou la photo B ?

6. - Je les ai goûtées toutes les deux. Mais je n'en aime aucune.

7. - Depuis, leurs yeux sont remplis de bonheur. Tu ne les reconnaîtrais plus.

8. - Je ne les vois pas souvent. Alors, je leur téléphone.

9. - Lui aussi, on l'a trouvé endormi dans la forêt.

10. - Ce sont les seuls qui connaissent bien les règles du jeu.

L'objectif de cette activité est de contrôler si les candidats sont capables de repérer dans un fragment de discours oral les marques qui permettent d'en identifier le référent. Cette compétence est plus difficile dans la mesure où les candidats ne savent pas que la marque à repérer est toujours celle du nombre. Avant d'entendre chacune des productions, les examinés pourraient supposer que le trait qui distingue les photos est l'âge ou le sexe des personnes représentées, par exemple.

Le faible taux de facilité moyen aux items 7 (.44) et 8 (.34) peut être expliqué par le fait que les examinés oublient souvent s'ils doivent reconnaître sur les photos la/les personne(s) qui parlent ou celle(s) dont on parle. Ces items sont d'ailleurs les seuls qui correspondent à des photos représentant des personnes susceptibles de produire les phrases entendues et donc susceptibles d'être erronément choisies comme telles.

4.2.4.2 Niveau certificat

ACTIVITÉ I

Pour chacune des phrases qui suivent, lisez la question, écoutez, puis mettez une croix dans la case qui correspond à votre choix.

Le feu a commencé le 25 juillet sur la commune de Septèmes et nous, nous n'avons été touchés que le 26 juillet. Le vallon a été brûlé en l'espace de 3 à 5 minutes, on va dire vers trois heures et demie, l'après-midi, le 26 juillet.

1. Vous entendez parler de quelque chose ...

A q qui s'est passé.

B q qui est en train de se passer.

C q qui va se passer.

La lubie des gens qui veulent absolument être dans la pinède fait porter sur la collectivité des charges qui sont à mon avis indues. Les milliards que l'on dépense pour défendre quelques maisons de qualité architecturale discutable et qui ne devraient pas se trouver là où elles sont, et dans les circonstances où elles sont, me paraît difficilement acceptable. Je ne suis pas d'accord - là je parle en tant que citoyen - je ne suis pas d'accord pour que cette situation perdure.

2. Vous entendez une personne ...

A q donner des conseils.

B q donner son avis.

C q raconter ce qui s'est passé.

… mais les éleveurs vont-ils relever ce défi majeur ? Et bien, c'est ce que nous verrons, si vous le voulez bien, mercredi prochain à la même heure. Mais d'ici là, n'oubliez pas notre rendez-vous avec le Journal de la Terre samedi à partir de 12 heures 20. Je vous souhaite une excellente journée sur la 5^e. Au revoir à tous.

3. Vous entendez une personne parler ...

A q à une seule autre personne.

B q à deux autres personnes.

C q à l'ensemble des auditeurs.

… on organise les Open du rire en partenariat avec Rires et chansons et ça consiste à sélectionner, de jeunes talents de tous horizons et à les faire rencontrer le public. Donc, ils viennent, ils font ce qu'ils veulent, ils choisissent les sketchs qu'ils ont envie de jouer et, pendant deux heures et demie, c'est une sorte de partie de ping-pong entre ces jeunes ta-lents et le public.

4. Vous entendez parler ...

A q un comédien.

B q un politicien.

C q un médecin.

Comme tous les enfants, Stéphanie fait chaque jour de nouveaux progrès. À l'école aussi, elle avance d'année en année. Jusqu'au jour où elle commence à prendre du retard. Nu-méro 1 du cours particulier à domicile, avec 5000 enseignants, Acadomia permet aux en-fants d'améliorer très vite leurs résultats. Acadomia, c'est un soutien scolaire sur mesure, adapté à chaque élève, quel que soit son niveau. Profitez des vacances pour faire pro-gresser votre enfant. Demandez notre documentation au 0801.10.15.

5. Vous entendez un passage extrait ...

A q d'un documentaire.

B q de l'annonce du programme des émissions.

C q d'une publicité.

L'objectif de cette activité est de contrôler si les candidats sont capables de repé-rer dans un fragment de discours oral les marques qui permettent de déterminer

– le moment du référent,
– l'acte de parole effectué,
– le nombre des allocutaires,
– quelque information sur le locuteur et
– le genre de discours dont le fragment est extrait.

Autant dire qu'il s'agit de 5 activités très différentes, ce qui pourrait expliquer les anomalies qui seront dépistées dans les chiffres qui décrivent l'épreuve dans la deuxième partie de l'étude , et qui y seront discutées.

ACTIVITÉ II

Vous allez entendre une personne dire 5 phrases. Dans chacune de ces phrases, la per-sonne est-elle certaine de ce qu'elle dit ou pas ? Mettez chaque fois une croix dans la case correspondant à votre choix.
certaine pas certaine

6. - À ce qu'il paraît, maman lui aurait téléphoné.

7. - Ses parents passeront sans aucun doute le voir demain.

8. - Et pourtant, le match a bien eu lieu.

9. - On vient d'apprendre que le nouveau directeur aurait été menacé de mort.

10. - Je suis sûre qu'il en a bu plusieurs verres juste avant l'accident.

L'objectif de cette activité est de contrôler si les candidats sont capables de repérer dans un fragment de discours oral les marques qui permettent d'identifier l'attitude du locuteur par rapport à ce qui est dit. Le faible taux de facilité montre que cette activité était difficile pour les candidats. Le fait est qu'elle était intégrée pour la première fois dans les examens, ce qui doit être noté car les examinés s'entraînent souvent à partir des annales des examens, en particulier pour cette épreuve.

ACTIVITÉ III

De qui parle-t-on dans les 5 phrases que vous allez entendre ? Pour chaque phrase, choisissez une des photos (A, B, C, D) ci-dessous puis placez une croix dans la case correspondant à votre choix.

11. - Il pratique toutes sortes d'autres sports, mais toujours en hiver et toujours en soli-taire.

12. - Le sport l'intéresse peu. Comme tu vois, elle fait plutôt de longues promenades au bord de la mer.

13. - Leurs enfants sont encore trop jeunes pour pratiquer un sport. Alors, ils passent les vacances ensemble dans leur maison de campagne.

14. - Le pauvre ! Son enfant est un vrai petit diable.

15. - On les a pris en photo juste avant la naissance de leur troisième enfant.

L'objectif de cette activité est de contrôler si les candidats sont capables de repérer dans un fragment de discours oral des marques qui permettent d'en identifier le référent. Cette compétence est plus difficile dans la mesure où les candidats ne savent pas que la marque à repérer est toujours celle du nombre ou du genre. Avant d'entendre chacune des production, les examinés pourraient supposer que le trait qui distingue les photos est l'âge ou l'activité exercée par les personnes représentées, par exemple.

De plus, au niveau certificat et contrairement à l'élémentaire, le choix peut-être opéré entre plus de deux photos.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

4.2.5 Épreuve orale (deuxième partie)

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

L'épreuve orale (deuxième partie), réservée aux examinés du niveau certificat, consiste en une conversation à partir de document à caractère hautement iconique entre les candidats (examinés deux par deux) et deux examinateurs.

Ces examinateurs sont sélectionnés en fonction de leurs compétences de communication en langue françaises (Ils sont souvent francophones natifs) et sont dans l'obligation de participer chaque année à des séminaires au cours desquels

– une cassette vidéo comportant au moins un enregistrement d'épreuve orale est visionnée,

– l'interprétation à donner aux critères réunis dans la grille d'évaluation est présentée et discutée,

– des passations d'examen expérimentales sont organisées et évaluées par tous les participants (Ces derniers comparent entre eux les notes qu'ils attribuent à chacun des élèves testés et réajustent leur interprétation des critères d'évaluation et leurs techniques de mesure).

Tout a donc été fait pour que le rôle que pourrait jouer l'identité des examinateurs sur le score d'un candidat soit insignifiant. Une influence de faible importance a pourtant été mesurée infra .

4.2.5.1 Modalités de passation

Les examinateurs ont à leur disposition un matériel d'examen composé

– de 2 x 5 feuilles intitulées « FEUILLE DESTINÉE AUX CANDIDATS » (images et/ou photos),

– d'une « FEUILLE DESTINÉE AUX EXAMINATEURS » réunissant quelques propositions de consigne de départ,

– de 2 « GRILLES D'ÉVALUATION » (une par candidat) et

– de 2 « FICHES D'ÉVALUATION » informatisées sur lesquelles sont repor-tés les résultats de chacun des 2 candidats.

Un exemplaire d'une même « FEUILLE DESTINÉE AUX CANDIDATS » est remis à chacun des 2 candidats dès leur entrée dans la salle d'examen.

Cette « FEUILLE DESTINÉE AUX CANDIDATS » doit simplement constituer un déclencheur de parole ; elle peut donc aussi être utilisée pour examiner d'autres candidats. Cependant, les examinateurs veillent à ce que la consigne de départ proposée à chaque groupe de candidats ne soit pas la même ; on évite ainsi de voir des élèves sortant de la salle d'examen aider ceux qui vont y entrer . Voilà pourquoi, d'ailleurs, plusieurs consignes de départ sont proposées sur la « FEUILLE DESTINÉE AUX EXAMINATEURS »

Il va de soi que les candidats n'ont en main que la « FEUILLE DESTINÉE AUX CANDIDATS ».

Les examinateurs ne prennent la parole que

– pour encourager les candidats à parler,

– pour les débloquer quand c'est nécessaire,

– pour les remettre sur la voie proposée par la consigne.

L'un des examinateurs

– relève les performances de chaque candidat,

– les note sur les grilles d'évaluation respectives et

– intervient pour donner aux candidats l'occasion de manifester telle ou telle capacité, mentionnée sur la grille d'évaluation mais qu'il n'a pas encore pu estimer.

À la fin de l'examen, les candidats sortent et les examinateurs revoient ensemble les notes attribuées avant de les reporter sur la fiche d'évaluation informatisée.

Exemples de propositions de consigne de départ :

« Regardez ces photos et/ou ces images. Est-ce qu'il y en a une qui vous rappelle quelque chose, qui vous fait penser à une expérience que vous avez vécue dans le passé ? »

« Regardez les photos et/ou les images rassemblées sur cette page. Est-ce que vous pourriez être une des personnes que vous voyez ? »

« Est-ce que ces photos et/ou ces images vous donnent envie de faire des pro-jets ? Lesquels ? »

4.2.5.2 Critères d'évaluation

Les objectifs opérationnels d'évaluation sont au nombre de 20. Ils ont été artificiellement regroupés en quatre catégories pour des raisons pratiques .

En voici une liste commentée :

1. Il/elle (mis pour le/la candidate) sait se référer à un sujet de conversation.

2. Il/elle a la capacité de parler sur un sujet quelques instants

3. Il/elle donne des informations sur le sujet

4. Il/elle exprime son opinion, ses idées sur le sujet

5. Il/elle peut formuler une proposition en rapport avec le sujet

6. Il/elle sait s'adresser à son interlocuteur

7. Il/elle peut demander de reformuler ce qu'elle n'a pas compris

8. Il/elle peut reformuler ce qu'il/elle a dit si ce n'était pas clair pour l'interlo-cuteur

9. Il/elle défend son opinion, il/elle argumente.

10. Il/elle participe à l'interaction.

11. Il/elle maîtrise les micro-systèmes de référence à soi-même, à l'interlocuteur ou à un tiers.

12. Il/elle localise avec précision dans le temps et dans l'espace

13. Son discours est élaboré (subordonnées, adverbes moins communs)

14. Il/elle peut rapporter un événement, un discours

15. Il/elle ne réalise que des actes attendus ou autorisés

16. Il/elle prononce correctement en respectant les sons/intonations du français

17. Il/elle utilise les formes convenables (personne, temps et modes verbaux, marques du genre)

18. Il/elle maîtrise les structures grammaticales de base (indicatif/subjonctif)

19. Il/elle dispose d'un vocabulaire suffisant et précis

20. Il/elle évite les interférences et les faux-amis.

Le classement artificiel qui a été opéré de ces critères en quatre catégories (capacité de se référer à un sujet, compétence communicationnelle, capacité de rattrapage, compétence linguistique) sur la grille d'évaluation est manifestement artificiel dans la mesure où beaucoup d'entre eux peuvent appartenir simultanément à deux ou trois d'entre elle.

Ainsi, par exemple, le fait de reformuler ce qui semble ne pas voir été bien compris est autant une compétence de communication qu'une capacité de rattrapage, et la mise en oeuvre de cette compétence passe nécessairement par la capacité de se référer au sujet et le développement de compétences proprement linguistiques.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

4.3 Premier bilan

Olivier Delhaye — 2003-12-15T22:00:00Z

Suite de la présentation critique d'un instrument d'évaluation mis en œuvre en GLes 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.
La lecture de ces textes (dans l'ordre suggéré) peut aider l'enseignant des langues à comprendre concrètement comment peut être conçue puis mise en œuvre une évaluation certificative des compétences de communication en langue étrangère, même imparfaite encore.rèce (en l'occurrence, les examens de français du PALSO) pour l'octroi d'une certification en langue française, mémoire de DEA – Sciences du langage, Université de Mons-Hainaut, 1998.

Le moment est venu d'organiser les observations qui précèdent en les rangeant sous 6 rubriques :

– les conditions de passation,

– la langue des instructions et des consignes,

– la qualité des échantillons de discours soumis,

– la nature des tâches proposées,

– le type d'outil d'évaluation adopté et

– le dosage des parties.

4.3.1 Les conditions de passation

L'uniformité des lieux de passation des examens, l'absence (à un degré raisonnable) de contraintes de temps et l'insignifiance relative des éventuelles différences de qualité d'écoute lors de l'audition d'une cassette audio contribuent certainement à la fiabilité des épreuves. Il n'a pas été possible de vérifier dans quelle mesure le report des réponses sur un formulaire permettant une lecture optique peut influencer les résultats finaux.

4.3.2 La langue des instructions et des consignes

Dans l'ensemble des épreuves observées, la formulation des consignes assure par la simplicité de la syntaxe, du vocabulaire et par sa clarté une chance optimale de réussite pour tous les candidats mais le fait que la langue dans laquelle elles sont rédigées n'est pas la langue-source semble parfois interférer sur le score dans les épreuves de production écrite et orale.

Dans la première partie de l'épreuve écrite des examens, les consignes encadrées sont exprimées dans une langue si élémentaire et ressemblent tellement aux consignes proposées dans les épreuves des sessions précédentes qu'on peut considérer comme négligeable la possibilité de voir un candidat pénalisé par le fait que ces consignes sont rédigées en français. Il n'en est par contre pas de même pour les questions posées sous les reproductions de documents sociaux proposées aux candidats : Outre que la formulation même de ces questions qui invitent en général le candidat à trouver des indices linguistiques dans ces documents, permet parfois une résolution en aveugle de l'exercice (Je découvre l'expression nouveau chef dans la question , je dois choisir selon je ne sais trop quel critère entre 3 documents, je choisis le seul dans lequel je repère cette même expression nouveau chef, et j'ai gagné le point !), la bonne résolution des exercices peut à nouveau être soumise au degré de compréhension de certains termes de la question ou des énoncés à compléter (pousser dans le sens de grandir ).

Un exemple plus impressionnant de stratégies interférentes peut être trouvé dans la deuxième épreuve, celle de production écrite, qui consiste à rédiger un court document sur base des consignes proposées, cette fois, en langue étrangère et en langue d'origine. Que le lecteur compare les textes de la consigne qui suit et de la production qui pourrait y répondre.

Consigne :

Votre amie Nadine vous a proposé de passer quelques jours du mois de juillet chez ses parents en Bretagne. Malheureusement, pendant tout le mois de juillet, vous de-vrez rester chez vous pour aider vos parents qui ont justement beaucoup de travail au début de l'été. Vous lui écrivez une lettre pour la remercier, bien sûr, mais surtout pour lui demander de remettre votre séjour au mois d'août. Signez du nom de Dimitris ou de Dimitra.

Production :

Thessalonique, le 27 mai 1998.

Ma chère Nadine,

Tu m'avais proposé de passer quelques jours du mois de juillet chez tes parents en Bretagne. Malheureusement, pendant tout le mois de juillet, je devrai rester chez moi pour aider mes parents qui ont justement beaucoup de travail au début de l'été. Je t'écris cette lettre pour te remercier, bien sûr, mais surtout pour te demander de re-mettre mon séjour au mois d'août.

J'attends ta réponse avec impatience. Bisous.

Dimitris.

N'est-il pas amusant de constater que moyennant quelques transformations relativement simples et d'ordre exclusivement morphosyntaxique, l'apprenant peut, en recopiant « intelligemment » la consigne, produire une lettre des plus acceptables ?

Ce candidat aurait-il pu remettre une copie de cette qualité si la consigne avait été formulée dans sa langue d'origine ?

Les consignes des activités d'évaluation de l'épreuve des examens destinée à mesurer les compétences de compréhension du discours oral des candidats sont, elles aussi, toutes exposées en français dans le livret qui leur est distribué.

Le risque que les consignes ne soient pas comprises par le candidat est certes tempéré par le fait qu'elles sont également lues à voix haute sur la cassette auditionnée, ce qui peut effectivement aussi contribuer à une certaine évaluation de sa compétence de compréhension d'un discours oral. Il n'empêche que l'objectif de l'épreuve n'est pas de comprendre ni d'appliquer des consignes exprimées dans la langue-cible mais bien d'être capable, après audition d'un fragment de discours oral, d'identifier le genre de ce discours, l'acte de parole accompli, de donner des informations sur le locuteur ou sur les allocutaires, de déterminer la nature de leur relation, de donner des indications sur les référents de l'acte de communication.

La formulation en langue-cible de la consigne constitue donc une source d'interférence sur l'évaluation des seules compétences de compréhension annoncée dans le Curriculum qui peut amoindrir les degrés de validité et de pertinence de l'évaluation.

De ce point de vue, le support-papier remis aux candidats lors de la passation de l'épreuve qui vise à mesurer leurs compétences de production orale n'est pas non plus parfait : Les quelques titres et légendes qui jouxtent les documents iconiques proposés aux candidats et qui devraient constituer de simples déclencheurs de parole sont en français et c'est bien dommage parce que les sens et les charges culturelles de certains de ces mots peuvent être particulièrement différents dans la langue d'origine et échapper ainsi aux candidats . Ces derniers, pénalisés par une méconnaissance du sens étranger et/ou de la charge culturelle des mots repérés, pourraient ne pas pouvoir soutenir aussi facilement que d'autres une discussion avec des évaluateurs justement étrangers et donc insensibles à ces particularités.

La formulation bilingue ou en langue-cible de consignes d'activités d'évaluation est à la source d'interférences qui peuvent nuire à la bonne évaluation des seules compétences à mesurer. En outre, elle oblige l'enseignant à faire apprendre par les candidats les notions permettant une description du fonctionnement de la langue, la métalangue inhérente et des genres de discours qu'ils utiliseront et rencontreront rarement au moment de communiquer en langue étrangère dans la vie active.

Enfin, la description ou le commentaire en langue-cible de situations de communication sur lesquelles le candidat ne peut poser qu'un regard autochtone n'est pas naturelle et pourrait en fausser l'exacte appréciation.

Ces nombreux risques d'interférence dans la mesure de compétences de communication précises et le gaspillage de temps que peut entraîner le décodage d'une consigne d'activité - d'évaluation tout au moins - formulée en langue-cible devraient amener les concepteurs des examens à rediscuter avec les commanditaires de ces épreuves, de l'opportunité qu'il y a à exprimer les consignes en langue étrangère.

Il serait à tout point de vue préférable qu'elles le soient en langue d'origine.

4.3.3 La qualité des échantillons de discours proposés

Dans 19 activités, les échantillons de discours soumis aux candidats sont authentiques . Ils constituent toujours des déclencheurs d'activité de communication et leur exploitation se fait dans le respect constant de leur fonction sociale première.

Les 15 autres activités proposent aux candidats des phrases construites pour la circonstance . Ces phrases contiennent des formes homonymes, synonymes, et/ou qui ont en commun leur rôle opérationnel dans le processus discursif. Elles permettent donc bien de mesurer la connaissance qu'ont les candidats d'une grammaire de l'énonciation en langue française.

On peut regretter que la situation de communication qui a pu susciter la production et contraindre les modalités de réalisation de ces fragments de discours ne soit pas restituée. Cette question sera traitée dans le chapitre suivant justement consacré à la nature des tâches proposées.

Le rapport entre les activités mesurant des compétences communicationnelles et celles qui mesurent des compétences linguistique est le même aux deux niveaux. Toutefois, en accord avec le texte du Curriculum pour les examens, un discours plus spécialisé fait son entrée dans certaines activités (annonces immobilières, offres et demandes d'emploi) au niveau certificat.

Il faut noter enfin que des réalisations discursives soumises aux candidats peuvent sembler constituer des transcriptions de discours oral . Ce sont en fait des phrases très courtes, qui pourraient malgré tout être produites par écrit (dans un discours rapporté, par exemple). L'intention des concepteurs est ici de réduire au minimum le nombre d'éléments qui pourraient compliquer la tâche évaluée et d'assurer ainsi le plus haut degré de validité possible à l'activité. L'éventuelle oralité de ces phrases en démontre en tout cas la naturalité qui a justement systématiquement fait défaut aux phrases minimales fabriquées par les méthodes d'enseignement des langues antérieures.

Il reste que les échantillons de discours sur lesquels portent les activités à réaliser par les examinés sont tous accessibles par les plus jeunes, que leur nature et rôle est en adéquation avec les objectifs de l'activité, que leur support de présentation est toujours en accord avec leur genre, que leur représentativité linguistique et sociale est manifeste et enfin que ces échantillons seraient certainement accessibles en langue d'origine, ce qui garantit une plus grande validité à la mesure.

4.3.4 La nature des tâches proposées

Pour ce qui concerne les 19 activités permettant de mesurer des compétences de communication, les actions prescrites sont bien susceptibles d'être un jour accomplies par les candidats et ne devraient pas heurter leur entendement.

On a déjà regretté que la dimension socio-culturelle des contextes d'apparition des productions proposées dans les activités portant sur la connaissance qu'ont les candidats du système de la langue ne soit pas restituée. Il n'en reste pas moins que ces activités sont bien celles auxquelles peut se livrer un locuteur au moment de s'exprimer, quand il hésite entre

– des formes homonymes en langue d'origine ou en langue étrangère,

– des formes remplissant une même fonction opérationnelle (actualisation, quantification, localisation spatio-temporelle, modalisation, etc.) dans le processus discursif.

Les formes homonymes en langue d'origine sont deux fois plus nombreuses dans les examens du certificat mais leur importance relative dans la pondération des examens aux deux niveau reste modeste. En effet, si les évaluateurs privilégient trop systématiquement des réalisations dont le fonctionnement morphosyntaxique particulièrement différent de celui de réalisations homologues en langue d'origine déroute l'apprenant, ils proposeront un échantillon peu représentatif de la langue-cible. Si par contre, ils ne tiennent pas compte des rapport qu'entretiennent les réalisations proposées avec les productions homologues en langue-source, les résultats de l'épreuve seront moins discriminants et donc moins pertinents.

Aux deux niveaux, il est clair que le parti pris par les concepteurs est de proposer

– des activités portant sur la mise en exercice du système linguistique et répondant aux objectifs de maîtrise et de transfert dans la trilogie de V. et G. de LANDSHEERE (1984) d'une part,

– des activités mettant en oeuvre des compétences de communication et visant des objectifs de transfert et « d'expression », de l'autre.

La différence entre les degrés de difficulté de résolution des consignes aux deux niveau se manifeste dans la nature des informations à repérer et dans le degré d'exploitation de ces informations.

En effet, l'éventail des natures d'informations à repérer simultanément au sein d'une même activité est en général plus large au niveau certificat. De plus, leur ex-ploitation nécessite la mise en oeuvre de la compétence d'inférence quand il s'agit par exemple d'estimer le degré d'implication d'une personne ou les incidences des informations relevées dans le document.

L'apparition, au hasard de certaines activités, de tâches dont l'accomplissement semble plus difficile pourrait inciter les concepteurs ou les évaluateurs de l'évaluation à intégrer ces tâches dans une typologie des habiletés langagières de compréhension (repérer, regrouper, comparer, inférer, apprécier) et de production (réutiliser, affirmer, interroger, interagir) pour mieux en organiser la pondération. Toutefois, une tentative d'intégration des activités des deux examens dans une typologie de ce type proposée par LUSSIER (1992) a échoué : la plupart des activités et des items mobilisent plusieurs habiletés, et ce, à des degrés différents. Aussi les concepteurs ont-ils choisi de garantir une représentativité et une pondération équilibrée des habiletés langagières par l'organisation d'un grand nombre d'activités/situations déclenchées par le plus large éventail possible de documents sociaux.

D'une façon générale, la nature des tâches proposées est donc bien en accord avec les objectifs déclarés. Toutes les compétences mesurées pourraient être développées par les examinés en langue d'origine. Les activités sont naturelles, vraisemblables, comme le sont aussi les alternatives et les distracteurs proposés aux candidats dans tous les questionnaires à choix multiples. Leur réalisation enfin est statistiquement probable dans l'avenir francophone éventuel des examinés.

4.3.5 Le choix du type de l'outil d'évaluation

Posons d'abord la question du bien fondé de l'adoption du questionnaire à choix multiples comme outil d'évaluation dans les épreuves de compréhension d'un discours écrit ou oral. Si le questionnaire fermé à choix multiples semble devoir constituer la meilleure garantie de la fiabilité de l'épreuve d'évaluation, il n'en reste pas moins que la qualité de sa mise en oeuvre doit être examinée de plus près. Ainsi,

– les alternatives proposées sont-elles toujours celles auxquelles sont confrontés les candidats au moment de communiquer réellement en langue étrangère ?

– le choix d'un seul et même outil d'évaluation ne limite-t-il pas les investigations aux seuls domaines cognitifs de la connaissance et de certaine habileté (compréhension) isolés par BLOOM (1970) ?

Le recours au questionnaire fermé à choix multiple est une solution qui assure un haut degré de fiabilité à l'épreuve et qui permet parfois, contre l'attente de TAGLIANTE (1991) par exemple, de mesurer des compétences relativement complexes.

Toutefois, la construction de ce questionnaire ne s'est pas révélée parfaite. Ainsi, l'évaluation des compétences des candidats a-t-elle été perturbée dans quatre activités par la présence d'une option du type on ne peut pas le savoir / ce n'est pas dit que les candidats (ou parfois les concepteurs) distinguent parfois mal des autres options (oui / non).

L'organisation d'un pré-test aurait permis de repérer et d'éliminer des items dont le dysfonctionnement est manifeste . Ainsi,

– deux bonnes réponses pouvaient-elles être donnée à un item, alors qu'une seule était initialement attendue par les concepteurs,

– une atteinte trop importante à l'intégrité de trois documents et la re-production monochrome de l'un d'entre eux ont-elles déroutés les candi-dats,

– les éléments à apparier comportaient-ils des expressions par trop iden-tiques dans deux activités,

– la résolution en aveugle, sans que ne soit donc développée la compé-tence à mesurer, de deux exercices était-elle possible dans deux activités,

– un item consistait-il en une question subjective et donc sans réponse évidente. Le faible degré de facilité de certains items n'impose par contre pas leur élimination quand il provient

– de difficultés justement liées à la langue d'origine (dans quatre activités),

– de l'influence de l'organisation des items entre eux (la réponse à un item influence éventuellement celle à l'item suivant ; une force irrépressible pousse le testé à distribuer ses croix de façon harmonieuses dans les cases prévues à cet effet),

– d'un mot ou d'une expression difficile (trois activités),

– de quelque piège (involontaire) dans le choix des distracteurs (une activité). Il doit être signalé que dans aucune activité la compétence cognitive ou la disposition d'une pré-connaissance quelconque n'ont parasité la mesure.

L'analyse de la grille d'évaluation, une fois qu'elle a été complétée, a aussi permis de montrer que l'hypothèse selon laquelle le nombre particulièrement élevé de réponses possibles dans une même activité influencerait le taux de facilité moyen aux 5 items qui la composaient n'était pas confirmée.

L'impression générale qui se dégage de l'évaluation des épreuves de compréhen-sion est donc bonne.

En ce qui concerne les épreuves de production écrite et orale, la répartition des points par compétence dans le respect des objectifs annoncés, la sélection rigoureuse d'évaluateurs (indépendants pour l'écrit) disposant d'une grille d'évaluation et la démultiplication de l'activité de production au niveau certificat sont des facteurs qui contribuent à leur haut degré de pertinence.

De grandes questions restent pourtant provisoirement sans réponse :

Des activités participant dans une même mesure à l'établissement du score total des candidats évaluent des compétences dont les degrés d'importance relative sont particulièrement inégaux, tant au niveau taxonomique (complexité des processus cognitifs mis en oeuvre) qu'au niveau de l'étendue des domaines explorés. La question du dosage des parties et de l'importance relative à donner à chacune d'entre elle pour l'établissement du score total se pose donc :

Une table de spécifications peut-elle être établie ? Quelle doit être la nature / le niveau des intentions qui contraindront la distribution des degrés d'importance relative à accorder à chacune des compétences / performances évaluées ?

En outre, quoique l'analyse des degrés de difficultés de chaque item n'ait rien révélé sur ce plan, les performances des candidats doivent être à un certain degré liées à leur compétence cognitive ou à leurs traits de caractère. Doit-on tenter de neutraliser ces facteurs en en mesurant l'influence ?

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/

5 L'analyse des résultats de l'évaluation

Olivier Delhaye — 2003-12-15T22:00:00Z

Les 12 sections que vous parcourez sont tirées d'un mémoire de DEA en Sciences du langage, déposé à l'Université de Mons-Hainaut en 1998 ; la plus Grande Distinction lui a été attribuée.

5.1 Présentation du corpus d'observation.

Rappelons que le corpus d'analyse est constitué des résultats de 1654 candidats présentés par 329 écoles et examinés le 27 mai 1998 dans 38 centres répartis sur l'ensemble du territoire grec.

1207 candidats présentaient les examens du niveau élémentaire et 446 ceux du niveau certificat.

100 variables ont été isolées et ana-lysées avec l'aide des logiciels SPSS/PC+ et Microsoft Excel 97.

Ces variables sont :

– l'identité de l'examiné,

– sa ville d'origine,

– le nom de son école de langue,

– le centre de passation des examens,

– le niveau présenté,

– la langue présentée,

– les scores totaux à chacune des 3 (ou 4) épreuves,

– les résultats à chacun des 80 à 90 items composant les épreuves de compréhension des discours oral et écrit.

Les feuilles de calculs sur lesquelles reposent les premières conclusions sont toutes reproduites en annexe.

5.2 Une homogénéité relative

Le calcul de la moyenne des notes totales en fonction du centre d'examen et/ou de l'école a mis en évidence une absence d'homogénéité dans les résultats qu'objectivent aux deux niveaux :

– l'importante variation de la moyenne des scores totaux par centre et/ou par école et

– un indice de dispersion des scores totaux très variable et très élevé au sein-même de chaque centre/école, de l'autre.

À titre d'illustration, les quatre graphes rassemblés sur la page suivante mettent en évidence

– l'importance de la variation de l'écart entre la moyenne par centre et la moyenne réduite des scores totaux de l'ensemble de la population des examinés, d'une part,

– la variabilité et l'importance des indices de dispersion des scores totaux comparés ici à l'indice de dispersion du score moyen réduit de l'ensemble de la population, de l'autre.

Cette hétérogénéité peut être due à la petitesse du nombre des candidats présentés par chaque école (ce nombre varie entre 2 et 32, niveaux confondus) ou à celle du nombre de candidats examinés dans la plupart des centres (moins de 20 pour plus de la moitié des centres, niveaux confondus). Les moyennes des scores totaux obtenus dans les plus grands centres (Athènes, Thessalonique) sont d'ailleurs nettement plus proches de la moyenne nationale, ce qui tendrait à prouver que l'hétérogénéité des scores totaux dépistée est liée à la petite taille des regroupements opérés. Les premières conclusions seront donc présentées avec la légère réserve qu'impose ce manque d'homogénéité.

L'observation de disparités significatives entre les scores totaux des examinés au sein de mêmes centres ou de mêmes écoles pourrait aussi faire penser que des fac-teurs qui ne font probablement pas partie des variables indépendantes reprises dans le corpus observé influent sur le score des examinés.

L'origine de ces disparités pourrait être, par exemple, une mauvaise information ou formation spécifique des enseignants. Le fait que, dans un même centre ou dans une même école, il ne semble pas exister de corrélation entre le taux moyen de réussite des élèves au niveau élémentaire et celui des élèves au niveau certificat infirme pourtant cette hypothèse. En effet, les écoles de langues, très nombreuses en Grèce, comptent en général peu d'élèves dans les classes d'apprentissage du français et confient à un seul et même enseignant la préparation des candidats aux deux niveaux des examens PALSO. On se serait donc attendu à voir transparaître une même qualité de formation des candidats en comparant les scores obtenus pour chaque niveau dans une même école ou dans un même centre. Or cette comparaison a révélé une grande disparité entre les résultats au niveau élémentaire et au niveau certificat.

Un autre facteur qui peut avoir contribué à compromettre l'homogénéité des résultats est le fait que les écoles suivent des politiques différentes en ce qui concerne l'inscription ou non de leurs élèves aux examens. Certaines préfèrent ne présenter aux examens que les élèves dont la réussite est pratiquement sûre et utiliser ce haut taux de réussite comme argument publicitaire à la rentrée scolaire suivante.

D'autres écoles voient dans la présentation des examens PALSO un objectif général de cours et inscrivent systématiquement tous les élèves qui le suivent. Mais à nouveau, l'adoption d'une de ces tactiques concernerait très probablement autant les élèves qui préparent le niveau élémentaire que ceux qui se préparent au certificat et elle devrait donc se traduire par une forte corrélation entre les taux moyens de réussite à ces deux niveaux au sein d'une même école, ce qui n'est pas souvent le cas.

Avec la prudence, répétons-le, qu'impose la constatation d'un manque d'homogénéité dans la distribution des notes totales par centre et/ou par école, il sera conclus que cette hétérogénéité ne peut être directement expliquée par aucune des variables isolées et qu'elle ne semble pas devoir dépendre d'un facteur lié à l'école fréquentée ou au centre d'examen.

Une étude du profil affectif, cognitif et socioculturel des candidats permettrait peut être de dégager quelque corrélation qui permette d'abandonner l'idée provisoire que l'hétérogénéité des résultats est simplement due à la petitesse des nombres de candidats alignés par chaque école et dans chaque centre.

5.3 La signifiance de la certification

Aux deux niveaux, on observe que les notes totales sont distribuées entre les candidats suivant une distribution normale (courbe de GAUSS) légèrement biaisée.

Ce biais positif pourrait traduire un trop haut degré de facilité des examens. On serait dès lors tenté d'éliminer les activités auxquelles l'ensemble des candidats ont obtenus un score élevé mais certaines de ces activités, placées en début d'épreuve, sont justement destinées à mettre les candidats en confiance.

POPHAM (1978) a par ailleurs montré que si on élimine les items dont le degré de facilité est trop élevé ou trop faible, on rend le test moins sensible au plan des objectifs spécifiques . En outre, le fait qu'un examiné trouve un test facile ou difficile constitue un renseignement pertinent.

Il ne faut pas non plus perdre de vue que les activités qui consistent en l'exploitation de documents authentiques sont par leur nature-même composées d'items aux degrés de difficulté variés et difficiles à établir par avance .

Enfin, l'élimination des items trop faciles ne peut pas être décidée sans que l'on tienne compte du critère et/ou du seuil de réussite. Or, la distribution des notes comparée au critère de réussite qui est l'obtention d'un score total minimum de 60%, montre que le degré de signifiance de la certification est très faible : 88.2 % de la population des candidats réussissent les examens de l'élémentaire et 77.4 % de la population des candidats ceux du certificat.

Les causes probables de cette facilité d'obtention des certifications peuvent être les suivantes :

Premièrement, les épreuves qui ont le plus de poids dans la notation finale sont les épreuves qui comportent des questionnaires à choix multiples. Or, un nombre assez important d'items peut être réussi par chance (ou en trichant) comme le montrent par exemple les résultats des testés les plus faibles à l'épreuve de compréhension écrite, tous supérieurs à 32 % au niveau élémentaire et 37 % au niveau certificat.

Une autre explication à ce haut degré de facilité de réussite peut être que pour des raisons politiques et/ou commerciales, le seuil de réussite de l'épreuve a été placé bas.

En effet, au plan politique, les commanditaires peuvent considérer l'obtention du diplôme élémentaire comme un encouragement pour l'entreprise d'études visant l'obtention du certificat. Au plan commercial, il est certain que la population des élèves se dirigera plus volontiers vers la préparation d'un diplôme facile à obtenir. Une mention (très bien, bien, assez bien, passable) figure certes sur les certifications octroyées , mais rien ne permet de les interpréter.

Un employeur pourrait donc être trompé par la présentation d'une certification niveau élémentaire, mention passable, qui, en définitive, signifie pauvrement que son détenteur ne fait pas partie des 11% d'examinés qui ne sont pas arrivés à l'obtenir.

Tout ceci pose le problème de la sémiologie du score dont la définition doit être soigneusement établie par les commanditaires de l'épreuve.

5.4 La validation du modèle théorique

Pour les raisons exposées plus haut, le degré de corrélation entre réussite et score total n'est pas aussi élevé qu'on l'attendrait. La poursuite de l'analyse se concentrera donc sur les corrélations à établir avec le score total et non plus avec le facteur réussite.

Aux deux niveaux (certificat et élémentaire), les degrés de corrélations entre les scores obtenus à chaque épreuve et le score obtenu à l'ensemble de l'examen sont positifs et élevés (entre .46 et .94 pour l'élémentaire, entre .63 et .87 pour le certificat). Leur variation d'un niveau à l'autre s'explique par la différence d'interpondération des épreuves (70+10+20 pour l'élémentaire, 45+20+15+20 pour le certificat). La question du choix des critères de pondération a déjà été posée infra et reste provisoirement sans réponse.

Il serait par contre intéressant de valider par l'observation des tableaux statistiques reproduits ci-dessous le modèle théorique sur lequel sont articulés les objectifs des examens. Ces examens comportent 4 épreuves sensées mesurer des compétences de natures différentes deux à deux (oral vs écrit, compréhension vs expression).

Niveau Elémentaire
CORRELATIONS : TOTAL REUSSITE COMPR. ÉCR. EXPR.ÉCR. COMPR. OR.
TOTAL 1.0000
REUSSITE .6491** 1.0000
COMPR. ÉCR. .9433** .6285** 1.0000
EXPR.ÉCR. .6539** .4382** .5593** 1.0000
COMPR. OR. .4600** .2477** .1742** .1262** 1.0000
1-tailed Signif : *-.01 **-.001

Niveau Certificat
CORRELATIONS : TOTAL REUSSITE COMPR. ÉCR. EXPR. ÉCR. COMPR. OR. EXPR. OR.
TOTAL 1.0000
REUSSITE .7361** 1.0000
COMPR. ÉCR. .8765** .6636** 1.0000
EXPR. ÉCR. .7579** .5528** .5840** 1.0000
COMPR. OR. .6323** .4560** .4622** .2982** 1.0000
EXPR. OR. .7223** .5178** .4536** .4199** .2945** 1.0000
1-tailed Signif : *-.01 **-.001

Les faibles corrélations entre la mesure de compétences orales et la mesure de compétences écrites (.17 et .12 pour l'élémentaire , .46, .29, .45 et .41 pour le cer-tificat) rassurent : ces épreuves évaluent donc bien des compétences à distinguer.

La corrélation plus forte entre les résultats aux épreuves orale et écrite du certificat peut s'expliquer par le fait que les apprenants ont atteint un niveau de maîtrise des compétences communicationnelles et surtout linguistiques générales qui autorise une certaine interaction entre les capacités développées séparément à l'oral et à l'écrit et qui conduit au développement plus rapide de compétences devenues interférentes.

Les plus fortes corrélations entre la première et la seconde épreuve écrite (.55 à l'élémentaire et .58 au certificat) reflètent probablement le recouvrement concerté des objectifs d'évaluation décrit supra .

La corrélation très faible (.29) entre les épreuves de compréhension du discours oral et de production orale au certificat montre que ces deux compétences doivent bien être mesurées séparément.

Enfin, la très forte corrélation (.94 à l'élémentaire, .87 au certificat) entre l'épreuve de compréhension d'un discours écrit et le score total peut encourager les enseignants à organiser, surtout au niveau élémentaire, des tests de prédiction du score total aux examens mesurant exclusivement cette compétence de communication.

Par la mise en rapport

– des coefficients de haute ou de faible corrélation entre les résultats globaux obtenus à chacune des épreuves qui composent l'examen, d'une part, et

– des inter-relations théoriques entre les compétences que chacune de ces mêmes épreuves évalue, de l'autre, l'établissement de la validité de construct de l'instrument semble donc prouver que le modèle didactique qui préside à l'organisation des objectifs d'apprentissage / d'évaluation est lui-même valide.

5.5 La fiabilité de l'examen

Pour savoir dans quelle mesure la variabilité totale observée dans les résultats à une épreuve peut être expliquée par le fait que les observations proviennent de centres différents, une analyse de la variance par épreuve et en fonction des centres peut être effectuée.

Cette analyse révèle qu'on ne peut pas rejeter l'hypothèse d'une certaine corrélation entre la variabilité des résultats à chaque épreuve et l'identité du centre de passation de ces épreuves, puisque les valeurs de F ne sont pas fort proches de 1 . Toutefois, le fait que les valeurs de F varient peu d'une épreuve à l'autre semble indiquer qu'aucun facteur de variabilité n'exerce une influence plus importante sur la fiabilité de l'épreuve que les autres.

Ddl intergroupe Ddl intragroupe Rapport F Signification Élémentaire Compréhension écrite 31 1175 2.136 .000 Expression écrite 31 1175 1.904 .002 Compréhension orale 31 1175 2.241 .000 Certificat Compréhension écrite 23 422 1.696 .024 Expression écrite 23 422 2.772 .000 Compréhension orale 23 422 2.250 .001 Production orale 23 422 4.336 .000 Cette conclusion permet de confirmer l'hypothèse formulée précédemment et selon laquelle la qualité d'audition de la cassette audio (épreuve de compréhension d'un discours oral) ne peut avoir affecté la qualité de l'évaluation des compétences de communication des examinés dans une plus grande mesure que ne l'auraient fait d'autres facteurs liés aux centres dans les deux autres épreuves de l'examen.

Par contre, on peut se demander si l'identité des évaluateurs aux examens de production orale n'influe pas sur le degré de fiabilité de cette épreuve dans la mesure où le rapport entre les variances intra et inter-centres y est deux fois plus élevé : F(23,422) = 4,336. Toujours est-il que l'absence de corrélation nette entre la variabilité des résultats à chacune des trois premières épreuves de l'examen et l'identité du centre vaut pour les deux niveaux d'évaluation ce qui rend encore plus improbable quelque influence nette des conditions de passation de ces épreuves sur le score total final.

5.6 La cohérence interne des épreuves

Une étude de fiabilité fondée sur les covariances entre items au sein des épreuves consistant en un questionnaire à choix multiples (épreuves de compréhension écrite puis de compréhension orale, niveau élémentaire puis certificat) révèle une bonne cohérence interne des épreuves de compréhension d'un document écrit, et ce aux deux niveaux (.85 et .82) : les items forment un ensemble suffisamment homogène pour qu'il soit justifié d'additionner leurs résultats pour former un score total

Coeff. a de CRONBACH Élémentaire Compréhension écrite .8522 Compréhension orale .2141 Certificat Compréhension écrite .8163 Compréhension orale .5737 L'analyse de la corrélation de chaque item avec l'épreuve qui l'inclut n'est pas recoupée par les éventuels hauts degrés de facilité ou de difficulté de ces items.

Le coefficient de cohérence interne (.21 et .57) pour les épreuves de compréhension d'un discours oral sont par contre décevants aux deux niveaux. Les raisons pour lesquelles l'ensemble des items est peu homogène dans cette épreuve sont probablement que le nombre d'items est petit et que l'éventail des types d'activité (compétences et habiletés développées) est moins large. Le coefficient de cohérence interne pour cette épreuve au niveau certificat est d'ailleurs relativement plus élevé (.57). Or, la différence fondamentale entre les deux niveaux semble exclusivement porter sur le nombre d'items et sur le nombre de compétences évaluées .

Il peut être conclu que le degré de cohérence interne de chacune des épreuves écrites est fort bon, et que celui des épreuves de compréhension d'un document oral l'est moins parce que le nombre d'items et de tâches n'est probablement pas suffisant pour que l'évaluation soit significative.

5.7 La consistance des activités

L'analyse de la consistance interne de chaque activité / de chaque situation (groupe de 5 items) dans les épreuves de compréhension écrite et orale révèle des coefficients a de CRONBACH souvent faibles et variables (de .0022 à .7151).

Cette faiblesse du taux de fiabilité que ne laissait pas attendre la très grande cohérence interne de deux des quatre épreuves peut être due

– au dysfonctionnement de certains items et

– au fait que les items portant sur un même document social et apparte-nant donc à une même activité peuvent être d'une nature et d'un degré de complexité très variables.

On remarque d'ailleurs une augmentation significative du coefficient a de CRONBACH après l'élimination des items douteux ou quand on analyse le degré de cohérence interne des activités justement groupées selon la nature des compétences qu'elles mesurent.

Coeff. a de CRONBACH Élémentaire Système linguistique .7681 Performance communicationnelle .7471 Certificat Système linguistique .7932 Performance communicationnelle .5396 Le bon coefficient de cohérence interne pour chacun des deux groupes hypothétiques d'activités que constituent les activités déclenchant une mise en exercice du système linguistique et celles qui font réaliser une performance communicationnelle constitue une confirmation de ce qu'au sein de chaque groupe hypothétique, les tâches ont des points communs qui justifient leur regroupement. En outre, le coefficient plus faible de l'ensemble des activités communicationnelles au certificat augmente de façon sensible (.6022) dès qu'on élimine 8 items dont le dysfonctionnement a été signalé infra .

L'analyse de la consistance interne de chaque activité/situation ne peut donc pas nous fournir d'indication utile puisque ces activités/situations constituent des grou-pement de tâches à chaque fois différentes. Par contre, la consistance interne du regroupement de ces tâches par nature est bonne, surtout après l'élimination des items suspects.

5.8 La qualité des items

Le relevé des items auxquels le score moyen était trop faible ou au contraire trop haut a déjà fait l'objet d'une analyse fouillée au chapitres 4.2. et a servi les arguments avancés dans la critique sociolinguistique qui a précédé ce chapitre.

L'analyse des items (4.2) a montré le souci des concepteurs - d'éviter les réponses mixtes (mettant par exemple en oeuvre le repé-rage de renseignements de natures différentes),

– d'éviter les alternatives dont le degré probable de validité est proportionnel à la longueur de formulation,

– d'éviter les distracteurs inconsistants ou qui n'existent pas,

– de choisir un nombre varié mais sage d'options,

– de ne pas correler les options (a, b, c, a+b mais pas c),

– de ne pas tendre de pièges ou imaginer de questions astucieuses,

– de ne jamais poser de questions dont la réponse ne nécessite pas la lecture du document,

– de ne pas formuler d'alternatives de façon trop lourde ou redondante.

Ce souci de qualité est confirmé par le très petit nombre d'items dont le haut degré de difficulté pourrait traduire quelque dysfonctionnement :

Pour rappel, le degré de facilité de l'item est égal à la somme des réponses correctes divisée par le nombre des examinés. Un bon degré de facilité tourne aux alentours de .5 ; les taux inférieurs à .33 ou supérieurs à .66 peuvent indiquer un dysfonctionnement de l'activité ou simplement une trop grande simplicité .

Il a été montré au cours de l'analyse de la mise en oeuvre de l'évaluation que la suppression des nombreuses consignes, activités ou parties d'activités trop faciles n'est pas imaginable dans la mesure où

– elles constituent souvent les étapes obligées d'une stratégie de décodage des documents proposés aux testés,

– il n'est de toute façon pas possible d'organiser un pré-test qui permette de mesurer le degré de facilité de chaque item.

Par contre, l'élimination de ces items au moment de la notation, après la passation des examens et une analyse statistique des résultats, pourrait permettre de résoudre le déséquilibre observé dans la distribution des notes et de réduire son influence négative sur la signifiance de la certification.

La proportion d'items difficiles dont l'élimination a déjà été envisagée sous 4.2 est quant à elle très faible (6 items à l'ensemble des questionnaires à choix multiples du niveau élémentaire et 5 items au certificat)).

Lors de l'analyse des items , il a été tenu compte de la qualité du choix des distracteurs , et de la mesure dans laquelle ils ne faussent pas les résultats.

Voir en ligne : Suite

Lien vers les annales de ces examens, devenus « Examens PALSO-LAAS » : https://palso.gr/exams_/language-schools/laas-nocn-past-papers/