Qu’évalue-t-on quand on évalue la compréhension de textes ? : comparaison de deux modes d’évaluation

Résumé : Les constats d’échec en compréhension de textes des élèves français en fin d’école primaire sont répétés, assénés par de nombreuses enquêtes nationales et internationales récentes. Ils ont valeur de vérité objective et sont rarement interrogés du point de vue des tâches proposées aux élèves et encore plus rarement du point de vue des processus cognitifs engagés par ces tâches. Ces constats chiffrés sont établis à partir de scores réalisés par les élèves répondant à des questionnaires écrits. Or, le questionnaire de compréhension est un outil particulièrement peu maîtrisable et qui engendre de nombreuses questions : - La réponse à l’item est-elle un témoin direct de la compréhension ? - Peut-on légitimer aussi aisément le passage implicite de la compréhension d’un texte à la compréhension de texte ? Nous interrogeons la portée diagnostique de ces évaluations. L’originalité de notre étude tient à la comparaison chez les mêmes élèves de deux protocoles visant à évaluer la compréhension de textes narratifs: (i) un texte ” Verte ” et une sélection d’épreuves (choix de titre, choix de résumé, reprises anaphoriques, questions portant sur l’identité du narrateur) issus des évaluations nationales françaises et (ii) un texte ” Sidonie ” et une batterie d’épreuves ”Diagnos-r” (Rappel, reconnaissance, Jugements d’importance relative et Questions ouvertes) construits dans le cadre de la sémantique cognitive (Le Ny, 1979, 2005 ; Denhière & Baudet, 1992) et reprenant des tâches d’évaluation des processus cognitifs (Blanc & Brouillet, 2005). Méthodologie : Pour chacun des deux textes, nous avons croisé les protocoles incluant les deux classes d’épreuves, en inventant pour Sidonie un questionnaire de type évaluations nationales (essentiellement des QCM) et pour Verte des tâches de type ” Diagnos-r ”. Quatre-vingts élèves de fin de cycle 3 (issus d’écoles parisiennes en EP et HEP) ont participé individuellement à l’expérimentation lors de deux sessions de 30 minutes. Nous avons ensuite retranscrit et recodé les rappels et comparé les résultats aux différentes épreuves. Résultats : Toutes les tâches ne sont pas également réussies; le QCM se distingue manifestement des autres modalités de questionnement. Rappel, reconnaissance et jugement d’importance montrent un fort effet du texte (Sidonie, texte plus simple, est mieux réussi que Verte), effet qui s’avère être plus fort encore que l’effet EP/HEP. Le QCM est, en outre, très peu corrélé avec l’ensemble des tâches, notamment avec le rappel. On observe même des discordances fortes intra-épreuves, avec des cas d’élèves qui réussissent des questions discriminantes et échouent des questions les moins discriminantes (selon des critères de corrélation item-test). Le choix du texte semble donc influer lourdement sur les résultats et les scores au QCM seuls donnent une image très partielle de la compréhension des élèves.
Document type :
Conference papers
Complete list of metadatas

https://hal.archives-ouvertes.fr/hal-01500741
Contributor : Administrateur Hal Descartes <>
Submitted on : Monday, April 3, 2017 - 3:57:47 PM
Last modification on : Tuesday, September 17, 2019 - 9:40:09 AM

Identifiers

  • HAL Id : hal-01500741, version 1

Collections

Citation

Sabine Rodriguez-Smith, Sandra Jhean-Larose. Qu’évalue-t-on quand on évalue la compréhension de textes ? : comparaison de deux modes d’évaluation. À quelles questions cherchons-nous réponse ?, AREF, Université de Montpellier, Jul 2016, Mons, Belgique. ⟨hal-01500741⟩

Share

Metrics

Record views

192