Les évaluations pour quoi faire ? Pourquoi faut-il des évaluations et que faire des évaluations ?
C’est à ces questions que l’ORTEJ a voulu répondre en organisant une rencontre le 13 décembre dernier dans les locaux du SI.EN et en invitant des intervenants spécialistes des évaluations internationales.
Pourquoi s’intéresser aux évaluations internationales et pas aux nationales ?
Autant les analyses et commentaires sur les résultats des évaluations nationales sont nombreux, autant les exercices proposés et leurs analyses sont difficiles, voire impossibles à trouver. On insiste encore beaucoup sur la lecture à haute voix, alors que l’essentiel n’est plus là au CM2. Par ailleurs, si la compréhension en lecture silencieuse est vérifiée, elle l’est de manière particulièrement vague et succincte. L’exemple trouvé dans un document élaboré par le département du Calvados pour les élèves de CM2 présente un texte narratif de 35 lignes avec 5 questions sans que soient indiqués les processus de compréhension évalués et qui considère que si l’élève a répondu à 3 questions, tout va bien. Aucun texte informatif n’est présenté. Le ministère a pourtant fourni un descriptif complet des évaluations PIRLS de 2021 avec des exemples de textes, de questions et d’analyse, et un commentaire assez positif malgré les résultats qui placent nos élèves français dans le peloton de queue. (*) Mais s’ils restent dans le bas du tableau, c’est peut-être aussi parce que les évaluations nationales ne diffèrent guère des pratiques habituelles d’évaluation des enseignants et qu’elles continuent d’être en décalage complet avec les attendus des exigences internationales que mesure l’OCDE.
Qu’en est-il et que montrent justement les évaluations PIRLS ?
L’étude PIRLS (Progress in Reading Literacy Study) a pour objectif d’évaluer le niveau de compréhension en lecture des élèves du grade 4 (CM1) de l’enseignement fondamental. Cette enquête n’évalue pas uniquement leurs compétences à un moment de leur scolarité, elle recueille également une multitude d’informations auprès des élèves, des enseignants, des directeurs d’écoles et des parents.
Elle se déroule tous les 5 ans et concernait en 2021 : 57 pays et 400000 élèves, en France 5340 élèves dans 184 écoles.
L’objet d’étude, la littératie, est défini comme suit dans le cadre de référence de l’enquête PIRLS 2021 : «La capacité de comprendre et d’utiliser les formes écrites du langage requises par la société ou valorisées par l’individu. Les lecteurs peuvent construire du sens au départ d’une diversité de textes. Ils lisent pour apprendre, pour prendre part à une communauté de lecteurs à l’école et dans leur vie quotidienne, et pour le plaisir. »
On trouve des textes dont l’intention est de divertir, ce sont des récits complets accompagnés d’illustrations. et des textes documentaires qui traitent des aspects du monde réel et couvrent une variété de sujets qu’ils cherchent à décrire ou à expliquer.
Quatre processus de compréhension sont évalués : niveau bas : les élèves sont capables de localiser et de repérer des informations issues de différentes parties du texte (22% des élèves français mais 6% sous ce niveau) ; niveau intermédiaire : les élèves sont capables d’effectuer des inférences directes en reliant deux ou plusieurs informations proches du texte (40% des élèves) ; niveau élevé : les élèves sont capables d’effectuer des inférences et des interprétations et de justifier leur réponse en se référant au texte (27% des élèves) ; niveau avancé : les élèves sont capables d’intégrer ou d’interpréter des éléments disséminés dans un texte afin d’analyser une information ou de justifier une préférence (5%).
Mais au-delà de la moyenne de l’ordre de 500 points, les résultats montrent une différence de plus de 80 points entre les 25% des élèves de milieu favorisé et les 25% des élèves de milieu défavorisé, et une différence de 60 points entre les élèves à l’heure et ceux qui sont en retard.
Et ce n’est pas faute de consacrer du temps à l’enseignement du français ou à des activités de français puisqu’on en compte 9h par semaine chez nous contre 5h dans la moyenne des pays de l’OCDE
Que sont les évaluations TIMSS ? (trends in International Mathematics and Science Study)
TIMSS évalue les compétences des élèves de CM1 et de 4ème de collège en mathématiques et en sciences.
Pour les CM1, l’évaluation a concerné en 2023, 57 pays et en France plus de 4700 élèves. Pour ce qui est des mathématiques et des sciences, nos élèves avec des scores respectifs de 484 et 488 se situent à 40 et 30 points en-dessous des moyennes des pays de l’Union européenne. Avec des différences particulièrement fortes entre les élèves de classes favorisées et ceux des classes défavorisées (80 points environ), la France reste la championne des inégalités sociales.
Trois processus cognitifs sont évalués : connaître, appliquer et raisonner, dans trois domaines de contenu, en mathématiques (Nombres, Mesures et géométrie, Données) ; en sciences (Sciences de la vie, Sciences physiques, Sciences de la Terre)
4 niveaux de compétences sont déterminés en mathématiques :
Niveau rudimentaire : Répertoire de concepts et de procédures mathématiques de base dans des contextes dépouillés : opérations simples – comparaison de fractions … (30% des élèves français et 15% qui ne sont pas à ce niveau)
Niveau intermédiaire : Compréhension fine des concepts et procédures de base dans des contextes de vie courante – Résolution de problèmes à une étape (36% des élèves)
Niveau élevé : Répertoire étendu de concepts et procédures et utilisation dans des contextes variés – résolution de problèmes à plusieurs étapes (17%)
Niveau avancé : Mise en relation de concepts et procédures du répertoire étendu – Sélection, mise en relation d’informations et prise de recul sur la démarche (3%)
4 niveaux de compétences sont déterminés en sciences :
Niveau rudimentaire : Compréhension de quelques faits scientifiques (30% des élèves français mais 15% n’atteignent pas ce niveau)
Niveau intermédiaire : Concepts scientifiques utilisables dans des situations concrètes (35% des élèves)
Niveau élevé : Connaissances en sciences physique, sciences de la vie et science de la Terre – Utilisation dans des situations assez abstraites – Quelques démarches de recherche scientifique (17% des élèves)
Niveau avancé : Connaissances en sciences physique, sciences de la vie et science de la Terre – Explication de phénomènes – Démarches plus larges de recherche scientifique (2% des élèves)
Qu’en est-il des évaluations PISA ?
Le Programme International pour le Suivi des Acquis des élèves évalue les connaissances et les compétences des élèves de 15 ans en mathématiques, en compréhension de l’écrit et en sciences. Les épreuves PISA comportent des questions à choix multiple ainsi que des items qui demandent aux élèves de formuler leurs propres réponses. Ils ont passé par ailleurs 35 minutes à répondre à un questionnaire sur eux-mêmes, leur milieu familial, leur établissement d’enseignement et leurs expériences concernant leur établissement et leur apprentissage. Et les chefs d’établissement ont rempli un questionnaire à propos de l’environnement d’apprentissage dans leur établissement.
Les attendus pour TIMSS et PISA ne sont pas les mêmes, en mathématiques par exemple :
- Pour TIMSS, il s’agit de voir, dans une classe d’âge donnée, quelles sont les compétences mathématiques des élèves en fonction de ce qui est enseigné et de ce qui est attendu.
- Alors que pour PISA, au moment où ils font les premiers choix d’orientations professionnelles dans la plupart des pays, il s’agit de comprendre dans quelle mesure les jeunes de 15 ans disposent des compétences mathématiques nécessaires pour s’insérer dans la vie active.
Que ce soit en compréhension de l’écrit, en mathématiques et en sciences, 6 niveaux de compétences sont déterminés et chaque question et exercice identifie clairement le niveau de compétence évalué. On trouve dans le volume « Cadre d’évaluation et d’analyse du cycle PISA 2012 » (**), non seulement les niveaux de compétence dans les 3 domaines d’évaluation, mais aussi plusieurs exemples d’exercices qui permettent de comprendre les exigences à ces différents niveaux. Si d’une évaluation à une autre, les situations ne sont pas les mêmes, les exigences restent constantes et valables pour l’ensemble des pays.
Ces évaluations interrogent aussi les politiques éducatives, les équipements, les rythmes et la formation
Question de la dépense d’éducation
La France dépense un peu plus que la moyenne des pays de l’OCDE, mais 6% et 11% de moins en maternelle et en élémentaire, et 29% de plus au lycée. A l’inverse, beaucoup de pays ont décidé d’investir massivement dans les premiers niveaux d’éducation. En France, il y a un manque de cohérence et un manque d’évaluation des politiques éducatives.
Question du développement des équipements numériques
Il ne faut pas croire que tout sera réglé avec les outils numériques. Les pays qui les utilisent beaucoup et qui ont de bons résultats sont les pays qui ont une longue utilisation des outils numériques, où les enseignants sont formés, où des recommandations sur les utilisations pédagogiques existent. Dans les pays nordiques, l’ordinateur est l’assistant de l’enseignant. Des élèves sont, par exemple, sur des tâches de répétition, tandis que l’enseignant se concentre sur des tâches plus difficiles avec d’autres pour différencier son apprentissage. L’ordinateur peut aussi développer la confiance des élèves qui se trouvent en situation de réussite et qui peuvent communiquer à d’autres le résultat de leurs recherches. Equiper les écoles suppose une formation des enseignants dans l’utilisation de ces outils, y compris dans la maintenance du matériel.
Question des programmes
L’approche, en France, est très disciplinaire. Dans de nombreux pays, les programmes sont élaborés à partir de grandes thématiques, les enjeux climatiques par exemple, et on greffe les disciplines sur ces thématiques, ce qui allège les programmes et facilite l’approche interdisciplinaire sachant que les élèves pourront toujours approfondir leurs connaissances.
La question des rythmes scolaires ne se pose pas non plus, elle surprend même les étrangers qui ne comprennent pas les polémiques que l’on trouve chez nous.
Si les comparaisons internationales montrent que les heures d’enseignement consacrées au français et aux mathématiques sont nettement supérieures à ce qui se pratique dans les pays de l’Union européenne, il est évident que les résultats ne sont pas à la hauteur de ce que l’on est en droit d’espérer.
Question du consensus
En Norvège, il y a eu des négociations qui ont duré une année entière entre le gouvernement, les enseignants, les parents d’élèves et les collectivités sur l’évaluation des élèves et des enseignants. Ces négociations ont abouti à un consensus sur lequel on n’est pas revenu depuis.
En Chine on met les meilleurs enseignants auprès des élèves les plus en difficulté.
Au Portugal dans les années 2000, les secteurs défavorisés ont bénéficié de mesures importantes dans le domaine de l’éducation et de la formation des enseignants, mais aussi des mesures sociales et d’habitat avec les acteurs locaux, ce qui a abouti à un consensus et a amélioré la qualité de vie et des enseignements.
En Estonie, la ministre de l’Education fixe les grandes lignes des programmes et elle laisse la liberté aux acteurs de les mettre en œuvre, se chargeant ensuite de vérifier si les objectifs attendus ont été atteints.
Globalement il est important, sous certaines réserves, de donner de l’autonomie, aux établissements, aux enseignants et aux acteurs de terrain. En France, on raisonne beaucoup en termes de concurrence alors que la coopération permettrait de communiquer et d’échanger sur les pratiques qui fonctionnent.
Conclusion :
Il en ressort de cette journée que les inspecteurs et leur syndicat en particulier ont un rôle important à jouer pour améliorer les résultats très décevants et très inégalitaires de nos élèves lors des évaluations internationales qui demeurent quoi qu’on en dise, un outil de comparaison et de suivi particulièrement fiable.
Nos intervenants spécialistes ont ainsi proposé quelques principes généraux à mettre en œuvre aux différents niveaux du système éducatif : développer l’interdisciplinarité au travers de programmes plus thématiques que disciplinaires – à partir des grandes orientations fixées par les autorités, créer un consensus à l’intérieur de la communauté éducative – améliorer la formation des enseignants – donner davantage d’autonomie aux établissements et aux enseignants et faciliter les échanges et la coopération.
L’ORTEJ dont la vocation concerne en priorité les rythmes et la qualité de vie des enfants et des jeunes, poursuivra ce travail de réflexion en invitant, avec l’aide du secrétariat général du SI.EN, des personnalités reconnues dans les comparaisons internationales.
* Conceicao P., Desclaux A., Lacroix A., 2023, “Pirls 2021 : la France stabilise ses résultats contrairement aux autres pays européens majoritairement en baisse”, Note d’Information, n° 23.21, DEPP. https://doi.org/10.48464/ni-23-21
(**) OCDE (2013), Cadre d’évaluation et d’analyse du cycle PISA 2012 : Compétences en mathématiques, en compréhension de l’écrit, en sciences, en résolution de problèmes et en matières financières, Éditions OCDE. http://dx.doi.org/10.1787/9789264190559-f