Yves Matheron
MCF
EAM ADEF

Mes remerciements à Antoine Bodin, pour nos discussions et les documents fournis

Evaluations externe ou interne : une négociation

Questions préalables à toute interprétation d’une évaluation

Pour pouvoir être enseignés, les contenus mathématiques sont toujours soumis à un processus de transposition didactique. De ce fait, ce que l’on croit être des objets mathématiques communs et partagés, ainsi que les attentes institutionnelles qui leur sont adressées en termes d’apprentissage, diffèrent fortement. Prenons un seul exemple.

La réduction des matrices est ordinairement enseignée en France en licence de mathématiques (en L2) où ce savoir est déjà issu d’une transposition. À la fin des années 1990, la résolution des systèmes linéaires de 3 ou 4 équations à 3 ou 4 inconnues figurait aux programmes des Terminale S, ES et L (spécialité mathématiques). À la même époque, cette résolution était enseignée dans certaines classes américaines correspondant au niveau de la 4e. Pour la résolution de tels systèmes, la méthode la plus fréquemment enseignée dans les Terminales était celle du pivot de Gauss, tandis que dans « les 4e américaines » on montrait l’utilisation convenable des touches de la TI 83… Il s’agit dans les trois cas (L2, Terminale, « 4e américaine ») de ce que l’on pourrait désigner comme relevant de la compétence ou capacité consistant à résoudre un système de n équations à n inconnues. Chacun conviendra que les connaissances attendues diffèrent fortement d’un système éducatif à l’autre : quelle compétence évalue-t-on alors à travers un problème de résolution de tels systèmes, est-ce la compétence « résolution de problème » ? L’évaluation envisage-t-elle de porter sur la connaissance mathématique qui s’exprime au niveau des techniques à mettre en Å“uvre et, au-delà et surtout, des mathématiques qui les ont produites, ou encore – pourquoi pas ? – sur la capacité à rechercher une réponse dans divers médias (manuels, Internet…) ? Ou bien est-ce que les mathématiques importent peu du moment que la réponse convenable est fournie ?

La négociation sur le savoir attendu : une des fonctions de l’évaluation

Ce qui est toujours évalué est le degré de conformité des connaissances acquises par des personnes (les évalués) à ce qui est attendu par une institution donnée (celle représentée par les évaluateurs). Et cette dernière ne s’autorise pas d’elle-même. Quelle est la définition de ce rapport ? Quelles sont les instances qui l’établissent et… à l’issue de quelle négociation ? La fonction centrale de négociation portée par les évaluations est très souvent ignorée1. Portant toujours sur les enjeux de savoir, la négociation propre aux évaluations externes s’établit à un autre niveau que celui impliquant le professeur et les élèves dans une classe : elle se joue entre les instances en charge de l’évaluation et… « la société » ou une partie de celle-ci, et se révèle lors de dysfonctionnements. Souvenons-nous, par exemple, de l’épisode relatif au sujet de l’épreuve de mathématiques du baccalauréat S de 2003. Il constitue le prototype d’une négociation qu’aurait dû mener in abstentia les autorités en charge du sujet, parce qu’investies des attentes sociales sur ce que doit être un sujet de baccalauréat, mais pour laquelle une partie de la société s’est sentie flouée et l’a fait savoir. Revenant à PISA, Il est nécessaire de rechercher quelle est la définition du rapport attendu et comment il se négocie.

Mais on peut toujours éviter la question à partir de deux attitudes opposées. La première consiste à l’ignorer et à poursuivre un enseignement des mathématiques tel qu’on pense qu’il convient. La seconde, qui semble être prise au Nouveau Brunswick (Canada), consiste à entrainer les élèves aux items PISA ou à des items que l’on considère proches2.

Ce que PISA dit évaluer et ce qu’il n’évalue pas

Qu’évalue PISA ?

La réponse a été donnée à plusieurs reprises par les promoteurs de PISA eux-mêmes3. PISA évalue ce qui se nomme en anglais literacy, traduit en français par le mot « littératie », pour l’heure absent des dictionnaires. Quelques passages tirés de PISA, certains notés en italique, permettent de cerner ce que l’OCDE entend par literacy. « […] la définition du concept de “ littératie ” [qui] renvoie à la capacité des élèves de faire des extrapolations à partir de ce qu’ils ont appris pour appliquer des connaissances et des compétences dans des contextes originaux et d’analyser, de raisonner et de communiquer lorsqu’ils énoncent, résolvent et interprètent des problèmes dans des diverses situations » (p. 22). « […] la culture mathématique s’évalue à l’aune de la capacité des élèves à analyser, raisonner et communiquer lorsqu’ils énoncent, résolvent et interprètent des problèmes mathématiques […] » (p. 128).

La proximité que permet d’établir la comparaison de ces deux citations n’aura pas échappé au lecteur : un même cadre se spécifie selon les disciplines. Le présupposé sur lequel s’appuie PISA apparaît proche de celui ayant abouti à la mise en Å“uvre, dans divers pays, d’une « pédagogie des compétences » reposant sur l’existence de « transferts » d’apprentissages. On sait que le concept même de « compétence », sa traduction en acte dans les réformes éducatives, ainsi que l’existence de « transferts », sont loin de faire l’unanimité au sein de la communauté scientifique qui étudie l’enseignement et l’apprentissage4. Regardé sous ce seul angle, le but assigné à PISA par ses promoteurs, s’il concerne l’évaluation de compétences ou encore « de dispositions d’esprit »5, mérite d’être appréhendé avec prudence.

PISA souhaite évaluer les mathématiques à travers ce qu’il désigne par « vie réelle ». Si les mathématiques modélisent et permettent de répondre à certaines questions qui se posent « dans la vie », elles modélisent et répondent néanmoins aussi à des questions internes aux mathématiques. Les « applications pratiques », s’il en existe, ne peuvent être immédiatement enseignées aux élèves ou sont parfois devenues socialement désuètes. Peut-on axer la finalité des mathématiques à 15 ans sur la « vie réelle », au risque de compromettre l’acquisition d’un bagage pour des études plus approfondies dans cette discipline ?

Qu’évalue PISA des mathématiques du Collège ?

Le fichier PISA 2009 (op. cit.) indique qu’il s’agit de « concepts […] en rapport avec la quantité, l’espace, les probabilités et autres » (p. 128). Antoine Bodin a réalisé un travail de comparaison avec le programme de mathématiques du Collège6. De son étude de 2006 il ressortait que les questions PISA ne couvraient guère qu’environ 15 % du programme du Collège, mais représentent 75 % des questions PISA. 25 % des questions PISA portent donc sur des contenus mathématiques non enseignés dans le programme français, et environ 85 % des contenus mathématiques du programme français ne sont pas évalués par PISA. Nonobstant le fait qu’un grand nombre des items PISA ne sont pas libérés, une rapide enquête sur ceux d’entre eux qui nous sont accessibles m’a permis de préciser cela7.

La majorité des items hors programme sont trouvés dans la catégorie « incertitude » : ils portent sur l’équiprobabilité enseignée au Collège depuis le programme de 2008 entré en vigueur à la rentrée 2009, donc absent des connaissances des élèves testés par PISA.

En géométrie, est absent pratiquement tout ce qui concerne l’étude des configurations, des transformations, de la trigonométrie. Se dégageant des contenus, si tant est que cela puisse être, la partie que l’on pourrait penser renvoyer à la compétence « raisonner », évaluée par PISA, ne demande jamais aux élèves de fournir de « démonstrations » dans le sens où nous l’entendons. L’algèbre est, elle aussi, quasiment absente de l’évaluation PISA. Peu de calculs sur des opérations avec des nombres fractionnaires, aucun sur les relatifs ou les racines carrées, ni d’items sur le repérage sur la droite ou dans le plan. Dans la partie « Relations et variations », les fonctions sont données à l’aide de tableaux de valeurs ou de représentations, non par leurs expressions analytiques. Elles modélisent le plus souvent des processus non linéaires. Ceci exclut des tests PISA nombre des questions sur les fonctions linéaires et affines du programme de 3e : détermination de coefficients de fonctions affines, d’antécédents ou constructions de droites dans un repère. Enfin, les questions posées dans PISA et leur forme sont assez éloignées de celles généralement en vigueur dans une évaluation mathématiques. Environ 1/3 des questions PISA sont des QCM aux justifications rarement demandées.

Toutes ces remarques incitent à prendre la mesure du risque encouru lorsqu’on rapporte les résultats des élèves d’un pays à ceux obtenus par les élèves d’autres pays.

Que nous apprennent PISA et d’autres études ?

Ce qui ressort de PISA pour la France

Selon Antoine Bodin, les résultats PISA sont confirmés par les études TIMSS8, elles aussi d’inspiration anglo-saxonne.

Les principales informations tirées de l’observation des données quantitatives issues de PISA, de 2000 à 2009, sont connues. Dans le cadre des attentes relevant de la littératie :

• l’écart entre les meilleurs élèves français et les plus faibles s’est accru régulièrement depuis la première enquête PISA de 2000 ; les meilleurs ne sont pas les meilleurs du monde et leur niveau n’a pas progressé ;

• les résultats des élèves français sont plus fortement qu’ailleurs liés au niveau socio-économique de leurs parents : le système est très inégalitaire ;

• la France a rétrogradé du groupe des pays les plus performants dans l’enseignement des mathématiques au groupe des moyens ;

• les élèves français hésitent à se lancer dans des problèmes demandant d’extrapoler dans des contextes nouveaux à partir de leurs connaissances antérieures.

Des indicateurs convergents fournis par d’autres travaux

Le dernier des points précédents est à rapprocher de certains des résultats de l’analyse menée par Roger Establet et al. en 20059 à partir de l’enquête de 1998-1999 initiée par le ministère sur le rapport des lycéens aux disciplines enseignées. Ils perçoivent l’enseignement des mathématiques comme ennuyeux et formel, ne fournissant pas d’éclairage sur le monde. L’intérêt à leur accorder réside dans l’accès qu’elles offrent à des débouchés professionnels.

Le rapport Rocard de 2007 pour la Commission Européenne dresse pour l’enseignement scientifique en Europe un tableau que beaucoup des didacticiens qui observent l’enseignement des mathématiques partagent : un enseignement peu stimulant, formel, oublieux des questions génératrices des mathématiques, aux chapitres se succédant sans liens visibles, laissant peu de place à la recherche par les élèves, duquel le sens « Ã©chappe », etc.

Faire vivre les mathématiques comme réponses à des questions

En finir avec la banalité d’« activités » recopiées dans les manuels

Les professeurs, même s’ils s’en défendent, sont attachés aux manuels. L’explication avancée tient en ce qu’ils fourniraient une aide aux élèves pour une poursuite d’étude hors classe. La réalité est bien différente. Loin de proposer un exposé mathématique dont les élèves pourraient prendre connaissance, comme c’était le cas autrefois, la majeure partie d’un chapitre de manuel, papier ou en ligne, est consacré à des « activités » à « passer » dont l’objectif proclamé est de faire construire des mathématiques par les élèves ; fiction ne résistant pas à l’analyse. Reposant sur des questions enchaînées qui guident les élèves vers ce que l’on attend d’eux, ils ne peuvent le percevoir comme une réponse qu’ils auraient produite à une question dont ils se seraient emparés. L’observation de cahiers ou de séances en classe montre que, souvent, les « activités » de classe auxquelles sont confrontés élèves et collégiens sont celles des manuels du commerce, quelquefois modifiées à la marge. Les élèves sont actifs, mais cette activité est-elle mathématique quand son contenu est épistémologiquement et didactiquement si faible ?

Etudier les mathématiques en dévoluant l’instruction de questions

Pourtant, sans trop toucher aux programmes de l’école obligatoire – bien qu’il faille parfois les actualiser ou leur redonner de la cohérence –, ni à la finalité adressée à l’enseignement des mathématiques en France, il est possible de faire vivre par les élèves les mathématiques comme recherche et étude de réponses à des questions qui en valent la peine10. Cette option n’a rien à voir avec un exposé d’histoire des mathématiques, ni avec un constructivisme idéalisé mais impuissant à faire apprendre. Il s’agit plutôt de dévoluer aux élèves, et sous la direction du professeur, une question dont les éléments de réponses sont construits par le collectif de la classe. Ces réponses constituent des mathématiques recouvrant des parties du programme. Des questions telles que la recherche de distances entre points inaccessibles, de modélisations et de calculs sur des programmes de calcul, permettent par exemple d’engendrer au Collège des grandes parties des domaines « géométrie » et « nombres et calculs ». Il en existe aussi pour l’École primaire et pour les autres domaines mathématiques. Le but consiste à faire rencontrer en acte, et par la recherche de réponses à une grande question, des sous-questions auxquelles les élèves pourront le plus souvent apporter des réponses ; soit par eux-mêmes, soit, lorsque cela dépasse les ressources du collectif, en sollicitant leur professeur. Ce qui engage vers une autonomie de recherche et d’étude.

Mobiliser des forces, former la profession enseignante

S’engager dans ce type d’enseignement demande la mobilisation de forces qui dépassent les possibilités d’un professeur isolé. Il est nécessaire de concevoir, expérimenter, observer, valider ou retoucher des propositions originales d’enseignement reposant sur les analyses des mathématiques à enseigner et des formes didactiquement viables dans les classes. Cela demande du temps pour une mise au point à jamais inachevée car les relations humaines, comme le sont les relations didactiques, sont aussi pour une part indéterminées.

Ce type d’enseignement, qui est celui d’une direction par le professeur de l’étude des mathématiques par les élèves, n’est pas coutumier aux enseignants. Il nécessite une formation avant toute diffusion de ressources, afin de pouvoir les recevoir et les utiliser de manière appropriée. Les opérations de recherche et développement menées par l’IFÉ (CDAMPERES ou École St Charles de Marseille) associent donc la production des ressources à l’accompagnement et la formation des professeurs. Le développement de ces travaux, non négligeables dans leur forme actuelle, nécessite une volonté politique pour décider des forces à mobiliser et de leur orientation, ainsi qu’un changement profond de la formation des enseignants ; aussi bien du primaire que du secondaire.

Conclusion

En tout état de cause, et pour en revenir aux évaluations quelles qu’elles soient, on ne peut que souscrire au constat établi il y a plus de trente ans par Guy Brousseau : l’évaluation écrase les objectifs d’enseignement et d’apprentissage11. Une prudence minimale impose aux systèmes éducatifs de préserver leur originalité, tout en poursuivant un objectif d’amélioration par d’autre voies, certes complexes et exigeantes, mais tout en choisissant les orientations qui évitent… « l’écrasement ». L’enseignement, ses finalités en termes d’apprentissage et d’éducation, les programmes qui indiquent les chemins possibles pour les atteindre, devraient résister à la tentation de céder à une soumission aux évaluations, aussi respectables et rigoureuses soient-elles.