Que vaut notre système éducatif ?
Pourquoi est-il si difficile, en France, d’avoir une réponse à la question pourtant naturelle : que vaut notre système éducatif ?
S’il est une route couvertes de roses, celle de l’évaluation des politiques publiques d’éducation doit, elle, chercher sa voie au milieu de ronces, d'orties et de chardons, parfois se perdre dans les sables du désert et surtout se noyer dans l’hypocrisie générale. Quelles questions taboues lui font obstacles ?
Une histoire de l’évaluation relativement récente
S’inspirant de modèles étrangers (Suède, Grande-Bretagne, USA…), le Parlement français récemment élu s’apprête à prendre des mesures pour renforcer son efficacité en matière d’évaluation de politiques publiques. En particulier, il envisage de créer en son sein, en trois étapes, un « office d’évaluation des lois ». Ilmarquera cela en organisant en 2019 un « Printemps de l’évaluation ».
À n’en pas douter, à terme, cela impactera le secteur de l’éducation car rien ne dit qu’il en aille différemment pour lui que pour d'autres domaines de l’action publique comme, par exemple, la santé.
Dans notre pays, la politique publique d’éducation relève du gouvernement et du Parlement. Son évaluation également, avec pour le Parlement un appui éclairé de la Cour des comptes qui s'est nettement accentué depuis la réforme constitutionnelle de 2008 (article 24).
Somme toute, en France, l’histoire de l’évaluation des politiques publiques d’éducation, bien que relativement récente, connait déjà plusieurs étapes.
La Direction de l’évaluation, de la prospective et de la performance
Si l’on met à part les inspections générales qui, de tradition, ont longtemps fait plutôt de l’audit, le point de départ majeur remonte à René Monory lorsqu’il découvrit avec stupéfaction que le ministre ne disposait pas d’instrument pour le pilotage de son action. Pour y remédier, il créa en 1987 la Direction de l’évaluation et de la prospective (DEP), devenue plus tard la Direction de l’évaluation, de la prospective et de la performance (DEPP) sous l’influence de la culture de la LOLF, une loi longuement préparée, votée en 2001 et appliquée à partir de 2006[1].
Dirigée par des personnes de grand talent comme Jean-Pierre Boisivon, Claude Thélot, Jean-Richard Cytermann ou Catherine Moisan, cette direction est devenue un robuste outil largement reconnu, fournissant régulièrement au ministre et à son administration, aux pouvoirs publics, aux élus, aux médias, à la société civile, aux chercheurs et à tous les acteurs concernés, de solides données statistiques sur les sujets d’importance.
Que fallait-il de plus ?
À l’instar de nombreux pays développés, le nôtre avait à gagner de disposer d’une instance d’évaluation indépendante du politique (mais redoutée de tout ministre) et de la technostructure, pour éclairer la société dans son ensemble sur les questions scolaires, idée qui fit son chemin dans les années 1990. Une telle instance doit faire parler les données existantes, les analyser, les critiquer, mais aussi en chercher d’autres sur les points restés dans l’ombre des statistiques officielles. Elle peut aussi mettre en doute les méthodologies employées par les uns et par les autres pour leurs divers travaux.
Ainsi fut créé, par un décret en 2000, le premier Haut conseil de l’évaluation de l’école (HCEE), d’abord présidé par Claude Thélot, puis par Christian Forestier.
Alors qu'il avait rapidement et bien rempli sa mission (nous le verrons), le mal français allait le frapper ! Au fil des changements de majorité politique il sera, à deux reprises, remplacé par une autre instance en 2005, puis en 2013, suite au vote de deux lois.
Aujourd’hui, le Parlement, insatisfait, nous verrons pourquoi, repose la question de l’instance d’évaluation de politique publique d’éducation nécessaire pour la Nation.
Faisons un pas de côté
Pour prendre un peu de recul tout en restant en France, on peut regarder l’enseignement supérieur où des évolutions parallèles se sont faites, mais en lien avec les pratiques des grands pays développés.
Les universités françaises attendent des évaluations externes qu’elles leur permettent de se situer par rapport à leurs prestigieuses homologues étrangères, principalement en termes de recherche et de plus en plus d’accès des étudiants aux emplois hautement qualifiés. Elles articulent les évaluations externes internationales et nationales avec leurs autoévaluations et leurs démarches qualité, au moins pour celles, en nombre croissant, qui en pratiquent.
Les évaluations doivent aussi éclairer les pouvoirs publics et la Conférence des présidents d’universités pour leur permettre de faire de la prospective et arrêter des stratégies de développement collectif.
Lors de la négociation des contrats des universités, les évaluations doivent être crédibles aux yeux des puissants lobbies disciplinaires (médecine, droit…), ainsi que de la société civile, des médias, des conseils régionaux, du monde économique et des étudiants. Ces derniers font leurs choix d’établissements en croisant différents paramètres trouvés sur des sites, intégrant la facilité d’accès à des emplois (avec un vif intérêt pour l’international, l’innovation, le numérique, le monde de l’entreprise…) et surtout les niveaux de rémunération auxquels ils conduisent. Les métiers les plus attractifs aujourd’hui ne sont plus ceux qui l’étaient il y a quinze ans.
Pour l’enseignement supérieur, les deux récents Hauts conseils[2] qui se sont succédé ont renforcé leur réseau d’experts français et étrangers et surtout raffiné leur méthodologie (formalisée et publique), ainsi que leurs outils. Leur indépendance est patente et ils disposent d’un code de déontologie qu’ils respectent. La Conférence des présidents d’université exerce une grande vigilance sur ces sujets sensibles.
La situation de l’enseignement supérieur est particulière : en plus des écoles d’ingénieurs et des institutions de recherche, il n’existe qu’un petit nombre d’universités (75), autonomes et souvent puissantes. Rien de tel pour l’enseignement scolaire avec ses près de 60 000 micro unités que sont les écoles et les établissements secondaires. La comparaison s’arrête donc là.
Un patchwork d’évaluations dans l’enseignement scolaire
L’enseignement scolaire ne souffre pas du manque d’évaluations, mais de leurs liens à l’exécutif, ainsi que de la pesanteur des processus de décision de l’action publique, freinée par la rigidité de la lourde technostructure.
Les rapports des inspections générales répondent à une commande du ministre. Ils lui sont destinés et ne sont publiés qu’avec son autorisation. Cela explique que ces textes soient souvent compassés et peu percutants car leurs rédacteurs ne veulent pas courir le risque fréquent de les voir rester dans un placard, au moins jusqu’à l’arrivée d’un nouveau ministre qui se fait un plaisir de rendre publiques les études placardisées par son prédécesseur. Dans mon dernier livre[3], j’ai donné des chiffres sur quatre décennies.
Plus redoutable encore, l’autocensure fonctionne à plein régime, chaque ministre sachant comment l’entretenir, et cela marche parfaitement !
S’ajoutent aux rapports des inspections générales, les nombreuses productions de la DEPP. Elles sont publiques, mais leur ampleur[4] tient elle aussi à la volonté du ministre : rien de plus naturel puisque c’est une direction ministérielle…
De plus, leur technicité et l’abondance des données fournies les rendent lisibles des seuls spécialistes, difficilement des médias et encore moins de la société civile. Ce ne sont pas des outils de communication grand public, sauf pour quelques documents qui mettent en évidence des données nouvelles allant à parfois l’encontre d’idées reçues, ce que repèrent les journalistes friands de telles informations.
Observons encore une curiosité française : une direction, la DGESCO, fait ses propres évaluations ! Il est surprenant de voir un donneur d’ordres opérationnel évaluer lui-même les actions qu’il a décidées et mises en place, attitude typiquement bureaucratique et centralisatrice. Question d'éthique, ce serait inenvisageable dans la majorité des pays démocratiques.
Non seulement il manquait de la cohérence dans ce paysage bigarré, fait de bric et de broc, mais les analyses étayées faisaient défaut et surtout les nécessaires jugements de valeurs, essence de l’évaluation à proprement parler.
Évidemment, ce n’est pas à une direction ministérielle de le faire puisque, de classiques raisons déontologiques exigent de ne pas être juge et partie. Une direction ministérielle peut y contribuer, mais seulement à la demande expresse, transparente et bien cadrée des évaluateurs patentés.
Le premier Haut conseil à l’évaluation pour l’enseignement scolaire
Un changement d’importance s’est produit en 2000. Faut-il y voir une conséquence de la première publication des résultats de l’enquête internationale PISA qui arrivait alors ? Oui, sans doute. De timides et lentes évolutions culturelles allaient alors s’amorcer en France.
En moins de 20 ans, il y aura trois instances successives chargées officiellement de l’évaluation du système éducatif et déjà une nouvelle mouture pourrait s’annoncer ; nous saurons dans quelques semaines ce qu’il adviendra.
Ainsi, le Haut conseil d’évaluation de l’école (HCEE) créé en 2000 le fut à une époque où, sans disposer du moindre élément de preuve à l’appui, beaucoup de Français croyaient encore naïvement en un mythe. Ils répétaient à satiété que nous avions le meilleur système éducatif au monde et qu’il était attentivement observé par les autres pays rêvant de nous imiter.
Le choc allait être rude à l’annonce des résultats de la première enquête PISA ! Il nécessitera deux décennies pour être digéré. Et encore : l’est-il vraiment aujourd’hui ? La publication des enquêtes internationales, les unes après les autres[5], ajoute de nouvelles secousses… pas nécessairement suivies d’effets en France. Bureaucratie, quand tu nous tiens !
Pendant 5 ans, sujet après sujet, le HCEE allait présenter, commenter, analyser les résultats d’un système qui, jusque-là ne s’interrogeait pas sur son impact, ses résultats, ses forces et surtout sur ses faiblesses régulièrement mises sous le tapis ! Les questions étaient taboues et certains aujourd’hui encore voudraient qu’elles le demeurent. Leur technique est simple : ne pas répondre aux questions sensibles qui se posent et pour occuper le terrain, se préoccuper d’autres. Seule importait une vue idéologique de l’éducation, souvent encore présente et poussant au statu quo.
Après le remplacement en 2005 du HCEE, ses deux anciens présidents successifs, Claude Thélot et Christian Forestier publièrent en collaboration avec Jean-Claude Emin, en 2007, un livre[6], récapitulant ce que l’on savait alors de la valeur du système éducatif français. Pour piloter par les résultats, dans l’esprit de la LOLF, il faut d’abord les connaître. Dans leur ouvrage, les auteurs s’employèrent à livrer au grand public, aux acteurs et, bien sûr, à tous les décideurs, des résultats tangibles, finement analysés.
Le second Haut conseil à l’évaluation
À la suite de la loi Fillon en 2005, le Haut conseil de l’éducation (HCE) succéda au HCEE. Il travaillera jusqu’en 2013 (loi Peillon). La Cour des comptes, dans son récent rapport, évoque positivement ce qu’il fit alors.
Par des modalités différentes, mais dans un esprit proche du premier Haut conseil, cette quasi autorité administrative indépendante, prolongea les travaux[7] de son prédécesseur et mit à profit son indépendance pour éclairer chacun des segments du système éducatif (enseignement primaire, enseignement professionnel, collège…). Il voulait montrer, sans concession, en termes simples et précis, compréhensibles du grand public, ce que disent les résultats du système éducatif mesurés de différentes manières. Il s’employait aussi à faire connaître ses constats et ses analyses à la société civile, intéressée et souvent très surprise.
En 2013, son indépendance inhabituelle, notamment par rapport aux syndicats, provoqua, son remplacement par le Conseil national d’évaluation du système scolaire (CNESCO) qui fut inscrit dans la loi Peillon. Ainsi, par ses liens au ministre, à la technostructure et à ses diverses composantes, le législateur faisait entrer ce nouveau conseil dans un moule plus habituel.
Les avis de Comité parlementaire de suivi de la loi Peillon
De par son origine, le CNESCO figurait dans le champ des investigations du Comité parlementaire de suivi de la loi de Refondation, institué par la loi elle-même et dont les travaux d’évaluation étaient destinés au Parlement avant d’être rendus publics.
Le premier des rapports[8] de ce comité reconnut que le CNESCO menait de nombreuses activités, notamment en communication et animation (conférences de consensus), mais que celles-ci n’étaient pas inscrites dans la loi.
En revanche, les missions prévues par le législateur en termes d’évaluations de politiques publiques n’étaient que partiellement assurées, notamment celles concernant les méthodologies des divers évaluateurs.
Un an plus tard, ces appréciations furent précisées et confirmées par le second rapport du Comité, puis, récemment, par la Cour des comptes.
Dans le rapport d’activité du CNESCO en 2017, on trouve la liste des 12 chantiers qu’il envisage de mener dans les deux ans qui viennent. En les examinant un à un, chacun peut se demander combien d’entre eux relèvent d’évaluation de politique publique d’éducation.
Enfin, pour dire vrai, je n’arrive pas à distinguer ce que l’on sait de réellement nouveau en 2018 sur la valeur du système éducatif français par rapport aux travaux conduits par les deux précédents Hauts conseils. Les 16 évaluations résumées en deux pages et publiées par le CNESCO en cette fin de mois de juin ne font qu'illustrer mes propos et renforcer mon sentiment.
Une curieuse et inhabituelle auto proclamation de scientificité
Le rapport du CNESCO sur les inégalités sociales et migratoires illustre ses pratiques. Son opération de communication de grande envergure soulève de légitimes questions épistémologiques par le discours insistant sur la « scientificité » du travail accompli, brandie comme un fanion.
La présence de chercheurs, même de renommée internationale, ne garantit rien, à elle seule, en matière de scientificité, ni a fortiori la simple juxtaposition de leurs travaux.
La science exige des débats entre pairs, sur des travaux différents mais menés sur un même objet, à travers la mise en question des hypothèses, des méthodologies et des études conduites. Cette étape fut amorcée, empiriquement, indépendamment du CNESCO, il y a quelques mois, dans des médias grand public par Denis Meuret, Jean-Michel Blanquer (qui n’était pas encore ministre), François Dubet, Pierre Merle…
Se pose aussi la question de l’ensemble des travaux regroupés : peut-on « scientifiquement » fonder une compilation ? Pourquoi tel ou tel aspect n’est-il pas pris en compte ? N’existe-t-il pas des données d’une autre nature ? Sur quelle base les choix sont-ils faits ? Par qui ?
Étrange et plus délicat : l’ensemble présenté s’achève par des recommandations, parfois déjà connues et formulées ailleurs. On n’est donc pas dans le registre scientifique sans cesse évoqué. Qui propose ces recommandations ? Comment chacune s’articule-t-elle aux constats ? On le sait : sur la base de tels éléments, des groupes d’experts différents ne formuleraient pas les mêmes. Quelle est la légitimité de celles présentées ici ? Catherine Moisan le rappelait récemment : « les chercheurs sont là pour éclairer, pas pour prescrire ».
Enfin, plus curieux encore, ces recommandations n’avaient-elles pas déjà été citées, 3 ans avant, lors des groupes de travail préparatoire à la loi Peillon ?
Sciences et communication : la confusion
Les spécialistes en évaluation de politiques publiques ne se prévalent pas de scientificité (même si des associations internationales de chercheurs comme l'ADMEE-Europe organisent de riches colloques et que la Cour des comptes fait de très intéressants séminaires auxquels j’ai quelques fois plaisir à participer). Ils se préoccupent de rigueur : la méthodologie employée doit être préalablement présentée et chacun doit pouvoir s’assurer que celle utilisée est bien celle annoncée. Rien de tel pour le CNESCO dont la méthodologie est invisible et surtout qui n’a pas interrogé celles des autres instances d’évaluation, contrairement à ce que la loi attendait de lui.
À faire comme si sciences et communication pouvaient se mêler dans un même paradigme, crée de la confusion. Et pour dire vrai, est-ce le travail que le Parlement attendait ?
Quelle instance indépendante faudrait-il ?
Sauf souvent par le ministre en exercice, l’intérêt de l’existence d’une instance d’évaluation indépendante est assez largement partagé, mais par ceux qui, par idéologie, rejettent pour les questions d’éducation, toute idée d’évaluation de politique publique. Et il y en a, surtout chez les pédagogues français, allez savoir pourquoi ?
L’indépendance est un croisement subtil de deux paramètres différents : l’indépendance de la structure en tant que telle, et celle des personnes désignées en son sein et investies de la mission d’évaluation.
La structure est, ou pas, rattachée au ministre ; la différence est essentielle. Que ferait la Cour des comptes si elle était dépendante du Premier ministre ?
La structure est, ou pas, tributaire de différentes façons des services ministériels. Elle est, ou pas, autonome pour recruter ses experts, français et étrangers, et pour gérer librement un budget suffisant. Clairement, celui du CNESCO ne l'est pas compte tenu de l’ampleur des missions que la loi lui confère.
Pour renforcer sa force de frappe de façon conséquente on pourrait imaginer que le tiers (ou la moitié) des inspecteurs généraux soient, à tour de rôle, détachés pour trois ans en son sein. Ils lui apporteraient des forces vives, de l’expertise, et ils pourraient se former à l’évaluation de politique publique, ce qui, à leur retour dans leurs fonctions habituelles enrichirait le groupe des inspecteurs.
Les autorités administratives indépendantes comme le CSA, le HCERES ou la CNIL savent faire preuve d’indépendance lorsque cela leur semble nécessaire, pas seulement au niveau du verbe, ce que les médias ne manquent pas de noter.
Une telle structure n’est pas la seule solution envisageable. Et même, rien ne dit qu’elle soit pertinente pour l’enseignement scolaire en raison de ses spécificités.
D’autres pistes sont à explorer. Cette instance pourrait être liée soit à la Cour des comptes et présidée par un conseiller maître, soit à l’office d’évaluation en préparation au niveau du Parlement, et présidée par un parlementaire.
Certains évoquent l’idée d’une simple plateforme, en fait une agence qui passerait des commandes d’évaluations à différents centres d’experts dont le CNESCO, la DEPP, Sciences Po... puis évaluerait les productions fournies avant de les faire parvenir à qui de droit. Elle mériterait d'être présidée par un grand commis de l'Etat
L’indépendance de ses membres
Quelle que soit la formule retenue, l’indépendance des personnes nommées pour assurer les missions fixées par la loi est encore plus fondamentale.
Comment peuvent-elles disposer d’une réelle autonomie lorsqu’elles sont désignées par le ministre ou au nom de certains organismes qui vont s’ériger en lobbies et tenter, par ces intermédiaires, de peser sur les débats internes, même si, comme il se doit, ils ne sont pas publics.
Comment assurer une distance suffisante avec le ministre et son cabinet ? Quelles règles déontologiques fixer pour les relations entre le ministère et cette instance ? Un code éthique est nécessaire, comme il en existe pour plusieurs Hauts conseils d’évaluation.
Vue leur importance, les règles déontologiques devraient être fixées par le Parlement et inscirtes dans le marbre.
Après tout, qui désire que se fasse, en France, de l’évaluation de politique publique d’éducation ? Veut-on vraiment savoir ce que vaut le système éducatif français et en quel sens il évolue ? Selon une célèbre publicité, en matière d’évaluation, doit-on seulement se contenter de Canada dry ?
[1] Notons que l’un de ses deux rédacteurs, Didier Migaud, est depuis 2010 le Premier président de la Cour des comptes.
[2] L’agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) créée en 2006, et le Haut conseil de l’évaluation de la recherche et de l’enseignement supérieur (sous la forme d’une AAI), qui lui a succédé en 2014.
[3] Bouvier A. (2017) : Pour le management pédagogique : un socle indispensable Connaître – Éclairer – Évaluer – Agir, collection les Indispensables, Paris, Berger-Levrault.
[4] On trouve des données précises dans Bouvier A. (2017).
[5] Cf sur ce Blog notre billet consacré à ce sujet
[6] Que vaut l’enseignement en France ? Paris, Stock
[7] Ses rapports étaient destinés au Président de la République, transmis au Parlement et rendus publics.
[8] Approuvé, page à page, à l’unanimité de ses membres : 4 députés (dont le rapporteur de la loi), 4 sénateurs et 4 experts (je suis l'un d'eux).
