Verbatim 4/6 Albert Ogien_2° séance du séminaire

Albert Ogien (CEMS-IMM)

Politiques de l’évaluation : L’évaluation comme principe politique

Je vais partir d’une question : pourquoi ne refusons-nous pas de soumettre ce que nous faisons à évaluation ? J’imagine que cette question doit paraître absurde à une grande partie d’entre vous tant il est vrai que nous sommes habitués au fait que notre activité et celle des institutions dans lesquelles nous travaillons sont étroitement contrôlées, que ce soit directement – pour les carrières, les diplômes et les disciplines – ou indirectement – par la rumeur et la réputation.
Alors pourquoi tout ce bruit autour de l’évaluation ? En gros, parce que les formes anciennes du contrôle administratif ont fini par être jugées obsolètes : trop bureaucratiques pour les uns, trop sclérosées ou dominées par les syndicats pour d’autres ou totalement livrées aux jeux du clientélisme, des prébendes et des faveurs pour les derniers. Toutes sortes de raisons et toutes sortes d’intentions ont donc concouru à former un consensus sur la nécessité de se débarrasser de ces rouages rouillés de la vie académique et scientifique. Le problème est qu’à la question de savoir quel nouveau dispositif lui substituer, ce sont les gouvernants qui ont répondu les premiers, en imposant la technique qui convenait à leur projet : l’évaluation gestionnaire. C’est cette décision qui a bouleversé la donne.

Dans la tradition ancienne (administrativo-bureaucratique pour parler comme Weber), la vocation et les gardes fous de la réglementation et de la collégialité assuraient aux personnels de l’enseignement et de la recherche la confiance de leurs autorités de tutelle ; et celles-ci garantissaient leur liberté d’enseigner, de délivrer les diplômes et de chercher. Ce que l’introduction de l’évaluation révèle brutalement, c’est le fait que les conditions de cette confiance et de cette liberté ne sont plus ce qu’elles étaient (pour dire le moins)[1]. Cette révélation est aussi celle de l’érosion d’un principe : celui selon lequel les professionnels de service public sont habités par un ethos (ce mélange de dévouement au bien commun, de souci de l’égalité, d’impartialité et d’amour du métier). Mais le plus troublant, c’est que cette érosion est le fait de ceux qui devaient l’endiguer : les gouvernants, qui se font aujourd’hui une spécialité de distiller le mépris à l’égard des agents de l’Etat pour organiser la limitation de leur autonomie. C’est ce changement qui, à mes yeux tout au moins, détermine le ton qu’a pris le débat sur l’évaluation. D’autant que le dispositif mis en place pour contrôler l’activité et accréditer les compétences des professionnels semble n’avoir été choisi que pour résoudre un problème : réduire le plus rapidement et le moins coûteusement possible le nombre de fonctionnaires et supprimer, à plus ou moins long terme, le statut d’agent de service public. C’est en tout cas ce que je voudrais essayer de montrer ce soir.  Ma contribution aura toutefois un but plus précis : dissiper la confusion qu’engendre la pluralité des usages du mot évaluation[2].

La légitimité de l’évaluation gestionnaire tient au caractère censément objectif de la démarche qu’elle institue[3]. Et dans certains cas (médecins, enseignants, chercheurs, etc.), cette légitimité a été renforcée en confiant la définition des paramètres qui organisent la quantification à des membres des professions concernées. Mais le souci de fonder le jugement administratif en objectivité est une chose, le cadre dans lequel ce souci s’inscrit et s’exerce en est une autre. Et ce cadre est actuellement celui que fixe la stratégie de réforme de longue durée définie par le projet de “modernisation de l’Etat”. Cette stratégie se lit en partie dans les dispositions de la LOLF. Il faut peut-être dire quelques mots sur ces dispositions[4].

La LOLF est la “nouvelle constitution financière” de la France, dans laquelle le cadre de la dépense publique cesse d’être le ministère pour devenir la “mission”. L’Etat remplit aujourd’hui trente trois missions. Chaque mission regroupe de trois à cinq “programmes” (qui sont des politiques publiques) eux-mêmes divisés en “actions” pour lesquelles des objectifs quantifiés sont fixés dont le degré de réalisation est mesuré par des indicateurs de performance. Cette mise en chiffre intégrale de l’action publique s’accompagne d’une modification de la hiérarchie de pouvoir : chaque programme est dirigé par un Responsable de Programme (R.P.), qui doit rendre compte de son activité non pas au Ministre qui l’a nommé mais au Parlement. Celui-ci est en effet officiellement chargé d’examiner le Projet Annuel de Performance que les R.P. lui présentent et de valider le Rapport Annuel de Performance qu’ils lui remettent en fin d’exercice. C’est ainsi que la LOLF fait passer l’Etat d’une logique de moyens à une logique de résultats. Et c’est de cette manière que le principe d’efficacité (au sens financier du terme, c’est-à-dire réduit au contrôle de la performance) s’inscrit dans la routine des activités administratives.

La LOLF abat donc un ordre de catégorisation ancien (une architecture de pouvoir datant de 1958 et qui donne aux ministères et à leurs administrations centrales la capacité de dépenser les sommes allouées un peu à leur guise) et en instaure un nouveau (une architecture de pouvoir imposant une quantification détaillée de l’action de l’Etat et donnant un pouvoir élargi à des managers – les R.P. – qui appliquent la logique du résultat aux activités dont ils surveillent et maîtrisent la réalisation). Ce changement est conforté par la reconfiguration totale de l’appareil comptable de l’Etat : au système ancien se substitue une comptabilité analytique et patrimoniale, qui s’apparente à celle qui est en vigueur dans les entreprises, et qui introduit l’idée de rentabilité dans l’allocation budgétaire[5].

Pour être complet, il faut dire qu’un argument démocratique justifie la réduction de l’action publique à une bordée d’objectifs[6] permettant d’en mesurer la performance. Cet argument affirme que le dispositif nouveau est le seul à même de rendre l’action publique complètement transparente en donnant enfin au Parlement le moyen d’exercer une des missions que la Constitution lui confie : contrôler ce que fait le gouvernement.

En voila assez pour la LOLF. Passons maintenant à l’analyse de la confusion qui naît de l’usage du mot évaluation – que je m’excuse de présenter en dix points pour aller vite, mais qui résument plusieurs années de travaux empiriques sur la psychiatrie[7], la médecine, l’école, l’hôpital et l’université.

  1. L’ “évaluation” est un terme qui nomme des formes de jugement qu’on peut regrouper en trois genres. Le premier est professionnel (c’est le cas de tous ceux qui cherchent à savoir comment ils exercent leur métier pour réfléchir aux moyens d’améliorer leur travail) ; le second est démocratique (c’est le cas des citoyens qui constituent, par eux-mêmes ou avec l’aide d’experts, des dossiers au sujet de questions qui les concernent pour délibérer et peser sur les décisions qui engagent la collectivité ; c’est également le cas des parlementaires qui étudient les effets d’une disposition législative pour savoir s’il faut la reconduire ou pas ; ou même celui des gouvernants lorsqu’ils examinent des rapports d’experts et des données chiffrées avant de prendre une décision). Le troisième genre d’évaluation – le gestionnaire – participe d’une manière de gouverner nouvelle, fondée sur le contrôle de la performance par la mesure du résultat.
  2. L’évaluation gestionnaire  (dont le nom officiel est, depuis l’entrée en vigueur de la LOLF, “évaluation de la performance”) ne vise pas simplement à produire une information. Sa fonction est directement pratique : elle préfigure la réduction de la dépense budgétaire en indiquant la meilleure façon d’élaguer l’administration, de restructurer les services publics, de limiter l’exercice des droits sociaux et politiques des citoyens et de “déménager”[8] le territoire (fermeture d’institutions, recomposition des cartes administratives, reconcentration des pouvoirs).
  3. L’évaluation gestionnaire est étroitement imbriquée dans un dispositif de quantification (systèmes d’information administratifs et progiciels de gestion) dont la LOLF et la RGPP sont le fleuron et l’outil. Le fonctionnement de ce dispositif exige l’interopérabilité des systèmes d’information, c’est-à-dire un traitement intégré de trois types de données : celles relatives à l’activité accomplie (soin, justice, enseignement, etc.) ; celles relatives à son coût ; et celles relatives aux ressources humaines qu’elle mobilise[9]. Et lorsque cette interopérabilité est directement associée à la contrainte financière (ce que réalise la LOLF), elle permet de transformer l’action de l’Etat au principe d’efficacité (au sens financier du terme qui le réduit à l’impératif de performance)[10].
  4. L’évaluation gestionnaire est un instrument de mesure de l’efficacité de la dépense publique, pas de celle des missions d’intérêt général que cette dépense devrait garantir (éduquer, soigner, soutenir, réinsérer, etc.). Ces missions, ce sont les évaluations professionnelle et démocratique qui les appréhendent, en recourant à des critères de jugement qui envisagent l’efficacité en relation aux besoins des citoyens et aux exigences du bon exercice d’un métier (enseigner, chercher, juger, soigner), pas à partir de données budgétaires.
  5. L’opposition aux modalités de quantification de l’activité des professionnels de service public retenues aujourd’hui met en évidence un fait politique : les gouvernants ne sont pas prêts à renoncer au monopole de la définition légitime de l’efficacité qu’ils détiennent pour l’instant et qu’ils exercent en imposant l’évaluation gestionnaire.
  6. L’évaluation professionnelle (ou l’“évaluation collégiale” décrite par Dodier) entend se prononcer de façon rigoureuse sur la contribution que les individus apportent à la création, à la diffusion et à la validation des savoirs académiques. Et cette contribution est appréciée en considérant le collectif de travail et le système institutionnel à l’intérieur duquel enseignants et chercheurs inscrivent leur activité, pas à l’aide de critères mesurant le mérite individuel à l’aune de la rentabilité de l’activité effectuée ou la performance d’un établissement pour qu’il figure en bonne place dans les palmarès qui résument la compétition nationale ou internationale.
  7. En somme, ce n’est pas parce qu’elles répondent toutes trois à la même dénomination que les évaluations gestionnaire, professionnelle et démocratique se valent. Elles diffèrent totalement aux plans des critères de jugement qu’elles retiennent, des principes qu’elles promeuvent et des pratiques politiques qu’elles suscitent. On se trouve devant deux régimes d’évaluation qu’il conviendrait sans doute de nommer différemment si on veut éviter la confusion.
  8. L’évaluation gestionnaire sert deux objectifs. Le premier est d’ordre local : favoriser l’émergence d’une gestion prévisionnelle des emplois dans la fonction publique, dont la responsabilité échoit aux Présidents (d’institutions ou d’établissements) et qui est orchestrée par des Directeurs des Ressources Humaines formés à leurs méthodes spéciales.
  9. Le second objectif est d’ordre général. Dans la nouvelle manière de gouverner que consacre la LOLF, c’est par le truchement de la décomposition d’une activité en paramètres de quantification et de l’élaboration d’algorithmes de recomposition que la nature des tâches administratives et l’étendue des missions de l’Etat sont reconfigurées. C’est également de cette façon – c’est-à-dire au moyen de l’évaluation – que s’impose la redéfinition du travail d’une institution ou d’un établissement comme celle des modalités d’exercice d’un métier (celui d’enseignant, de professeur, de médecin, de policier, de chercheur ou de juge par exemple). C’est sur ce mode, technique et un peu clandestin, que se produit le changement à l’ère de la numérisation du politique dans laquelle nous entrons.
  10. Les transformations que permet la numérisation du politique procèdent moins de la violence symbolique d’une idéologie ou de la violence institutionnelle d’un pouvoir, que de ce qu’il faut bien nommer la violence arithmétique de la quantification. Et cette violence, que l’impératif d’efficacité justifie, est au principe de cet exercice autoritaire de la démocratie dont on commence à ressentir l’emprise.

Tels sont mes dix points. Ils permettent de conclure que le genre d’évaluation qui nous est imposé aujourd’hui porte des enjeux qui dépassent ceux de la seule transparence. Une partie de ces enjeux est liée à la différence de principes politiques sur lesquels reposent les évaluations professionnelle et démocratique et l’évaluation gestionnaire : alors que cette dernière vise le contrôle, requiert l’intégration des données de quantification et suscite l’autoritarisme, les deux premières sont autonomes (elles s’organisent à partir de règles définies par ceux qui les réalisent et à leur initiative), indépendantes (elles procèdent des professionnels et pas de leurs autorités de tutelle) et pluralistes (elles proposent une description qui n’a pas la prétention d’être la seule et accroissent l’espace des libertés en multipliant les modalités de mesure de l’activité).

Je peux maintenant revenir à la question que je posais d’entrée (pourquoi ne refusons-nous pas de soumettre ce que nous faisons à évaluation ?) pour en préciser les termes. C’est qu’il ne s’agit pas de refuser pour refuser. Ce qu’il y a derrière ce refus, c’est la défense résolue des principes qui fondent les évaluations professionnelle et démocratique (autonomie, indépendance, pluralisme) afin d’accuser l’écart qui les sépare de ceux qui informent l’évaluation gestionnaire (contrôle, intégration, autoritarisme). Ce qui fait finalement de ce refus une assez  bonne manière de lever la confusion qui embrouille l’usage du terme évaluation.

On peut finir sur une suggestion. Avec l’émergence de la manière de gouverner qu’institue la LOLF, la construction des systèmes d’information[11] et l’organisation de leur “interopérabilité”[12] sont devenues des sites importants du politique. Je crois que ce constat devrait obliger ceux qui veulent s’opposer à des réformes qu’ils jugent néfastes ou délétères à fonder leur contestation sur de nouvelles questions : à qui concède-t-on l’organisation de l’encadrement statistique de l’activité professionnelle, dans quelles conditions le fait-on, comment ménage-t-on la diversité des sources et de lieux de traitement de l’information recueillie, et comment s’assure-t-on de la réversibilité de ce dessaisissement de la description quantifiée de l’exercice du métier et de la mission des institutions ? Autrement dit, le changement de modèle de gouvernement oblige à rechercher constamment le moyen de réduire ou d’abolir le monopole de fait que les gouvernants détiennent aujourd’hui sur la définition de l’efficacité (donc sur celle du niveau de performance fixé par des objectifs quantifiés).

Une réponse minimaliste consisterait à dire qu’il faut travailler sans relâche à lever la confusion qui embrouille l’usage du terme évaluation. On peut pousser cette réponse un cran plus loin et proposer de débarrasser la langue politique de ce terme et d’en confiner l’usage à la langue comptable de l’administration. Il nous reviendrait alors de nommer autrement les évaluations professionnelle et démocratique. On pourrait, dans notre domaine, choisir le terme “jugement par les pairs” ou tout autre terme qui exclurait l’usage du mot évaluation (qu’il faudrait réserver aux modalités de mesure directement assujetties au contrôle et à la décision). Il existe peut être des réponses maximalistes. Je n’en connais malheureusement ni la nature ni la force ni la pertinence…


[1] C’est un peu ce que disait Boltanski la dernière fois dans ce séminaire.

[2] Cette confusion naît de cette situation paradoxale dans laquelle se retrouvent les enseignants, et les chercheurs (mais aussi les médecins, travailleurs sociaux ou juges) : admettre qu’on ne peut se soustraire à la demande de rendre compte de ce qu’on fait – qui est aussi celle de savoir comment est employé l’argent des contribuables ; mais trouver simultanément inacceptables les méthodes et les termes dans lesquels l’obligation de rendre compte est imposée.

[3] Même si on oublie souvent que cette objectivité est biaisée puisqu’elle est celle d’un calcul coûts-avantages.

[4] La très brève présentation de la LOLF proposée dans ces lignes est bien sûr idéale, car les choses se passent toujours un peu moins facilement qu’un projet ne le prévoit. Il faut négocier et aménager, tout en restant autant que possible dans le schéma (même si les aménagements changent tout comme on le sait, en introduisant des contradictions et des paradoxes qui ruinent la belle architecture). Cette présentation reste donc au niveau de la structure institutionnelle qui a été mise en place, c’est-à-dire qu’elle s’en tient aux textes de lois, aux directives qui en émanent et aux techniques mobilisées. L’analyse rend compte de ce que les gouvernants font lorsqu’ils décident ce qu’ils décident (même s’ils savent pertinemment – pour les plus lucides d’entre eux – que leur volonté se brisera immanquablement contre le mur de la réalité). Elle n’est en rien prescriptive : elle s’efforce de décrire comment s’organise l’activité de gouvernement à l’ère de la numérisation du politique. Et je crois que cette description contient en elle-même sa charge critique.

[5] La limite et la visée de cette substitution est explicitée dans cet extrait d’un rapport de la Commission des finances de l’Assemblée nationale : “Le texte même de la LOLF […] impose la tenue de trois comptabilités : une comptabilité budgétaire, une comptabilité d’exercice et une « comptabilité d’analyse des coûts » (CAC). La comptabilité budgétaire organisée en missions et programmes offre un premier niveau d’analyse des dépenses de l’État, qui constitue un progrès majeur par rapport à l’organisation en chapitres budgétaires qui prévalait avant la LOLF. La CAC permet chaque année au Parlement dans les PAP et les RAP de disposer d’une présentation plus fine que la comptabilité budgétaire en opérant la réaffectation de certaines dépenses (fonctions support, délégation de gestion) afin de les imputer sur la mission ou le programme principal porteur d’une politique publique à coût complet. Couramment pratiquée dans les entreprises commerciales, la comptabilité  analytique va au-delà de la comptabilité d’analyse des coûts en « exploitant les informations de la comptabilité d’exercice dans le but soit d’interpréter la gestion au cours d’une période révolue, soit de préparer pour l’avenir des décisions pertinentes ». Elle permet de suivre les dépenses organisées selon certains axes d’analyse préalablement définis, afin d’élaborer des tableaux de bord contenant des ratios de gestion (coût d’une fonction, coût d’un acte, coût d’un agent). Elle fournit au gestionnaire les données nécessaires au contrôle de gestion, autrement dénommé l’aide au pilotage par la performance. C’est par la comptabilité analytique que l’on établit un lien entre comptabilité d’enregistrement et le dispositif de performance (objectifs et indicateurs).” M. Bouvard, J. P. Brard, T. Carcenac et C. de Courson, Rapport d’information sur les systèmes d’information financière de l’Etat (n°1807), Paris, Assemblée nationale, juillet 2009.

[6] Il y en avait 1400 en 2006, près de 1200 aujourd’hui et les instructions d’E. Woerth (Ministre du Budget, des Comptes Publics et de la Fonction Publique) vise à les réduire encore plus : “J’ai demandé à la Mission d’Evaluation des Politiques Publiques d’examiner les indicateurs sous l’angle de leur fiabilité (qualité de la documentation, des systèmes d’information…) et de leur impact opérationnel sur la gestion des politiques publiques et des services. Ceux qui ne répondent pas à ces critères devront être supprimés ou modifiés. Les efforts de lisibilité des documents budgétaires et de priorisation des enjeux de performance doivent être approfondis : cet objectif doit conduire, dans un certain nombre de cas, à simplifier la maquette « objectifs/indicateurs », en réduisant leur nombre ou en rationalisant leur présentation […] Afin de faciliter l’appropriation de la démarche de performance, je crois nécessaire d’identifier une centaine d’indicateurs emblématiques de l’action de l’Etat, qui intéressent directement nos concitoyens, et dont le suivi relève de l’autorité publique. A cette fin, je vous demande de choisir quelques indicateurs de programme particulièrement illustratifs des politiques publiques de votre ministère et des priorités de votre action. Ces indicateurs (entre 2 et 4 par mission) seront présentés en introduction de chaque Mission ministérielle ou interministérielle.” In Lettre à Monsieur le Ministre d’Etat, Mesdames et Messieurs les Ministres et Secrétaires d’Etat,  Paris, 23 avril 2009.

[7] Ma première recherche sur ce thème date d’il y a près de vingt ans : Evaluer la complexité, Paris, M.I.R.E., 1990 (avec Maria Grazia Giannichedda).

[8] L’expression est reprise d’un éditorial d’E. Israelewicz dans Les Echos.

[9] Pour donner une idée de cette intégration, un court extrait de “littérature grise” suffit. Il est tiré d’un rapport d’audit portant sur l’école, affirmant que la LOLF “n’a pas eu encore d’effet structurant sur les systèmes d’information : le croisement entre les données de la sphère de la gestion et celles du champ pédagogique n’est pas actuellement réalisé. Les deux systèmes d’information sont encore cloisonnés ; ils obéissent chacun à leur propre logique. […]  Il ne peut y avoir deux systèmes d’évaluation, l’un pour les besoins de la gestion des moyens et l’autre pour les élèves et leurs maîtres. L’objectif de l’évaluation est de mesurer les résultats acquis par les élèves et de s’assurer que ces résultats ont été obtenus à un coût satisfaisant soit par rapport à d’autres méthodes qui auraient pu être utilisées (i.e : le redoublement) soit en valeur absolue par rapport à l’effort que la Nation accepte de consentir.” (Rapport sur “Le pilotage du système éducatif dans les académies à l’épreuve de la LOLF”, Paris, 2006, p.16 et 34)

[10] Parfois à l’insu des citoyens, de leurs représentants et des agents de service public. C’est ce qui se passe avec l’emboîtement en cascade des systèmes CHORUS, SIFAC et ceux qui traitent des carrières individuelles (comme SIRHUS au CNRS).

[11] C’est-à-dire la définition des paramètres et des algorithmes retenus dans la description statistique de l’activité professionnelle.

[12] Pour rappel, l’interopérabilité est une technique qui permet de structurer le croisement des données relatives à la performance de chaque politique publique, à ses coûts détaillés et à la productivité des agents qui les accomplissent de façon à encadrer l’autonomie professionnelle