Michel Barthélémy : “Regards croisés sur l’évaluation dans l’enseignement supérieur et la recherche”- présentation 13° séance-240512

La dernière séance du séminaire « politiques des sciences » de l’année universitaire est consacrée au thème de l’évaluation dans l’enseignement supérieur et la recherche.

Lorsque nous avions programmé cette séance, nous ne savions évidemment pas qu’elle rencontrerait une actualité incarnée par la première Coordination nationale des établissements universitaires et scientifiques (CNESU-1) qui s’est tenue le 21 mai dernier[1]. En effet, l’un des points en discussion porte précisément sur la mise en cause du bien–fondé de l’évaluation quadriennale des enseignants-chercheurs décidée par le gouvernement précédent. Cette mesure est considérée comme une atteinte potentielle à la liberté académique et à l’autonomie professionnelle des universitaires. Ladite évaluation a été conçue comme un élément permettant la modulation de service des universitaires. Rappelons que cette dernière, laissée à l’entière discrétion du président d’université, lui donnait en principe toute latitude pour moduler le temps consacré par les enseignants-chercheurs à l’enseignement et notamment à la hausse pour ceux dont le résultat de l’évaluation aurait montré un engagement jugé insuffisant dans les activités de recherche. La logique qui prévaut à l’instauration de vases communicants entre activités d’enseignement et de recherche a été et demeure l’objet de nombreuses critiques. Dans certains cas, ce peut-être le principe de l’évaluation systématisée des personnes qui en est la cible, à travers la suspicion généralisée – de ne pas faire son travail ou de ne pas le faire correctement – qu’elle érigerait en règle. Ce qui aurait pour conséquence de déresponsabiliser les professionnels en mettant en cause leur capacité à s’autoréguler et à s’organiser localement et au quotidien selon des manières appropriées aux caractéristiques, besoins et fins des activités qui sont les leurs. C’est un point défendu par l’ouvrage collectif intitulé La folie Evaluation[2]  et dont le point 2 de l’Appel du 23 février[3] 2012 sur les réformes de l’enseignement supérieur et de la recherche du précédent quinquennat tire la conclusion en réclamant la suppression de la réforme instituée par le décret du 23 avril 2009, modifiant le décret statutaire.

Pour ce qui concerne le présent séminaire, et pour s’en tenir à cet exemple particulier, l’instauration de la modulation de service des universitaires sinon comme résultant nécessairement d’une évaluation censément objective mais du moins comme semblant être suffisamment justifiée par elle lorsqu’elle se produit, soulève plus largement l’attention sur la manière dont des dispositifs de contrôle sont utilisés pour servir d’appui à des mesures de sanction. Qu’elle soit dite positive ou négative, elle n’en affecte pas moins les conditions d’exercice de l’activité de membres d’une communauté professionnelle : une évaluation positive pouvant conduire à une décharge d’enseignement, une évaluation négative légitimer un accroissement de celle-ci.

La question de l’évaluation quantitative et celle du rapport entre évaluation et autonomie professionnelle seront abordées au cours des deux interventions de cette séance. La première examinera le dispositif duel d’évaluation des universitaires tel qu’il se met progressivement en place en Italie, tantôt qualitatif tantôt quantitatif, selon un critère disciplinaire – Sciences dures ou SHS – ou territorial – échelon local ou national. La seconde adoptera une perspective qui envisage l’évaluation non pas comme la simple transposition dans des domaines liés au service public (la recherche, l’enseignement, l’hôpital, etc…) de logiques managériales associées à l’idéologie néolibérale, mais comme la conséquence de la montée progressive dans nos sociétés d’une posture de méfiance à l’égard des experts et spécialistes de toutes sortes ; une attitude pouvant favoriser la mise en place de dispositifs de contrôle social susceptibles de porter atteinte à leur autonomie professionnelle en ignorant ce que leurs activités peuvent avoir de spécifique.

Il me reste à présenter nos invités. Massimo Vallerani, est médiéviste à l’université de Turin et actuellement invité par Simona Cerutti et Jacques Chiffoleau au Centre Interuniversitaire d’Histoire et d’Archéologie Médiévales de l’EHESS. Il interviendra sur le thème “Évaluation et financement de la recherche universitaire en Italie, entre critères quantitatifs et jugements arbitraires” – il a du reste publié récemment dans la revue L’indice des bilans critiques autour de la mise en place de l’évaluation dans les universités italiennes. Notre deuxième invité, Florent Champy, est sociologue des professions au Centre d’Etudes Sociologiques et Politiques Raymond Aron à l’EHESS. Outre la 2° édition de son manuel La Sociologie des professions, paru aux PUF en 2011, il a publié la même année chez le même éditeur un ouvrage intitulé Nouvelle théorie sociologique des professions et également un chapitre d’ouvrage : « Pourquoi il faut défendre l’autonomie professionnelle, et comment », in Mas Bertrand, Pierru Frédéric, Smolski Nicole et Torrielli Richard (ed.), L’hôpital en réanimation, Paris, Editions du Croquant, coll. « Savoir/agir », 2011, p. 259-268. Il traitera de la question de l’articulation entre “évaluation et autonomie professionnelle », en prêtant une attention particulière aux professions à forte teneur intellectuelle et à pratique prudentielle, selon ses termes, dont font notamment partie les métiers de l’enseignement supérieur et de la recherche.


[2] Alain Abelhauser, Roland Gori, Marie-Jean Sauret (sous la direction de), La folie Evaluation, Editions Mille et une nuits, 2011.

Massimo Vallerani: “Évaluation et financement de la recherche universitaire en Italie, entre critères quantitatifs et jugements arbitraires”-13° séance-240512

Je vous remercie pour cette invitation et je dois avouer avant tout mon incompétence sur le thème spécifique de l’évaluation, au moins sur le plan technique, des systèmes de mesure ou en général quantitatifs.

En revanche,  je connais bien les argumentations de nature politique si non idéologique qui sont tournées contre le système de l’évaluation en général et contre l’évaluation de la recherche en particulier. Je partage beaucoup de ces analyses critiques, qui sont très présentes en France, beaucoup plus qu’en Italie. Il suffit de rappeler les numéros thématiques de la revue Cités de 2009 coordonné par Yves–Claude Zarka, L’idéologie de l’évaluation. La grande imposture, 2009; des «Cahiers internationaux de sociologie» de 2010: Ce qu’évaluer voudrait dire, avec l’appel de Balandier contre la «connivence par inertie», qui se termine sur cette question cruciale : «consentez-vous à être évalué ?» qui reprend de près le titre du livre de Miller et Milner, Voulez vous être évalué ?, Paris, Grasset, 2005 ; suivi par Evaluer l’évaluation, par J.-C. Emin et J.-L . Villeneuve, Paris 2009. Et enfin les «Actes de la recherche en sciences sociale» de 2011 sur L’évaluation: contextes et pratiques.

En réalité cette dernière revue contient bien plus que la simple critique d’une vision toute idéologique de l’évaluation comme instrument de contrôle mis en place par les pouvoirs néo – libéraux sur les biens publics. Les deux chercheures qui ont réuni les études, Sandrine Garcia et Sabine Montagne, nous proposent un type d’analyse plus précis des relations qui soutiennent et mettent en jeu les différents systèmes d’évaluation : de plus, elles nous invitent à mesurer la réussite de ces systèmes en mesurant, à notre tour, les écarts entre le objectifs  fixés ex ante et les résultats ex post de l’application de ces systèmes de contrôle.

Je dois dire que j’ai surtout apprécié, dans cette approche, l’invitation à ne pas objectiver dans un bloc unique d’un côté le monde professionnel, et de l’autre l’Etat ou le Marché. On sait bien que le monde professionnel forme un monde extrêmement nébuleux. Par ailleurs, en Italie une partie importante du monde académique s’est très tôt associée à l’entreprise évaluative, en lui donnant une valeur sotériologique : c’est le moyen pour sauver l’université italienne, pour faire le partage ultime entre les soumis et les sauvés, entre les bons et les méchants.

Toutefois ma perspective se concentre plutôt sur les effets immédiats de l’évaluation sur les formes de production et de transmission des humanités au sens large : non seulement les matières littéraires ou historiques, mais aussi l’archéologie, la Philologie et l’histoire de l’art.

Ce que je m’efforcerai de faire c’est un premier bilan – toute à fait provisoire – de la mise en place des systèmes d’évaluation en Italie, à partir de leurs conséquences sur la qualité de la recherche, de la vie quotidienne des chercheurs et également sur la structuration des sciences humaines au sein des savoirs scientifiques.

 Je parle au pluriel parce qu’aujourd’hui il existe en Italie deux systèmes parallèles d’évaluation : un système interne aux universités, de type quantitatif ; et un système national d’évaluation de la recherche, plutôt qualitatif (au moins pour les sciences sociales).

Je voudrais donc vous présenter brièvement le fonctionnement des deux systèmes et leurs effets immédiats sur la recherche, ainsi que l’enjeu politique de cette coexistence forcée et pas du tout pacifique entre les deux systèmes.

Le système quantitatif

Le système quantitatif interne à l’université date désormais des années 2004-2005 : à Bologne il est encore plus ancien, il entre en fonction dès 2000-2001. La démarche est très simple : chaque année, les chercheurs de l’université doivent insérer dans une page internet, préformatée par l’université, toutes les publications parues au cours de l’année universitaire : à chaque type de publication est attribuée une valeur, une note ; les critères d’évaluation toutefois sont différents d’une université à l’autre. À Turin, par exemple, les notes sont : 3 points pour un livre ; 1 point pour les articles de revue ou pour ce que on appelle « chapitre de livre » ; 1 point pour les éditions critiques ; 0,5 pour les introductions, et la direction d’ouvrages ; 0,3 point pour les comptes rendus ; les traductions de livres ; les articles d’encyclopédies, etc.

Il n’y a pas encore de classification des revues pour le moment ; et il n’y a pas encore d’évaluation de la dimension des articles : c’est à dire qu’un article de trois pages vaut comme un article de 40 ; la direction d’un congrès régional comme celle d’une encyclopédie.

Si un livre, quelle que soit sa taille, vaut seulement 3 points, il est évident que pour obtenir plus de points il vaut mieux faire trois petits articles. Mais au contraire, si un livre déjà publié sort en nouvelle édition ou en traduction, il vaut encore comme « livre » : donc 3 points. Nous avons des collègues qui sont beaucoup « traduits » en langues étrangères – ou ont plusieurs éditions du même livre – et qui, de ce fait, atteignent des scores inédits.

Mais les paradoxes ne s’arrêtent pas là. Certains domaines de recherche se trouvent en ce moment presque totalement dépourvus de critères adéquats à l’évaluation de leur activité : les archéologues, par exemple, qui ne savent pas comment classer leurs rapports de fouilles ou les fiches techniques relatives aux objets répertoriés ; les philologues aussi, qui peinent à faire reconnaître la valeur d’une édition critique ; les historiens de l’art, qui travaillent beaucoup pour les expositions et les catalogues, qui prévoient des contributions à la fois trop courtes et trop nombreuses pour être classées comme articles.

La philosophie du système pousse même à une baisse générale de la production scientifique : la rédaction de livres, d’œuvres de recherche structurées est fortement découragée ; l’absence de distinction entre articles de recherche, articles de synthèse et actes de colloques, favorise l’uniformisation vers une taille réduite des essais ; le manque de spécifications pour les autres formes de production intellectuelle amène plusieurs chercheurs à inventer des ruses pour remédier à ces lacunes du système.

Ce système est le résultat d’un rapport de force entre les sciences dures et les sciences humaines au sein de l’université qui a vu les premières imposer leurs propres critères d’évaluation aux autres disciplines ; comme toutes les sciences humaines n’ont pas d’impact factor ni d’index de citations, on s’est accoutumé à évaluer les disciplines des sciences humaines (sauf la psychologie, mais en y incluant le droit) par un critère quantitatif très archaïque : le nombre d’articles.

La comparaison avec les données concernant les autres facultés est accablante pour nous : il y a des collègues médecins qui publient entre 100 et 200 articles par an, naturellement à plusieurs mains et avec l’aide évidente de collaborateurs, mais peu importe. Ils font « nombre »,  ou masse et la distance avec les facultés littéraires, en dépit de correctifs statistiques, devient à peu près sidérale.

Les distorsions de ce système, appliqué dans la plupart des universités de l’Italie du nord et du centre, – il va être appliqué, au moyen d’un même logiciel, à Turin, Milan, Bologne, Padoue et Venise – sont donc évidentes.

1. D’un  point de vue théorique, ce système hérite d’une culture de l’évaluation très ancienne, qui privilège la quantité brute. On l’a noté déjà beaucoup de fois et ça devient une critique classique de ce système. La notion de produit, mise à part son allure vaguement marchande, cache une idée à la fois stupide et dangereuse : que le nombre soit le meilleur indice pour mesurer la productivité des chercheurs. Mais il s’agit à l’évidence d’une quantité illusoire sinon d’une donnée statistiquement déformée, presque fausse.

En dépit de toutes les corrections apportées au catalogue, une différence substantielle subsiste entre produit et production : je peux avoir beaucoup de produits – c’est à dire beaucoup de choses à insérer dans le catalogue de la recherche – et avoir en même temps une production médiocre, sur le plan soit qualitatif soit quantitatif, par exemple 5 articles de 4 pages ; mais le résultat est le même : avec 5 articles de 4 pages je finis par apparaître plus productif qu’un collègue qui a écrit un livre de 500 pages ; en mesurant seulement la quantité brute de produits – et pas la production réelle – on encourage à terme la multiplication de travaux futiles, qui demandent peu de temps.

 Mais la question – il me semble – est aussi celle de la survivance d’une variété de formesde production du savoir scientifique, ainsi que de la possibilité de transmettre ce savoir par des instruments librement choisis par les chercheurs, dans un contexte culturel donné. Qui décide si une fiche de catalogue d’exposition vaut plus ou moins qu’une entrée encyclopédique ? et comment comparer – et surtout pourquoi le faire – un rapport de fouilles archéologiques avec une édition critique ? et en général comment mesurer la durée d’une recherche avec sa réalisation matérielle sous forme de publications ? toutes questions qui sont tranquillement ignorées par nos évaluateurs.

« L’évaluation cherche à obtenir la conformité de l’individu à un modèle » ; dans ce cas à un modèle productif mais qui se surimpose aux moyens de production autochtones de la discipline.  Enfin la nécessité de comparer et d’uniformiser pour compter nous pousse à renoncer à toute forme de communication non mesurable et non comparable.

3. Dernière conséquence, non négligeable pour la psychologie des organisations. C’est d’autant plus surprenant que les effets pratiques de cette évaluation sur la vie universitaire sont de plus en plus sensibles : le score qu’on reçoit à la fin de l’année – selon qu’on est classé A, B, C, D ou E, le dernier dégrée de l’humanité, le nul absolu – détermine l’allocation des financements, la possibilité de diriger des thèses de doctorats ou d’assumer des charges représentatives ou de direction au sein du département. Or, ce système a déjà provoqué une infantilisation souvent grotesque des professeurs universitaires. Marqués par ce système, quelquefois humiliés publiquement, beaucoup de mes collègues ont intériorisé un sens de faute personnelle qui les a poussés à démissionner du conseil de doctorat, des commissions de département etc.; de l’autre coté, beaucoup d’autres ont inventé toutes sortes de tromperies pour gonfler leur score : compter deux fois un même article, transformer en «livre» un guide touristique  ou un manuel d’enseignement ; insérer comme article scientifique des comptes rendus publiés dans des journaux, etc.

Je ne veux pas condamner tout cela sur un plan moral, mais mettre en lumière où en est arrivée la transformation des comportements individuels à cause de l’évaluation : humiliation extrême par intériorisation de la faute ; trucage explicite – sans honte – par envie de la réussite.

II. La mise en place d’un système d’évaluation national est beaucoup plus récente. C’est un décret du ministère de l’éducation et de la recherche du gouvernement Berlusconi qui institue, en 2010, une Agence nationale pour l’évaluation de la recherche universitaire.

Elle se compose de sept membres, choisis de façon discrétionnaire par le ministre. Il s’agit donc d’une nomination forcément politique, quoique les membres de l’agence se déclarent neutres et bien décidés à défendre leur autonomie. Tout le problème est là. Personne ne doute de leur autonomie. Au contraire on la redoute : les membres de l’Agence ont le pouvoir de choisir les évaluateurs pour toutes les disciplines scientifiques des universités italiennes – groupes d’évaluateurs experts (appelées GEV) – hors de tout contrôle, sans autre guide que leur connaissance ou disposition à accueillir l’avis des principales associations disciplinaires.

Il s’agit d’un processus très opaque, brumeux, qui signe un manque de légitimité très fort aux yeux de la communauté scientifique : les 14 présidents des GEV pour les 14 aires scientifiques,  sont devenus d’un jour à l’autre les juges de tous leurs collègues.  à leur tour, ils ont choisi, de la même façon arbitraire et sans critères visibles, les responsables de secteur : histoire médiévale, moderne, etc., philosophie morale, théorétique, etc. qui, à leur tour, vont choisir les « évaluateurs anonymes » à qui incombe la charge de lire et évaluer les publications des enseignants italiens : trois travaux choisis par les chercheurs eux-mêmes qui sont censés représenter la vitrine de leur production scientifique.

Le biais de l’Agence c’est en effet d’évaluer la qualité des travaux des chercheurs pour saisir la qualité des instituts de recherche et des universités en général : au moins pour cette première édition, l’Agence se bornera à évaluer les personnes comme partie d’un ensemble, et pas individuellement. Mais à partir des évaluations à venir, même les personnes auront un classement de mérite individuel, qui va déterminer leur salaire.

Si pour les sciences dures le critère d’évaluation est de type bibliométrique, pour les sciences de l’homme on a choisi le système du peer  review : une évaluation par les «pairs » qui semble désamorcer toute critique contre le jugement délégué au experts externes. Il est vrai que l’évaluation continue de se faire entre pairs, mais la totale opacité des choix des membres des GEV rend les choses peu simples. En outre, les critères d’évaluation restent si génériques qu’il est fort possible de n’en saisir aucun : dans les instructions données par le président du GEV 11 (Histoire et philosophie) on peut lire des perles de sagesse comme celle-ci :

«Les évaluateurs devront se distinguer par l’impartialité, la rigueur, l’équilibre, et le sentiment de leurs propres limites ».

Mais la fiche technique sur laquelle les évaluateurs devront finalement rédiger leurs notes, elle, n’est pas connue du grand public.

Le seul indicateur de valeur reste alors la classification des revues où sont publiés les travaux soumis à évaluation. Ici il faut ouvrir le triste chapitre de la classification des revues opérée par l’agence nationale. Sans tenir compte du fait que des classements de revues existent déjà, par exemple celui de l’université de Bologne, l’Anvur a donné au GEV la tâche de rédiger pour chaque secteur scientifique une liste de revues ordonnées en trois classes : A, B, C.

 Les évaluateurs ont chargé les associations de chaque discipline de choisir les revues à classer : mais seulement trois revues strictement disciplinaires pouvaient être en A, la classe supérieure ; sept parmi les revues intersectorielles ; les autres en B et toutes celles qui n’étaient pas mentionnées se retrouvaient automatiquement en C. La même chose se produit pour les revues étrangères, avec des résultats souvent ridicules.

Or le procès de sélection de revues sectorielles par les associations disciplinaires a été une des opérations les plus contestables de toute l’opération évaluative. A vrai dire, cette fois, la faute revient entièrement aux universitaires qui animent ces nouveaux centres de contrôle du pouvoir universitaire. En d’autres termes, les universitaires ne sont pas seulement des victimes. Au moins une partie d’entre eux a trouvé dans l’évaluation un moyen de s’affirmer au sein de sa propre discipline.

Dans plusieurs cas les mêmes personnes qui ont décidé du classement étaient membres de la rédaction sinon de la direction des revues classées. Les critères sont énoncés de façon générique et presque jamais respectés : pour les revues d’histoire médiévale par exemple, la présence des résumés en anglais et de peer review (comité de lecture) – qui est devenu le nouveau passe-partout des revues italiennes – considérés comme des critères nécessaires et incontournables, ne sont pas appliqués dans deux cas sur trois (Studi medievali et Bollettino dell’istituto storico italiano n’ont pas de comité de lecture). Il n’en va pas autrement pour l’histoire contemporaine où, au contraire, presque toutes les revues se vantaient d’avoir un comité de lecture qui devient donc un critère peu significatif. La sélection s’avère donc être uniquement un choix personnel des responsables.

Il est donc évident que la limitation du classement à trois revues de catégorie A, a créé une hiérarchie artificielle et tout à fait arbitraire parmi les revues ; mais surtout a créé de nouveaux centres de pouvoir de contrôle académique selon une hiérarchie interne qui ne reflète pas une réelle hiérarchie culturelle. Par exemple, les diverses sociétés d’historiens (médiévistes, modernistes, etc.) ont non seulement donné des évaluations très différentes de la même revue ; mais leur choix a encore distancié un peu plus, s’il était possible, le classement italien des autres classements internationaux. Très peu de revues sélectionnées par l’Anvur sont présentes dans le classement de l’Erih (European Reference Index for the Humanities), quelle que soit par ailleurs la valeur de ce classement à son tour très contesté.

Ce classement a quand même des effets pratiques très dangereux. Les comités de rédaction de ces revues couronnées de A deviennent soudain les grands justiciers de la recherche italienne : ce sont eux qui décident si un article va être publié ou non, qui décident quels évaluateurs vont être chargés de la lecture, etc.

La compétition ou l’émulation entre revues a déjà suscité des situations paradoxales : un auteur reçoit de quatre à six commentaires de chacun des membres de la rédaction, chacun s’exprimant comme un nouveau Marc Bloch sur des arguments qui leur sont évidemment peu familiers. Tombe enfin le jugement apparemment indiscutable de vrais évaluateurs « externes ».

Il est souvent difficile de saisir la limite entre des corrections ou des intégrations quelquefois utiles et opportunes sur le fond de l’article, et des remarques plus personnelles et gratuites. Il serait amusant de créer un site dédié aux corrections erronées, fausses ou absurdes qui proviennent de ces rédactions toutes-puissantes. Mais le spectre d’une censure idéologique existe quand même. Avec seulement trois revues classées A, les chercheurs devront faire en sorte d’être «bien vus» par le comité de rédaction, sous peine de voir leurs articles exclus de l’accès aux revues de catégorie A et d’être contraints de publier dans des revues plus généralistes.

En conclusion, examinons la charge de travail d’un chercheur moyen :

– pour l’université il lui faut produire le plus grand nombre d’articles, de n’importe quelle qualité : autrement, il va perdre son prestige et ses fonctions dans son université (l’argent n’entre pas en ligne de compte, eu égard à la modestie des émoluments d’un universitaire) ;

– en plus, tous les trois ans, il doit se préoccuper de rédiger des travaux un peu plus importants, mais en suivant un parcours prédéterminé : seules les revues de rang A donnent accès à une évaluation qualitative de haut niveau. Il faut faire la queue, s’arranger avec ses connaissances personnelles, et subir enfin – en silence – les reproches de ces rédactions de revues qui bénéficient d’un pouvoir culturel inédit et souvent immérité. Tout cela ne lui garantit pas de ne pas encourir les effets d’une contradiction qui découle du système d’évaluation duel lui-même : être classé de façon hétérogène, par l’université d’un côté et par l’Agence nationale de l’autre. Dans ce cas, s’il est bien classé par une institution et moins bien par l’autre, l’universitaire verra donc une diminution du financement que lui accorde son université, p.e., mais recevra un petit supplément de salaire par le ministère, ou l’inverse.

L’avenir nous réserve des surprises de plus en plus désagréables :

– les systèmes universitaires vont définir de façon plus précise leurs typologies de classement de publications, sans pourtant renoncer à leur critère quantitatif, en conflit évident avec l’Anvur.

– L’agence nationale, l’Anvur, forte de son succès initial, a déjà proposé de créer une banque de données à partir des revues italiennes pour appliquer aux sciences humaines et sociales le critère bibliométrique (avec la motivation subtile  selon laquelle : « chaque professeur écrit en ayant le désir d’être lu et donc..»). Tout cela dans un contexte de diminution drastique du financement public aux universités, qui doivent chercher des financements auprès du secteur privé, c’est à dire auprès des banques.

Or le privilège le plus grand qui puisse arriver à un professeur ou à un département universitaire c’est d’avoir une diminution de son financement qui soit inférieure à celle des autres. Le président du Politecnico de Turin, qui est réputée être l’université la plus performante d’Italie, a déclaré d’un air triomphant : « Nous sommes parmi le très petit nombre d’universités qui n’ont pas perdu de financement ». Or si la stupidité de cette déclaration est évidente (la prime c’est de ne pas perdre ce que l’on a déjà), aux oreilles des journaux italiens elle sonne comme une affirmation de légitime orgueil.

Pour obtenir ce résultat minimal – que l’on a réussi à faire passer pour un succès – on a mis en place les deux systèmes. Je suis sûr qu’un seul suffirait amplement pour parvenir au même résultat.

Florent Champy: “Evaluation et autonomie professionnelle”-13° séance-240512

Bonjour et merci de m’avoir invité. Je suis d’autant plus heureux d’être ici que mon parcours m’a amené à croiser la question de l’évaluation du travail intellectuel de plusieurs façons. Je suis sociologue de l’architecture et je me suis aperçu que, d’une certaine façon, la sociologie de l’architecture est en grande partie une sociologie de l’évaluation du travail de production architecturale. Je me suis intéressé à des groupes de travaux dans des écoles d’architecture, à la façon dont des enseignants critiquent les projets de leurs étudiants. Je me suis surtout beaucoup intéressé aux concours d’architecture. J’ai une deuxième casquette plus importante, qui est une casquette de sociologue des professions. Je me suis notamment beaucoup intéressé à l’histoire de la sociologie des professions et, à travers elle, aux regards successifs qui ont été portés sur les professions. Ces regards ont des influences fortes sur la façon dont on peut penser l’autonomie professionnelle et la question de l’évaluation. Ce sera le point de départ de mon exposé. Et puis il y a une troisième casquette, mais ça n’est pas depuis ce point de vue que je parlerai de façon principale, c’est que j’ai eu moi-même, à différentes étapes de ma carrière, une activité d’évaluation dans plusieurs instances différentes comme le comité consultatif de la recherche architecturale où j’ai représenté le CNRS pendant quatre ans, des jurys pour des concours d’ingénieurs, des commissions de spécialistes, une section du CNU, bien sûr des jurys de thèse, et enfin l’AERES où j’ai aussi exercé quelques responsabilités .

J’ai toujours eu à cœur de faire en sorte qu’il y ait une cohérence entre ces trois casquettes. Notamment, mon expérience de l’évaluation a alimenté mon travail sur les professions. En retour, j’ai accepté les positions que j’ai prises et les tâches que j’ai assumées dans des instances qui sont parfois contestées, à la condition que ce que j’y faisais puisse être en accord avec ma conception des professions ou de ce que je pense à propos de ce que l’on doit ou peut faire pour défendre l’autonomie professionnelle. J’essaierai de vous en dire aussi quelques mots.

Un point sur la sociologie des professions : du fonctionnalisme à l’interactionnisme

Je pars de la casquette sociologie des professions parce que c’est me semble-t-il la plus intéressante. En réfléchissant à l’histoire de la sociologie des professions, et plus spécifiquement à l’histoire des regards successifs sur les professions, j’ai tenté de prendre une certaine distance par rapport à notre situation, aux façons dont nous en parlons habituellement, et de réfléchir ainsi à notre situation actuelle.

En quelques mots, deux conceptions des professions se sont succédé dans l’histoire de la sociologie des professions. Chacune donne lieu à des déclinaisons plus ou moins hétérogènes. Il y a d’abord une conception fonctionnaliste qui domine des années 30 aux années 60 du siècle précédent. C’est avant tout une conception des professions savantes auxquelles les fonctionnalistes s’intéressent tout particulièrement, en reprenant en grande partie – cela leur a été reproché – le discours des professionnels sur leur activité, et avec comme objectif de rendre compte de l’autonomie qui a été conférée à certaines professions. Les sociologues fonctionnalistes développent une conception des professions qui permet de rendre compte du fait que médecins, avocats ou encore ingénieurs ont une autonomie plus importante que les membres d’autres activités, et notamment qu’ils ne peuvent être évalués que par leurs pairs. Cela a été un grand courant de la sociologie des professions qui a donné lieu à de nombreux travaux, mais qui est tombé dans un discrédit à peu près complet, d’ailleurs comme tout le fonctionnalisme. Un certain nombre de sociologues regroupés à Chicago à partir des années 50 ont développé une critique de cette sociologie fonctionnaliste dont je pense qu’elle est tout à fait définitive, au point qu’il n’est simplement plus concevable de revenir au fonctionnalisme. Ils ont substitué une autre approche des professions qui propose d’étudier de la même façon tous les types de métiers. Une des clés du changement de regard sur les professions est l’extension de l’objet pris en charge dans ce domaine de recherche, avec le choix d’étudier de la même façon par exemple les médecins et les plombiers. Il faut que l’on puisse poser à propos du travail des médecins les questions que l’on pose à propos du travail des plombiers, et cette assimilation produit un certain nombre d’effets sémantiques : sur les médecins, dont le travail est démythifié et où, à partir de là, les comportements intéressés peuvent apparaître, où l’incompétence de certains peut être rendue observable, etc.; sur les plombiers au contraire, les savoirs tacites sont mieux considérés, on s’aperçoit en fin de compte que c’est un travail ésotérique au même titre que la médecine ; et finalement sur la catégorie de profession elle-même, qui s’en trouve modifiée puisqu’est ainsi posée l’indistinction entre professions (au sens fonctionnaliste) et autres activités.

Ce changement de regard s’opère à Chicago à partir des années 50, domine la sphère anglo-américaine à partir de la fin des années 60, s’importe en France dans les années 80. Il faut signaler à cet égard que la sociologie fonctionnaliste des professions n’a pas eu le temps d’exister en France. La sociologie française des professions s’est directement construite à partir de cette approche interactionniste. Ce nouveau regard sur les professions produit des travaux très intéressants, c’est encore celui qui domine aujourd’hui, mais il pose un certain nombre de problèmes. Je me suis intéressé à ces problèmes analytiquement. Ce n’est pas ce qui vous intéresse le plus directement ici, mais certains d’entre eux méritent qu’on s’y arrête car ils ont des conséquences politiques : notamment une perte de vue de la spécificité de certaines activités. Il est devenu sociologiquement impensable que certaines activités aient un type de travail différent de celui d’autres activités. Le travail des plombiers serait ainsi un travail ésotérique au même titre que le travail des médecins. Il n’y aurait pas de différence, il n’y aurait de différences que dans les représentations sociales, nous disent les interactionnistes symboliques. C’est je pense une difficulté, ne serait-ce que parce que ce postulat nous empêche a priori de penser des objets différents. Mais une deuxième conséquence, beaucoup plus grave, est que si toutes les activités professionnelles ont un travail équivalent dans sa nature, eh bien alors il n’y a plus de justification possible à une autonomie supérieure de certaines activités par rapport à d’autres. Pourquoi vouloir, par exemple, si les plombiers ne sont pas autorégulés par un ordre, que les médecins le soient ? Pourquoi refuser que les entreprises puissent posséder des agences d’architectes, comme le droit l’interdit aujourd’hui pour éviter que des architectes n’aient des liens de subordination avec les entreprises avec lesquelles ils travaillent ? Si on accepte que les plombiers travaillent dans une entreprise dont le capital n’est pas détenu par des plombiers, pourquoi ne pas accepter que les architectes soient salariés de non-architectes et donc subordonnés dans un rapport salarial à ces non-architectes ?

Le courant interactionniste de sociologie des professions a produit, je le redis, une critique que je pense être définitive du fonctionnalisme, mais il nous a laissé une approche des professions qui nie les spécificités de certaines professions, qui nie donc les raisons que nous pourrions avoir de vouloir une autonomie pour certaines professions qui soit plus grande que pour d’autres, ainsi que des protections particulières pour les premières, et qui laisse ainsi les professions livrées à la pression des logiques managériales et des marchés, sans beaucoup de légitimité pour se défendre.

Une autonomie professionnelle différenciée : la notion de professions à pratique prudentielle

Or il se trouve que les sociologues français des professions travaillent encore très majoritairement sous les auspices de ce regard-là. Vous comprenez bien que si l’on adopte ce point de vue, alors le mouvement des chercheurs, ou encore les difficultés que rencontrent les médecins dans l’hôpital public, plus généralement ceux réunis dans l’ouvrage collectif l’Appel des appels, ne peuvent que se heurter à un mur[1]. Ce que je veux dire c’est que les luttes politiques nous interpellent, y compris scientifiquement, sur les limites du regard actuellement dominant sur les professions. Si on reste dans la perspective interactionniste, on ne peut pas penser la sortie de la situation actuelle où les professions sont vulnérables face aux offensives des marchés et du management notamment. Or je pense qu’il est urgent d’en sortir. Il se trouve que plusieurs membres du mouvement SLRU sont des sociologues des professions tout à fait éminents, qui prêchent l’interactionnisme sans beaucoup de distance critique à l’égard de ses conséquences politiques. J’aurais aimé avoir un débat avec eux pour mieux saisir comment ils mettent en accord leurs positions théoriques et leurs positions politiques.

Mais il ne suffit pas, pour en sortir, d’affirmer que nous sommes attachés à l’autonomie professionnelle. Si on regarde l’histoire de la sociologie des professions et l’histoire des mouvements professionnels, les interactionnistes, qui constituaient un mouvement politique de gauche, ou plus précisément un mouvement de pensée qui s’est construit en s’appuyant sur des mouvements sociaux critiques à l’égard des autorités en général, de l’État, de la science, des professions, voulaient notamment dénoncer le pouvoir excessif des médecins dans les hôpitaux. Cela renvoie par exemple à la figure du médecin en blouse blanche, qui considère son patient comme un organe ou un système d’organes, et qui veut tout décider pour lui. Des progrès juridiques, comme le consentement éclairé des malades, découlent de ces luttes, et constituent d’une certaine façon des « entraves » à l’exercice de l’autonomie professionnelle. Donc si on regarde cette histoire-là, et notamment celle de la médecine, du point de vue des mouvements qui ont critiqué l’autonomie professionnelle et inspiré les interactionnistes, la défense de l’autonomie professionnelle apparaît comme un mouvement beaucoup plus réactionnaire que progressiste. La critique de toute régulation et la revendication d’autonomie sans autre justification que l’idée que cette autonomie serait un bien en soi, sont des demandes de retour en arrière par rapport à ce qui a été considéré comme des progrès, y compris éventuellement au détriment des acteurs interagissant avec les professionnels, usagers ou interlocuteurs ne bénéficiant pas du même statut, pour ce qui concerne les professions de services. Les sociologues interactionnistes ont fortement insisté sur les mésusages de l’autonomie professionnelle et sur les bonnes raisons de limiter cette autonomie. Peut-on et veut-on aujourd’hui revenir en arrière par rapport à cette position progressiste ? Et sinon, comment sortir de l’aporie à laquelle nous confronte le refus de revenir au fonctionnalisme ?

On voit qu’à partir de là, on est conduit à l’exigence de repenser entièrement ce qui concerne les professions, tant théoriquement que politiquement. D’abord, comment sort-on théoriquement de cette aporie ? Puis comment repenser les conditions politiques de l’autonomie des professions ? Et quelles conséquences pratiques en tirer pour les acteurs, et sur la question de l’évaluation notamment ?

Théoriquement, la définition fonctionnaliste des professions a été invalidée par la critique des interactionnistes. C’est la raison pour laquelle je ne vous l’ai pas détaillée. Mais cela ne veut pas dire que l’on ne peut pas distinguer différents types de professions. Ce n’est pas parce que cette définition-là n’était pas robuste, qu’on ne peut pas essayer de construire des idéaux-types différents de professions, qui permettent d’identifier des objets différents ayant une certaine consistance et auxquels s’appliquent, d’une part, des programmes de recherche différents et puis, d’autre part, et c’est ce qui vous intéresse directement ici, des conclusions politiques elles aussi différentes.

La notion de professions à pratique prudentielle

Je vais vous parler en deux mots d’un type de professions que j’ai mis au jour à partir du cas de l’architecture pour sortir de ces difficultés, et que j’ai appelé les « professions à pratique prudentielle ». Dans l’ouvrage que j’ai publié en 2011 intitulé Nouvelle théorie sociologique des professions, j’ai développé une théorie de ces professions à pratique prudentielle et des multiples conséquences sociales découlant de l’attention particulière accordée à la prudence dans le travail de leurs membres. J’emprunte le concept de prudence à Aristote. En deux mots, il désigne un mode de connaissance et d’action requis dans des situations où l’application mécanique directe et simple, soit de savoirs scientifiques soit de routines, serait inappropriée. Concrètement, il s’agit de situations ou de problèmes qui se caractérisent par leur haut degré de singularité et leur complexité. Le cas typique est représenté par la médecine. Deux personnes ne sont jamais semblables ; chaque malade est singulier. Cette singularité fait que, pour une pathologie donnée, un protocole de soins préétabli ne sera pas aussi efficace et n’aura pas les mêmes effets secondaires d’un patient à un autre, et donc une adaptation des traitements à la singularité des cas est requise. La complexité du corps humain apparaît dans le fait que l’on peut faire tous les examens imaginables et disponibles techniquement, on ne peut néanmoins jamais le décrire exhaustivement. Cette caractéristique du corps humain a pour conséquence que le professionnel travaille en situation d’irréductible incertitude et doit donc faire des paris dans son travail. La prudence est ce mode de connaissance et d’action requis quand des routines ou des savoirs scientifiques ne peuvent pas s’appliquer à des cas qui par leur singularité, leur complexité, risqueraient de mettre ces routines ou ces savoirs établis en défaut. C’est-à-dire que ce qui normalement marche peut toujours ne pas marcher, et, face à cette éventualité, la prudence se développe grâce à un travail approfondi d’analyse – on voit ici la proximité avec le concept courant de prudence -, grâce à des démarches consistant à essayer de ne rien faire d’irréversible tant que cela n’est pas indispensable, et enfin grâce à une délibération non seulement sur les moyens mais aussi sur les fins de l’activité. Ce dernier point mérite un éclaircissement. C’est la complexité du travail qui fait que l’on ne peut en général pas espérer atteindre toutes les fins de l’activité avec le même bonheur. Prenons un exemple. Pour une pathologie d’une certaine gravité, on peut difficilement maximiser les chances de guérison tout en minimisant les effets secondaires, le risque de séquelles des traitements, le risque d’accident grave lié au traitement, on pourrait même inclure le coût du traitement, etc., ce qui suppose une délibération sur un ensemble de critères de qualité du travail qu’il faut hiérarchiser au cas par cas.

À la question suivante : « pourquoi le travail de recherche est-il un travail prudentiel ? », ce qui précède permet de répondre simplement : « parce qu’il se réalise en situation d’incertitude ». Si l’on savait vers quoi on va en produisant de la recherche, ce ne serait plus de la recherche. C’est un travail qui suppose de faire des paris : un pari sur un sujet, un pari sur la façon de mener une enquête, un pari sur un protocole de recherche que l’on essaye de mettre en place, etc. C’est un travail qui suppose des arbitrages entre le rythme d’avancement, l’originalité visée, et éventuellement la robustesse finale. Jean-Michel Berthelot avait écrit un livre intitulé Les vertus de l’incertitude, où il justifiait parfois le peu de rigueur de la sociologie par le fait qu’elle était une discipline où l’innovation était particulièrement valorisée, expérimentant des schèmes, des concepts, etc. La sociologie serait un travail particulièrement vif de réflexion, qui supposerait parfois une moindre stabilisation des argumentations qu’ailleurs. C’est ce qu’il a appelé les « vertus de l’incertitude ». Peu importe cette thèse sur laquelle je ne suis pas certain de vouloir le suivre. Ce qu’il faut comprendre en tout cas, c’est que la recherche est une profession à pratique prudentielle. Je ne vois pas de raison d’avoir de doutes là-dessus.

En travaillant empiriquement sur les professions à pratique prudentielle, j’ai pu montrer un certain nombre de caractéristiques sociales, de conséquences de la dimension prudentielle du travail professionnel. Sans tout détailler ici, je vais vous dire quelques mots des conséquences en matière d’évaluations.

Evaluation et autonomie professionnelle

Mes travaux touchent à l’évaluation de deux façons : sur la nécessité face à laquelle nous sommes désormais de rendre des comptes, et sur l’intérêt que nous avons à ne pas nous y soustraire, d’une part, et sur les limites qu’il faut mettre au cadre dans lequel on le fait, c’est-à-dire aux exigences que nous pouvons et devons formuler quant aux modalités de l’évaluation, d’autre part. D’abord, ma conviction est que l’on ne peut pas se soustraire à certaines formes d’évaluation, y compris imposées de l’extérieur. Si l’on regarde à nouveau l’histoire des professions et de la sociologie des professions, on voit que ces dernières ne sont plus dans la situation de forte légitimité et d’autorité dans laquelle elles étaient dans les années 50 et 60. Notre problème n’est plus d’accepter ou de refuser un regard extérieur. Je pense que le refus serait anachronique, car il ferait l’impasse sur les conséquences des mouvements de contestation des autorités, qui n’ont pas épargné la recherche. Aucune profession ne réussit plus à se soustraire au regard de l’extérieur. On pourrait parler aussi de la situation des finances publiques d’ailleurs, qui nous fait obligation de rendre des comptes sur l’argent public que nous dépensons. En d’autres termes, je ne crois pas que nous avons une chance que notre activité continue à être financée si nous n’acceptons pas de rendre des comptes à d’autres qu’à la communauté scientifique elle-même sur son utilité sociale, y compris sous des formes que nous n’avons pas choisies. Le refus de cette évolution me semble risquer d’alimenter la critique du corporatisme des professions. Je pense que ces exigences-là sont des données de la situation. La question n’est plus de savoir si nous sommes d’accord ou non. C’est une première façon dont l’histoire de la sociologie des professions touche à la question de l’évaluation. La défense de l’autonomie professionnelle et la lutte contre certaines formes d’évaluation au nom du fait que ces formes d’évaluation remettent en question l’autonomie professionnelle, posent désormais beaucoup de problèmes ; l’un d’eux c’est que cette autonomie n’est plus dans l’air du temps, et que nous n’avons plus les arguments pour la fonder. Des sociologues, interactionnistes notamment, ont contribué à la critique des mésusages de l’autonomie professionnelle et nous devons maintenant intégrer les conséquences de cette critique dans nos propres argumentations. Il n’y a pas de raison de faire comme si cette critique n’existait pas et comme si elle n’avait pas eu une certaine portée et sans doute une certaine pertinence. Je ne crois pas qu’aujourd’hui on puisse dire que l’on revendique une autonomie dans la conduite de notre travail, sans accepter de rendre des comptes à l’extérieur. Mais il faut voir ce que veut dire rendre des comptes.

La question est donc maintenant de savoir dans quelle mesure nous pouvons peser sur la manière dont ce regard extérieur lui-même pèse sur nos professions. Accepterons-nous un contrôle direct, ou tenterons-nous de convaincre que les demandes extérieures de contrôles doivent être médiatisées par les évaluations conduites par les chercheurs eux-mêmes, notamment ? A partir de cette question, la deuxième façon dont le thème des professions touche à l’évaluation, c’est la question de la prudence. On ne peut plus revendiquer une autonomie sans limite simplement au nom des bienfaits de l’autonomie. Mais on peut encore se demander si les dispositifs d’évaluation sont compatibles avec le maintien de la dimension prudentielle de l’activité. Ce que décrivait Massimo Vallerani tout à l’heure, ce sont des systèmes qui, à travers l’évaluation, incitent pour le coup à un comportement non prudentiel : conduire des travaux prévisibles, dont on est certain qu’ils vont déboucher sur des publications, quitte à multiplier les petits articles plutôt qu’écrire un long article complexe. L’une des dimensions de la prudence est la prise en compte des singularités et de la complexité des situations. La prudence suppose donc du temps. Nos activités disparaissent si on veut toujours les réduire à l’application d’un prisme simple à des problèmes simples. Par conséquent je pense que la catégorie de professions à pratique prudentielle est une réponse non seulement aux problèmes théoriques posés par l’aporie de l’interactionnisme, dont nous avons parlé tout à l’heure, et qui consistent à dire qu’il n’y a pas de spécificité des professions, mais aussi à la question politique de la justification de l’autonomie professionnelle. En mettant en lumière l’inadaptation des routines, des cadres rigides imposés de l’extérieur, etc., l’idée de prudence permet en effet de justifier l’exigence que des délibérations que seuls les professionnels peuvent conduire soient à l’origine des grands choix concernant le travail professionnel, et des évaluations de ce dernier.

On peut donc saisir cette catégorie des professions à pratique prudentielle pour tenter de poser des garde-fous extrêmement forts contre tout ce qui effectivement constitue des entraves à la prudence dans le travail professionnel. Ma position est cependant que cela suppose d’accepter, en retour, de faire preuve de souplesse sur tout ce qui ne constitue pas des entraves à la prudence ou ne s’oppose pas manifestement à la conduite du travail de recherche. A partir de cette position, on pourrait considérer les dispositifs d’évaluation en détail, pour voir comment critiquer les plus dangereux, améliorer les autres, etc. Sur cette base, je pense par exemple pouvoir vous expliquer pourquoi je suis allé à l’AERES et pourquoi je n’ai jamais regretté d’y être allé. Cela ne veut pas dire qu’il faut à tout prix y aller, ni que cette instance n’est pas critiquable. Je ne suis pas venu la défendre car je connais très bien certains de ses défauts. Mais par rapport aux conditions que j’ai posées, même si elle n’est pas parfaite, je pense que l’on aurait tort de la diaboliser.

La question des indicateurs dans la formation du jugement prudentiel

Je voudrais dire maintenant quelques mots des indicateurs, en commençant par un commentaire sur ce qu’a dit Massimo Vallerani. Le peu de pertinence des indicateurs tient bien sûr au fait qu’ils donnent une image très pauvre de l’activité, que l’on ne peut saisir qu’en regardant le contexte dans lequel elle se déploie, les intentions qui la sous-tendent, les contingences auxquelles elle s’est heurtée, etc. Cela suppose une analyse fine du travail effectué et une délibération sur ce travail. Heureusement on n’en est pas encore arrivé en France au stade où vous en êtes en Italie, on n’en est pas à ce système absurde de comptage systématique que vous décrivez. Notamment, l’AERES ne fait pas ce type de travail que vous avez décrit. Qu’il y ait un tropisme pour lui faire faire ça, que certains aient ce type de modèle en tête ou raisonnent de cette façon-là, il n’y a aucun doute là-dessus. Mais fort heureusement, elle laisse une large place à la lecture, à la visite et aux échanges. Vous avez aussi parlé du rapport de force entre sciences humaines et sciences dures, je dirais que cela fait une raison de plus pour y aller parce que le rapport de force repose sur la présence. Je pense que l’on pouvait vraiment faire bouger cette institution de l’intérieur et il y avait vraiment des marges. Il y avait au moins à son origine une indétermination d’un certain nombre de choses. Je ne sais pas dans quelle mesure c’est encore vrai aujourd’hui.

Je voudrais également réagir à propos du critère du nombre dont vous avez dit qu’il serait très archaïque ; je pense au contraire que c’est un critère extrêmement moderne. C’est tout sauf archaïque d’invoquer le nombre comme critère d’objectivité. C’est même tellement important dans nos sociétés, que je ne suis pas convaincu par l’argument selon lequel les difficultés rencontrées viendraient du néolibéralisme. Je pense même que ce diagnostic peut empêcher de saisir les choses finement, et notamment de comprendre (c’est un enseignement de mon passage par diverses instances d’évaluation) pourquoi nous sommes tous portés, à un moment ou un autre, à invoquer la puissance d’objectivation du chiffre. La difficulté vient ainsi d’un certain nombre de forces dont sans doute le néolibéralisme, mais d’autres aussi, et l’une d’elles est la prégnance croissante de l’objectivité comme valeur extrêmement forte dans notre société. Je veux parler de l’attitude qui consiste à se rattacher à l’objectivité et qui fait le succès du nombre entendu comme facteur de l’objectivité, y compris quand ce nombre ne veut rien dire. Il y a un livre de Theodore Porter assez extraordinaire sur le sujet qui a été publié en 1995 à Princeton University Press, intitulé Trust in numbers, que j’ai utilisé pour ce travail, qui décrit ce type de phénomène : le fait que nous nous accrochons à des nombres y compris dans des situations où nous savons que ces nombres ne veulent rien dire. Un exemple typique est donné par les sondages électoraux. On sait qu’ils donnent une indication à trois points près, mais on se réjouit quand même d’apprendre que le candidat que l’on soutient a gagné un demi-point. On pourrait réfléchir à cette prégnance du nombre qui est présente partout. Et c’est pour cela que je dis que ce n’est pas l’effet du néolibéralisme, que ce n’est pas l’effet non plus de l’AERES. J’avais siégé dans des concours dans la deuxième moitié des années 90 et dans ces concours j’ai pu noter que des collègues enseignants-chercheurs ou chercheurs comptaient les publications. J’ai entendu dire : « oui, il a 11 articles mais elle en a 17 ! ». Et personne n’avait demandé de procéder ainsi pour l’évaluation. Ce sont les collègues qui l’ont choisi. Et moi comme les autres, tout en travaillant là-dessus, tout en critiquant en permanence le tropisme du chiffre dans mes travaux, (j’ai ajouté cinq pages sur la question de l’évaluation dans la réédition de mon manuel La sociologie des professions, pour critiquer justement ces formes d’évaluation quantitative), je les pratique aussi parfois. Pour avancer sur la question de l’évaluation, on pourrait tenter de réfléchir aux explications de ce type de tensions et de contradictions face auxquelles elle nous met.

Massimo Vallerani a présenté une critique des indicateurs centrée sur les effets pervers, et ceux qu’il donne sont suffisamment absurdes pour que cette critique soit bien sûr dévastatrice. Mais je pense qu’il faut à la fois en faire une critique plus radicale, dans le sens premier du mot, en se demandant pourquoi ces indicateurs posent problème « à la racine », et ne pas les refuser complètement, car le tropisme qui nous pousse à les utiliser nous dit quelque chose de leur utilité sociale. La critique radicale consiste d’abord à rappeler que notre travail n’est pas de publier des textes, mais de produire des connaissances. Or il se trouve qu’en traversant un certain nombre d’instances d’évaluation, j’ai constaté malheureusement très souvent la difficulté, non seulement des évaluateurs eux-mêmes mais aussi parfois des évalués, à présenter les choses en termes de connaissances créées. Typiquement, lorsqu’un comité de l’AERES, par exemple, rend visite à un laboratoire, c’est très facile pour lui de savoir combien les gens ont publié de textes. Sur ce plan-là, les membres du laboratoire sont complément coopératifs. Mais obtenir d’eux qu’ils fassent ressortir les 3, 4 connaissances fortes, les apports qui n’existeraient pas dans leur discipline sans leur activité des dernières années, c’est souvent plus difficile. Ce qui ne veut pas dire que ces apports n’existent pas, mais c’est bien plutôt que ne pas les mettre en avant est une pratique de l’évaluation qui est assez générale, de la part des évaluateurs mais aussi des évalués. L’indicateur est un refuge, une branche à laquelle on se raccroche pour esquiver la difficulté de l’exercice.

Ensuite, comme Massimo Vallerani l’a fait justement, et c’est extrêmement utile, il faut bien sûr identifier les effets pervers des indicateurs. Ce sont des incitations à une pratique qui n’est pas toujours le plus propice à la création de connaissances. Notamment la valorisation du productivisme peut être une entrave à la recherche de l’originalité, à ce qu’on appelle la « prise de risque », pour employer un terme usité plutôt en sciences dures ; elle peut être une incitation aussi à la malhonnêteté scientifique ; ou à se concentrer sur des problèmes simples, comme Massimo Vallerani l’a déjà dit. Mais je voudrais rappeler aussi que ces indicateurs, maniés avec prudence, comme de simples indications, peuvent avoir une utilité en permettant la comparaison. D’ailleurs j’ai trouvé que votre exposé ne reprenait pas tout à fait le contenu de votre titre, je trouvais que vous insistiez davantage sur les évaluations quantitatives et ses difficultés plutôt que sur les jugements arbitraires.

Massimo Vallerani : C’est parce que je prends le problème de l’arbitraire tout à fait à son émergence, ces réformes ont été mises en place il y a sept mois. Je ne sais pas comment les choses vont tourner et nous n’en connaissons évidemment pas les résultats aujourd’hui.

Florent Champy : D’accord mais ce que je voulais dire c’est que les indicateurs pris comme des indications sont parfois aussi très précieux. L’évaluation n’est pas si simple non plus sans ces indicateurs. Et le problème est de les utiliser à des fins de première comparaison, de les utiliser pour avoir une première image de l’activité et de ne pas s’en tenir là. Pour ça il faut avoir en tête au moins trois limites des indicateurs.

La première est de voir comment ils sont construits. Tous les indicateurs sont construits, et il y a une part d’arbitraire dans cette construction. Un ouvrage éclairant de Maya Beauvallet, intitulé les stratégies absurdes, comporte un chapitre sur l’évaluation de la recherche. Maya Beauvallet y montre, en prenant les travaux de trois chercheurs en sciences dures et en utilisant trois indicateurs de l’impact de leurs travaux, donc trois facteurs d’impact différents, la forte divergence de ces indicateurs. Cela lui permet de montrer que chacun de ces indicateurs est une construction assez fruste, inefficace même pour mesurer ce pour quoi il a précisément été élaboré. (Laissons de côté une autre critique, qui est qu’on peut déjà discuter de la pertinence et de la validité de ce qu’ils visent à mesurer.) Donc il faut déjà voir qu’ils sont construits et que leur construction nous confronte aux problèmes, bien connus en sciences sociales, de toute construction d’outils de pensée et d’action.

Ensuite le deuxième point consiste à voir que ces indicateurs n’épuiseront jamais la réalité de ce qu’il s’agit d’évaluer, même si on les multiplie. C’est-à-dire que les indicateurs donnent des indications, mais le travail d’évaluation se fait ensuite grâce à des jugements qui les dépassent. Les indicateurs sont certes utilisés dans la construction de ces jugements, mais ces derniers font entrer d’autres informations et considérations en ligne de compte. Contrairement à un verdict qui découlerait mécaniquement de la mise en œuvre d’indicateurs, ces jugements comportent une part irréductible de subjectivité qui a partie liée à la nature prudentielle de nos activités, c’est-à-dire à leur complexité, à l’irréductible singularité de chaque dossier à évaluer. Parce qu’il est impossible de réduire ce qu’il s’agit d’évaluer à des indicateurs, cette évaluation est elle aussi prudentielle, c’est-à-dire faite d’incertitudes, de paris, d’arbitrages entre des considérations contradictoires. Un enjeu majeur de l’évaluation est que nous nous dégagions de la tentation que nous pouvons avoir de nous raccrocher aux branches en apparence objectives des indicateurs, pour assumer à nouveau notre responsabilité de porter des jugements sur la pertinence du travail, sur son intérêt, sur sa portée, etc. Cela suppose de prendre le temps d’entrer vraiment dans le cœur des choses. Ce que j’ai entendu dans un certain nombre de lieux où j’ai assisté à des évaluations, non seulement en recherche mais aussi en architecture, c’est la récurrence des jugements lapidaires du type : « un travail remarquable », « un travail original », « un travail novateur », etc., sans que soit dit forcément sur quoi repose l’originalité ou la novation. On peut dire de façon péremptoire : « ce travail est extraordinaire » ou « c’est une innovation majeure », mais le cœur du travail devrait être de discuter de la réalité des innovations. Les évalués doivent avoir pour priorité de dire quelle novation représente leur travail, et les évaluateurs doivent s’en saisir et chercher à le comprendre. La difficulté de l’évaluation consiste à ne pas évacuer le jugement, malgré tout ce qu’il peut avoir d’inconfortable – car l’erreur est toujours possible -, et en même d’éviter les jugements lapidaires. Il faut se méfier aussi bien des indicateurs que des qualificatifs tels que ceux que je viens d’indiquer, pour laisser toute leur place au jugement et à la délibération.

Il convient enfin (c’est ma troisième critique des indicateurs) d’avoir en tête que tout indicateur a des effets pervers, notamment parce que tout indicateur produit des stratégies d’adaptation à cet indicateur. Au bout d’un certain temps à l’utiliser, on risque de ne plus mesurer que les efforts faits par les « agents » pour satisfaire à l’indicateur, plus que l’activité réelle. Il faut donc anticiper ses effets pervers, et essayer de regarder ce qui peut être la traduction de ce travail d’adaptation aussi bien dans la construction des indicateurs que dans leur usage.

Pour résumer les indicateurs peuvent être utilisés avec profit comme des indications dans un jugement, sous réserve que l’on ait toutes ces difficultés en tête et qu’un certain nombre de règles soient respectées. Ces règles, ce sont notamment celles du travail prudentiel. Il s’agit ainsi de fonder l’évaluation sur un travail préalable d’analyse de ce qu’il s’agit d’évaluer, de laisser les évalués exprimer le plus librement possible la logique de leurs choix et expliquer les difficultés qu’ils ont pu rencontrer, – justifiant ainsi que le mieux n’est pas nécessairement d’être bon sur tous les indicateurs -, ou encore de laisser un temps à la délibération, en s’assurant qu’elle est menée de manière collective.


[1] Voir Florent Champy, « Pourquoi il faut défendre l’autonomie professionnelle et comment », paru en 2011 dans un livre intitulé l’Hôpital en réanimation, édité par un chercheur en sciences politiques Frédéric Pierru, avec des membres d’un syndicat de médecins dans le cadre d’une lutte des médecins.

Débat : “L’évaluation dans l’enseignement supérieur et la recherche”-13° séance_240512

Robert Descimon : Je pense que la question de l’évaluation est une question éminemment politique. Florent Champy a montré que cela pouvait être une démarche qui s’inspirait de nos propres démarches scientifiques. Je partirai de deux postulats : je crois en l’égalité. Je crois par exemple que la voix du surdiplômé qui présidait le conseil de surveillance du journal Le Monde, également conseiller de M. Sarkozy, ne vaut pas plus que celle d’un travailleur manuel. Ce qui veut dire évidemment que la voix d’un grand professeur de médecine ne vaut pas plus que celle d’un aide-soignant dans la cité. Et l’hôpital est sans doute une cité aussi sur le plan politique. Et puis c’est une des conséquences de l’égalité dans le système républicain, c’était que l’on était considéré comme égaux. C’est-à-dire que le professeur d’université de première classe qui n’avait rien publié depuis 10 ans, qui avait d’ailleurs peut être fait quelque chose de génial auparavant- cela arrive même assez souvent -, était payé selon son échelon au même salaire que celui qui développait une activité de recherche, d’enseignement et d’administration qui satisfaisait tout le monde. Et ça ce sont des principes sur lesquels je suis personnellement peu disposé à revenir, je pense en particulier à ce qui se passe dans la fonction publique en France notamment, mais je pense que la fonction publique française avait quand même un caractère un petit peu schématique de modèle du fait de sa longue histoire. C’est le premier point.

Le second point, c’est toujours en tant que citoyen, surtout quand on est fonctionnaire, on consomme des crédits publics. Les crédits publics consacrés à la recherche ne sont pas d’une nature différente d’autres crédits publics et sont donc répartis et de fait évalués par des instances que nous considérons comme légitime dans une démocratie. Pour autant je ne reconnais aucune légitimité au ministre sur ce plan-là. Elle est pour moi concentrée dans la représentation nationale.

On a des systèmes qui sont ce que Massimo nous décrit. Un système dans lequel peut-être les relations interpersonnelles sont plus évidentes qu’elles ne l’étaient dans la France d’il y a une vingtaine d’années. Je crois que ça a changé. Je pense que l’État italien est un État qui a été extrêmement secoué depuis fort longtemps et qui a fait preuve d’une grande solidité, loin de moi l’idée de prétendre donner des leçons aux Italiens quant à leurs pratiques politiques. Ceci étant dit, Massimo nous a montré toutes les possibilités de prises d’intérêts et toute l’absurdité finalement ravageuse d’un système. Florent nous a montré quels étaient les moyens d’avancer sur le terrain d’une évaluation.

Je suis bien d’accord avec l’idée que l’évaluation est une demande sociale à laquelle nous devons répondre, et d’autre part que cette évaluation n’est pas forcément le lieu d’une prise d’intérêt fondamental. On passe son temps, depuis que l’université existe, à avoir des pratiques d’évaluation de diverses sortes. On a des commissions. A la différence des sociologues, les historiens ont toujours été très contents de la commission du CNRS, même au temps où c’était des gens politiquement très marqués à droite. Ils faisaient quand même alors un travail qui n’attirait pas beaucoup de critique radicale.

Pour conclure, ce que je souhaiterais c’est que des instances élues ou tirées au sort reprennent le contrôle de ces procédures. La démocratie corporative a été théorisée au XVIIe siècle. Elle est ce qu’elle est, mais n’empêche qu’il reste qu’un mathématicien est plus apte à juger que moi de la qualité d’une thèse de mathématiques évidemment. C’est quand même ce qui confère au jugement des pairs la qualité d’un jugement professionnel. Je crois qu’il serait important d’introduire une part de tirage au sort. Il y a toute une réflexion actuelle de la part des politistes, qui me semble sur certains points faire fausse route, sur le tirage au sort, mais je crois que dans les démocraties corporatives avec le caractère prudentiel que tu soulignais, Florent, c’est une garantie démocratique. Et ce, à l’inverse de la nomination ministérielle qui a été toujours pratiquée et qui me semble être une procédure essentiellement vicieuse même si elle ne se fait pas sur des critères politiques. Ce qui frappe dans le système italien c’est la concentration des pouvoirs entre sept personnes dont je présume qu’elles sont très savantes, mais comment accepter une charge aussi lourde sans avoir un ego déjà très inquiétant ?

Massimo Vallerani : Cette fonction rapporte 200 000 € par an pour le président

Robert Descimon : Ce que vous disiez me rappelle deux choses. D’une part la direction scientifique de Jacques Lautman. Il prétendait connaître tous les dossiers au CNRS en sciences sociales. Il prétendait régenter tout ça mais il n’avait pas beaucoup de pouvoir. Le passage aux concours en 1981, avec la rétribution des membres du jury, à mon avis a introduit une distorsion légère mais n’empêche sensible dans le fonctionnement du comité national de la recherche scientifique. Et il est très important que ces fonctions ne soient pas rétribuées.

Élie Haddad : Ce qui me paraît très frappant dans ce que tu dis Florent, c’est qu’à aucun moment n’apparaît dans ce que tu dis ce dont parle Massimo, c’est-à-dire le fait que derrière la mise en place de ces systèmes d’évaluation il y a la possibilité de se saisir des instances de pouvoir et donc que derrière cela il y a des jeux de pouvoir qui entrent en compte. Du coup la question de l’évaluation du jugement à mon avis se pose légèrement différemment que ce que tu dis parce que précisément elle n’est pas suffisante en tant que telle. On peut évidemment estimer que les gens qui vont aller dans ces structures seront parfaitement honnêtes, bien intentionnées et procéderont comme tu l’entends, mais peut-être que les jeux de pouvoir feront les choses autrement. Mais de ce fait la question de la structure se pose. Quelle est la structure évaluatrice, comment est-elle organisée ? Et cet aspect n’apparaissait pas dans ton exposé. C’est quelque chose d’absolument fondamental à prendre en compte.

Florent Champy : Vous m’interpellez sur l’AERES. En en parlant d’emblée, je prenais ce risque. Je tiens donc à rappeler que je ne prétends pas répondre à toutes les critiques qui lui sont adressées. Je vous ai dit que mon but n’est pas de défendre l’AERES qui a un gros défaut, son degré de bureaucratisation et sa lourdeur. C’est un défaut qu’elle partage avec beaucoup d’institutions. Mais sur la question que pose Elie Haddad, et qui concerne les usages de l’évaluation, il me semble que des évaluations du ministère de l’enseignement supérieur et de la recherche existaient avant que l’AERES n’existe. Les usages que l’on fait des évaluations actuelles peuvent être bons ou mauvais. Mais le système ancien permettait aussi des usages bons ou mauvais. Et il me semble, notamment avec la visite, que l’AERES a au moins le mérite, par rapport à ce système ancien, de se rapprocher d’un modèle d’évaluation prudentielle tel que j’ai tenté de le présenter.

La question de Robert Descimon porte plus généralement sur le fait de savoir si l’AERES a amélioré les choses ou au contraire les a dégradées. Pour être honnête, la question de la nomination m’a gêné aussi pour une raison toute simple, c’est que j’y ai été confronté et que je ne trouvais pas facile de nommer. J’ai essayé de le faire d’une façon qui me paraissait ne pas prêter trop le flanc à la critique, même si je pouvais faire des erreurs, et j’en ai fait sans doute dans des équilibres de composition de comités de visite, mais c’est vrai que ça me gênait. Donc cette question-là n’est pas entièrement résolue à mes yeux. Mais Robert le rappelait, le fait d’avoir affaire à des membres élus au sein des instances n’a pas non plus toujours été une garantie de bon fonctionnement de ces instances. Ce qui me semblait intéressant dans l’AERES au moins, c’était un certain nombre d’améliorations par rapport au système antérieur. La première c’est que la chaîne de nominations est transparente. Je me suis occupé exclusivement des unités de recherche. Je désignais le président, le président et moi composions ensemble le comité, et tous ces noms étaient publics. C’est un premier élément de transparence qui vient tempérer le problème, que je ne nie pas, de la nomination. J’ai d’ailleurs refusé de m’occuper des formations et diplômes parce que les évaluateurs sont anonymes et parce qu’il n’y a pas de visite sur place. Le deuxième élément de transparence, c’est que le rapport est public et que les évalués, c’est-à-dire aussi bien le directeur de l’unité que les tutelles de l’unité, peuvent y répondre, et que leurs réponses sont publiques aussi. Nous sommes identifiés quand nous faisons le travail d’évaluation, et notre travail est évalué en retour par les gens que nous avons évalués. C’est-à-dire que contrairement aux comptes rendus dans les revues, que Robert Descimon vient de prendre comme exemple de lieux de pratiques parfois douteuses, et où il y a en effet parfois des abus de pouvoir patents, on a ici un droit de réponse. J’ai été victime d’un compte rendu diffamatoire de mon manuel de sociologie des professions de la part d’un auteur qui était aussi un concurrent, qui a écrit des choses manifestement fausses dans Sociologie du travail, notamment en me présentant comme fonctionnaliste, et en me faisant dire des choses que je n’ai pas écrites, et quand j’ai rédigé une réponse, la revue, dont il est aussi le directeur, a refusé de la publier. On n’a pas de recours contre ça, enfin pas facilement. Je suis d’autant plus sensible au fait que les rapports AERES ont systématiquement une réponse. Et de ce point de vue c’est quand même assez important. Cela fait que les conflits d’intérêts peuvent être dénoncés ; les évaluations tendancieuses, les évaluations qui n’ont pas été rigoureuses, celles qui n’ont pas tenu compte du contenu du rapport etc., ont une réponse.

Le deuxième point sur lequel je crois qu’il y a un progrès par rapport à ce qui se faisait auparavant à la MSTP (La Mission Scientifique, Technique et Pédagogique), c’est la visite dans le laboratoire et la discussion autour du travail. Par exemple, lors de cette visite, le comité rencontre les doctorants à huis clos. C’est une innovation de l’AERES. Ces évaluations AERES sont donc des moyens de voir des choses sur la gouvernance et sur la façon de traiter les doctorants par exemple. Donc si on veut faire une critique des effets pervers du système, et de fait il y en a, si l’on veut aller au bout du processus de critique, il faut prendre en compte aussi les effets positifs. Et je vois comme une grande bouffée d’oxygène le fait que les doctorants puissent s’exprimer devant le comité. Certains doctorants ont appris grâce au comité de l’AERES qu’ils peuvent avoir un représentant au conseil de laboratoire ! La visite accompagne donc parfois la sortie, qui est déjà bien engagée par ailleurs, d’un système mandarinal. Sur la gouvernance, la direction du laboratoire n’est plus maîtresse de tout sur son territoire. Ainsi l’AERES produit me semble-t-il un certain nombre de progrès par rapport à la MSTP en matière d’évaluation collective. Et je rappelle qu’elle n’a pas d’activité d’évaluation individuelle.

Chantal Pacteau : Ce que vous venez d’évoquer au sujet des étudiants qui ne connaissent pas leurs droits au sein des unités de recherche dépend également du type de laboratoire. S’il y a une conscience syndicale, en principe les choses sont à peu près claires. J’ai été dans des laboratoires où il y avait une forte syndicalisation, mais une fois de plus j’ai l’impression que les choses varient énormément d’une discipline à l’autre, car j’ai l’exemple particulier d’une amie étrangère à qui on a demandé de participer à un comité de l’AERES. Elle y est allée. Elle en a démissionné parce que le président avait complètement réécrit le rapport et s’en était pris à une personne particulière qui était à un niveau international en compétition avec lui. Le président avait cette possibilité ! Et ensuite il y a le nom de la personne mise en cause qui traîne sur le Web et même si l’on fait une réponse à cette évaluation, dans cet univers aussi compétitif-je parle des sciences cognitives-, c’est une sacrée casserole à porter ensuite pour celui qui en est la victime. Pour ça c’est une autre espèce de mandarinat.

Fanny Jedlicki : Dans votre intervention M. Champy j’ai l’impression que les rapports sociaux et les rapports de pouvoir sont un peu ignorés, présentés en dehors de tout contexte, un peu sans finalité. Vous mentionnez la dimension politique qui est très forte. Or on voit bien avec l’intervention précédente portant sur la situation italienne que cette politique n’est pas simplement nationale, elle est internationale. Que fait-on du classement de Shanghai qui est une des pierres angulaires qui nous poussent vers les indicateurs, le h-index, le nombre de prix Nobel, etc., de la prégnance d’un certain modèle qui est le modèle anglo-américain ? J’essaie de m’intéresser à cette situation en m’informant sur ce qui se passe dans les pays nordiques. En Suède par exemple l’argent de l’enseignement supérieur et de la recherche est fourni directement et uniquement par les impôts. L’effort de R&D est de 4 % du PIB. En France on n’est même pas à 2,5. En Suède l’enseignement supérieur est gratuit.

Donc ces questions sur la demande sociale, sur une utilité sociale se discute. Quand se sont créées la recherche et l’université j’imagine que cela a été expliqué que c’était légitime, que cela servait à quelque chose. Or là encore il faut tenir compte du contexte des finances publiques, qui est lié à la baisse des crédits publics, à la réduction drastique des financements publics, en France à la LOLF (loi organique relative aux lois de finances) dont on voit qu’il y a des applications ailleurs, en Italie par exemple. Moi je pense que c’est juste un avant-goût de ce qui peut nous arriver. Fonctionnaire à vie, cela se discute : à France Telecom il n’y a plus de fonctionnaires. Ces questions de financement soulèvent la question de savoir qu’est-ce que l’on finance, pourquoi, pour qui, dans quels objectifs, pour quels types de recherche, quels types d’enseignement ? A partir de là, la question de la modulation de service est posée par le décret de 2009. Cela détermine bien évidemment nos conditions de travail et d’emploi et donc a des effets pervers en chaîne que l’on connaît, notamment à travers de nombreux travaux sur les risques sociaux en entreprise. Ce qui questionne le système d’évaluation des productions en tant qu’il a tendance à se transformer en système d’évaluation des producteurs, c’est-à-dire des personnes et à produire des effets catastrophiques dans un certain nombre d’organisations.

Birgit Müller : Je suis membre d’un laboratoire qui est en train de finaliser son rapport de cinq ans et se projette dans l’avenir. On vient de terminer, pour notre petit laboratoire d’anthropologie sociale, un rapport avec des annexes qui comportent 950 entrées pour 15 chercheurs sur une activité de cinq ans afin de satisfaire à la demande d’information de l’AERES sur nos activités. C’est une chose que l’on n’a jamais faite avant et j’espère qu’on ne la fera plus jamais1. Mais je me dis que ce n’est pas sûr parce que puisqu’on a fait ça une fois, on va nous le demander désormais tout le temps. On se pose la question de savoir ce que cela veut dire et de quoi nous rendons compte au juste. Je trouve cela extrêmement inquiétant et tout à fait le contraire de la liberté de recherche que l’on peut imaginer.

Fanny Jedlicki : Combien d’heures de travail est-ce que cela représente ?

Birgit Müller : Cela a demandé un énorme travail et a mobilisé tout le laboratoire. Et là je ne parle que du travail d’une seule équipe de 15 personnes de ce laboratoire. La directrice du laboratoire essaye de faire de son mieux. Mais je vois que cela va être parfait, que cela va être un modèle et je vois déjà que cela va se répéter. On peut le faire une fois, mais si ça devient une obligation tous les cinq ans, c’est une chose horrible.

Florent Champy : L’alourdissement bureaucratique de l’évaluation ce n’est pas que l’AERES, c’est tout le paysage de la recherche, l’AERES étant il est vrai un cas limite. Il se trouve que j’étais dans les groupes de réflexions à l’intérieur de cette agence. J’ai plutôt essayé de mettre un frein à cette orientation. Il est certain que les latitudes ne sont pas énormes. Je n’étais pas seul, mais j’aurais aimé qu’il y ait plus de gens qui y aillent avec des positions consistant à freiner cette tendance.

Birgit Müller : Le problème ce sont les possibilités liées aux nouvelles technologies évidemment, l’ordinateur, Internet, etc. C’est lié au fait que c’est possible de reconstituer toutes ces informations-là, chaque conférence donnée, etc. Puisque c’est possible, c’est demandé !

Florent Champy : Oui, bien sûr, mais ça ne suffit pas comme explication parce qu’on ne fait pas tout ce qui est possible. Il faut se demander pourquoi on le fait, quand même ! Il faut se demander pourquoi c’est demandé, il faut se demander aussi pourquoi les évalués parfois en rajoutent d’eux-mêmes. C’est sûr que l’AERES a un tropisme de bureaucratie qui ne lui est pas propre, mais qui atteint parfois chez elle des proportions qui peuvent être inquiétantes. Ceci dit ce n’est pas parce que c’est possible qu’on le fait, c’est aussi parce que les gens veulent que tout ce qu’ils ont fait soit reconnu. Dans un rapport d’évaluation il n’y a pas la nécessité de tout mettre. Si on a une belle découverte, il n’y a pas nécessité de mettre dans le rapport le détail sur toutes les conférences qu’on a faites à partir de là. C’est vraiment plaidable de vouloir être évalué sur l’essentiel : la découverte et le fait qu’elle a eu une certaine visibilité ! Il y aurait d’autres façons de faire que le rapport exhaustif, et c’est à la communauté de s’en saisir pour faire évoluer les façons de faire. Je ne cherche pas à retourner les responsabilités, mais à dire d’abord que la possibilité n’explique pas tout et ensuite que la tendance à l’évaluation quantitative un peu présente dans toutes les têtes et qu’il faut en prendre conscience pour lutter contre. Ce n’est pas pour dire que l’AERES n’a pas de responsabilité. Mais vraiment on arrive parfois avec un comité qui dit : « présentez-nous des belles découvertes, expliquez-nous ce que vous avez cherché à faire, ce que vous avez appris », etc. J’ai expliqué à des chercheurs, notamment des directeurs d’unités, qu’il fallait faire cela, et on se retrouve parfois au final avec un rapport d’activité où rien ne manque, où l’on a un comptage à l’unité près de toutes les conférences et de tous les colloques, ce qui se compte par milliers sur cinq ans quand on a 30 chercheurs et qu’ils en font 20 par an en moyenne, ce sont des chiffres absurdes qui nous sont donnés à l’unité près, mais où les grands apports de l’activité ne ressortent pas assez clairement ! Or ce n’est pas que l’institution qui pousse à cela ; elle ne l’impose pas ; c’est devenu un mode collectif de fonctionnement. Et l’institution, d’ailleurs, ce sont des collègues aussi, qui dans certains cas ont cette culture-là. Je suis resté plusieurs années sans publier, j’ai fait ensuite deux livres visant à dépasser les positions de l’interactionnisme et du fonctionnalisme, enfin je m’étais donné un travail un peu ambitieux à faire. J’ai fait mon rapport d’activité après la sortie du premier livre et avant celle du second et je l’ai conclu en disant que j’avais changé d’objet et que j’envisageais donc de repasser plusieurs années sans publier. On peut le dire et cela ne m’a pas empêché de passer directeur de recherche juste après. Je crois vraiment qu’il faut cesser de jouer la carte quantitative. On doit assumer notre travail et parler des résultats !

Robert Descimon : C’était la commission du CNRS et pas l’AERES

Florent Champy : Mais ce sont les mêmes collègues, bien sûr que si !

Robert Descimon : Oui puisque vous désignez des membres de la commission pour faire des comités de visite AERES

Florent Champy : Mais non, je n’ai pas vu de différences de cultures quand il y avait un représentant élu du CNU et des représentants du CoNRS dans les comités AERES. Il n’y avait pas de gens nommés par moi ou le président du comité de visite qui voulaient faire de l’évaluation quantitative à tout-va et des représentants des instances qui voulaient faire de l’évaluation qualitative, ce n’est pas vrai.

Robert Descimon : Les élus sont légitimes, c’est tout. Vous pouvez faire du bon travail par ailleurs.

Florent Champy : Oui on est illégitime mais il existe des travaux en sociologie des sciences qui montrent aussi que les élections conduisent à avoir un certain profil de gens

Robert Descimon : Oui cela a conduit à avoir Sarkozy. C’est un vrai problème. Mais néanmoins ce sont les citoyens qui l’ont élu.

Florent Champy : Sarkozy a été largement élu par l’ensemble du corps électoral, il a nommé un premier ministre, il a nommé un ministre, le ministre a nommé etc. et il se trouve qu’à un moment c’est une autre légitimité qui s’exprime. Par ailleurs je le répète, sur les nominations j’étais mal à l’aise. Il y a effectivement ce problème-là. Mais était-ce une raison pour ne pas y aller ? Non je ne le pense pas.

Fanny Cosandey : Si, en raison de la question de la légitimité.

Florent Champy : Mais cette question de la légitimité serait un sujet en soi qui mériterait de longs débats. Et je pense qu’on fait fausse route en la posant comme on la pose. D’abord parce qu’il y a des pratiques qui rendent illégitimes y compris lorsqu’on a été élu, ensuite parce qu’il y a une légitimité de l’État aussi et parce qu’il est légitime aussi qu’il y ait des politiques scientifiques. Si on attaque systématiquement la légitimité de ce qui vient de l’Etat, d’une part on oublie que la légitimité des professions a aussi été affaiblie (c’est l’historique que je faisais pour commencer) et d’autre part on prend le risque de ne rien laisser subsister face au marché. C’est pour cela que je préfère fonder la critique sur la question de la pertinence. C’est la démarche que j’ai essayée d’avoir. Que l’on soit légitime ou illégitime, vous pouvez le dire, vous pouvez en être convaincus, mais je pense que ce discours n’aura plus aucune prise sur la réalité. Pour que ce discours soit efficace, il faudrait que les professions soient plus légitimes que l’Etat, ce qui ne va pas de soi.

Robert Descimon : Je pense que j’ai tenu un discours cohérent au début. C’est un discours qui fait en fait référence au système républicain, c’est tout.

Florent Champy : Un système républicain justifie aussi les nominations.

Robert Descimon : Sous le régime de la Ve République

Florent Champy : D’accord mais si la Ve République n’est pas une république, c’est un autre débat !

Simona Cerruti : J’ai juste un petit témoignage à apporter. C’est le cas de quelqu’un qui a été nommé pour être évaluateur. Pour ma part Je refuserais cette fonction à partir de critères de nomination de personnes qui, à leur tour, etc… Et là ce sont des mécanismes tellement évidents qui montrent à quel point la nomination et la possibilité de juger du travail des autres créent des mécanismes de légitimation et par la suite des hiérarchies nouvelles à l’intérieur des revues, etc., tout cela est tellement évident que c’est très difficile de semble-t-il à nier. Le problème n’est pas de nier me semble-t-il mais de savoir comment faire avec ? Mais comment faire face à cette énorme entrave à un travail serein ? Par ailleurs vous nous avez parlé de pratiques prudentielles et donc de la nécessité de procéder à des évaluations prudentielles. Quelles sont les techniques d’évaluation prudentielle ? C’est là toute l’affaire, qui par ailleurs est déjà à un autre niveau. Le premier est sans aucun doute la légitimité d’être nommé et de faire semblant que ce soit un jugement de pairs. Le jugement des pairs ne renvoie pas à l’appartenance à une même catégorie professionnelle. Le « pair » est celui qui ressort d’un mécanisme électif ou de tirage au sort, mais cela n’est pas suffisant d’appartenir à la même communauté pour délivrer un jugement reconnu comme émanant de pairs.

Fanny Cosandey : J’ai une question qui s’adresse aux deux intervenants. À écouter vos deux exposés il y a quelque chose qui me frappe et dont on n’a pas du tout parlé ici, c’est l’évaluation du coût de ces évaluations et notamment du coût en temps de recherche mobilisé pour évaluer dans tous les sens, parce que les systèmes d’évaluation impliquent des ramifications à tous les niveaux qui fait que l’on multiplie les rapports croisés et qui fait que nous passons tous une partie non négligeable de notre temps à faire des rapports tous azimuts. Ce qui fait que nous passons un temps considérable à faire des activités dont le résultat n’est pas évident sur le plan du dynamisme de la recherche, mais qui est tout à fait évident en tout cas sur le plan de la non production en termes de recherche. Et là je pense que si l’on avait aussi une revendication forte à avoir, une revendication sur l’évaluation du système global en Italie, en France, ailleurs aussi, ce serait de déterminer précisément ce que ça coûte en termes d’entrave à la production scientifique et non pas d’évaluation de la production scientifique.

Massimo Vallerani : Je ne vais pas nier la nécessité de rendre compte des travaux de recherche et d’enseignement. C’est la démocratie : il nous faut rendre compte. Je ne suis pas opposé à l’idée par exemple de la mise en place d’un catalogue de la recherche nationale dans lequel faire figurer tous les travaux qu’on a faits. Ce n’est pas ça le problème. Le problème de l’évaluation est vraiment très complexe et met en jeu des niveaux très différents. Il y a un niveau politique en Italie qui est très sensible parce que cette commission d’évaluation est née d’un contexte d’une violente campagne de presse contre l’université et contre les intellectuels. Nous avons eu un gouvernement, on peut le dire, qui ne nous appréciait guère. Il avait de la haine contre l’université. C’était aussi le cas de la presse. Par conséquent cette agence est née contre les universités. Le problème de l’utilité de l’enseignement est une question à double sens, elle se pose dans un contexte politique qui normalement va déprécier le savoir des sciences humaines, les savoirs littéraires. Par conséquent, l’utilité de ces savoirs est une question vraiment très difficile à trancher. L’autre niveau de la question et qui justifie mon ton pessimiste c’est que l’université elle-même est malade. C’est très difficile en Italie de défendre l’université. Comment faire quand le président de l’université de Rome, la plus grande université d’Europe, a fait entrer son fils, sa belle-fille, sa fille et sa mère à l’université ? Et que le Sénat académique, c’est-à-dire le conseil d’administration de l’université de Rome, a voté à l’unanimité pour ces intégrations ?! On est vraiment écrasé par des forces que rien ne semble pouvoir arrêter. Certaines forces politiques et l’opinion publique sont vraiment contre l’université et ne se posent pas la question de l’utilité de cette institution. On est retourné aux années 1970 lorsque faire des études supérieures ne servait à rien et que l’on disait qu’il était préférable d’aller travailler plutôt que d’étudier puisque cela n’était qu’une perte de temps. En outre l’université est vraiment très difficile à réformer parce que se sont constituées des positions de pouvoir en son sein qui sont devenues inexpugnables avec le temps.

Et il est vrai que cette question de l’évaluation pouvait être un mécanisme de changement. Mais au lieu de s’efforcer de changer quelques petits mécanismes il est dommage que ce processus ait cédé à cette vision quantitative, cette vision de produits, pour masquer quelque chose d’autre. Du côté de l’État cette vision a servi à masquer une réduction de 30 % du financement de l’université. De 2008 à 2012 à l’université de Turin par exemple le budget global est passé de 100 millions à 70 millions d’euros. Et on fait passer pour une prime le fait que l’année prochaine on aura quelques euros de plus. Et de l’autre ce problème de la productivité, des produits et de l’utilité qui, selon exactement votre critère de prudence, vont à mon avis créer de gros problèmes à la recherche. Il est difficile de voir ce que l’on produit, ce que l’on fait à partir du moment où l’on va imposer des critères uniformes et tout à fait quantitatifs qui ne rendent pas compte de la diversité et de la complexité. C’est cela que je conteste. Le problème de l’évaluation tient aussi à la réticence des universitaires à être évalués par des collègues et qui ne sont pas passées par un processus de légitimation. C’est vrai que vous dites que la nomination ministérielle est légitime. Je ne vais pas dire que l’agence nationale n’est pas légitime. C’est vrai que ses membres ont été nommés, c’est donc une nomination politique. Il faut accepter ça. Je n’ai pas dit qu’un organisme politique va nécessairement mal fonctionner. Mais en tout cas c’est un organisme politique et cet organisme politique doit être inséré dans un contexte politique. La question est de savoir ce que tout cela veut dire, à quoi sert tout cela? Nous avons des systèmes d’évaluation, nous avons les concours, les commissions. En Italie il y a également un système qui serait très bien s’il fonctionnait correctement. Tous les trois ans on doit adresser une liste de tous les travaux faits durant cette période au président du département. Or ce système est tombé en désuétude. Il est vrai que selon votre critère qui m’intéresse beaucoup, celui de la prudence, ce système quantitatif est tout à fait une négation de ces critères de prudence. Je ne peux rien dire au sujet de l’agence nationale car je ne sais pas encore ce qu’elle va faire. C’est que beaucoup de personnes qui sont nommées en qualité d’évaluateurs anonymes démissionnent de cette charge. Et là je dois suspendre le jugement : on verra ce que cette agence fera et quels en seront les résultats. Mais je vous ai expliqué mon pessimisme qui est relatif au fait que ce n’est pas une guerre entre, d’un côté, l’État et les marchés et l’université, de l’autre, mais c’est une guerre à l’intérieur même de l’université.

Mary Picone : Mais parfois il y a une tendance, pas toujours parfaite, à des convergences dans ces méthodes d’évaluation. En France je sais qu’il y a eu des résistances qui tout à coup ont cédé avec la classification des revues. Maintenant je commence à me demander où est-ce que l’on en est ? Certains avaient accepté d’emblée, d’autres non. Admettons que la convergence avec ce que vous venez de dire dans beaucoup d’endroits a marché. Nous avons un système mécanique, mais lorsqu’on a un nombre limité de revues qui ont un niveau réputé correct, alors pour des raisons mécaniques tout le monde ne pourra pas y publier y compris même si l’on admet que leurs articles sont à la hauteur. Il est donc parfaitement clair que le gouvernement de Sarkozy qui déteste la recherche tout autant que le gouvernement italien, a mis en place un système non pas au niveau de l’évaluateur individuel mais au niveau général pour créer la possibilité d’exclure et de diminuer le statut d’un nombre important de chercheurs. C’est vraiment très simple. Il est possible qu’avec le gouvernement actuel ce processus soit ralenti ou peut-être même légèrement amélioré. À mon avis je ne vois pas comment on peut sortir de ces constatations peut-être banales et exagérées mais qui ont le mérite d’être claires, aussi claires que la possibilité d’indiquer en trois mots ce que l’on a fait, les trois grandes découvertes qu’on a pu faire en présentant ses recherches.

Florent Champy : Vous parlez de l’usage des évaluations pour réduire les budgets. Mais il y a là des choses qui sont des données : l’évolution des finances publiques, notamment. On peut tous regretter la politique actuelle, il se trouve que c’est Sarkozy qui avait été élu il y a cinq ans, c’est Hollande maintenant. Ils font les politiques qu’ils font avec le ministre du budget qu’ils ont désigné ; c’est une donnée pour nous. La question n’est pas de savoir si l’on réduit les budgets publics ou pas, la question est de savoir quel type d’évaluation on a intérêt à faire pour que ce ne soit pas des incitations à faire du mauvais travail, pour que ce ne soit pas des systèmes opaques qui conduisent aux injustices les plus flagrantes, pour que tout moyen ne soit pas retiré à des chercheurs qui travaillent de façon respectable. Vous m’avez cité un certain nombre d’anecdotes sur l’AERES en évoquant des comportements malhonnêtes de gens qui sont nommés dans un comité par l’AERES, mais on a également eu des exemples de ce type dans d’autres instances d’évaluation, ce qui devrait attirer notre attention sur l’autorégulation de nos professions.

Fanny Cosandey : Cela change-t-il quelque chose au rapport final que l’on ait répondu au rapport de l’AERES ?

Florent Champy : Bien sûr, puisque la réponse est jointe au rapport, et les gens qui lisent peuvent lire les deux, c’est leur choix. Si j’écris un rapport AERES, je n’ai pas envie que derrière il y ait une réponse qui montre que je n’ai pas lu le dossier de l’unité pour faire mon rapport, que la moitié de l’activité du laboratoire n’a pas été prise en compte, que telle critique que je formule est infondée parce que le dossier de l’unité y a répondu par anticipation à telle page, etc. Cela oblige à faire le travail et cela responsabilise.

Chantal Pacteau : Moi ce que je voulais dire c’est qu’il traîne sur l’internet mondial ce genre d’évaluation. Il suffit de taper le nom de la personne. La lettre de mon amie, en revanche, n’a pas été mise sur le réseau mondial. Cette manière de faire pose donc un réel problème et il n’a pas été dit que le président pouvait réécrire à sa guise le rapport final. Ce que je suis en train de dire c’est que l’on a des chercheurs qui sont stigmatisés au niveau mondial par ce genre de choses.

Je n’ai jamais dit qu’il y a eu un paradis de l’évaluation. Je ne fais pas partie des chercheurs qui ont connu l’âge d’or du CNRS, je ne nie pas que le comité national a aussi des dysfonctionnements qui peuvent être importants. Ce que je dis c’est que c’est désormais au niveau mondial que certaines choses qui portent potentiellement atteinte à l’image et à la réputation d’une personne sont faites. On ne peut pas dire que ce soit vrai qu’il y ait des réponses.

Florent Champy : Je vous parle d’une procédure qui existe à l’AERES. Ensuite on peut écrire ce que l’on veut et faire circuler ce que l’on veut sur Internet. C’est autre chose.

Chantal Pacteau : Non, moi je vous parle des rapports de l’AERES qui circulent sur Internet.

Florent Champy : J’ai commencé par dire que cette question des nominations des membres des comités de visite par l’AERES m’avait posé problème. Mais je crois qu’on a tort de se focaliser sur la légitimité au détriment de la question de la pertinence. J’avais ces idées à apporter sur la prudence, j’avais envie d’observer et de réagir à partir de cette grille. Enfin il y avait beaucoup de choses qui m’ont convaincu de ne pas pratiquer la politique de la chaise vide.

Robert Descimon : La question de la chaise vide n’est pas une réponse évidente. Je ne dis rien contre ce que tu as pu faire personnellement.

Florent Champy : Ce que je réponds c’est que, au-delà de la question de savoir si l’on est légitime ou pas légitime, on a sans doute un angle d’argumentation plus fort qui consiste à dire que ce n’est pas pertinent, et c’est là que l’idée de profession à pratique prudentielle peut être intéressante. C’était mon angle. Nous ne parlons plus que de l’AERES, mais il me semble que c’est cette question des critères de pertinence qui est importante. Je me laisse enfermer dans des termes d’un débat qui n’est pas le mien. Je l’impute à ma maladresse d’avoir moi-même lancé la discussion sur ce sujet. Je ne me sens même pas piégé, je m’enferme moi-même là-dedans. Mais vraiment l’argumentation que je voudrais avoir, c’est de dire que cette question de la légitimité ne marchera plus politiquement parce qu’elle est assimilée à une demande d’autonomie sans droit de regard du politique et c’est difficile à argumenter. En revanche la question de la pertinence d’un dispositif et de ses effets pervers est autrement plus intéressante et de ce point de vue l’évaluation quantitative est assez facile à critiquer, mais on peut la critiquer plus finement que pour la rejeter en bloc. C’est-à-dire que l’on peut accepter des indicateurs à condition que ce soient des indications qui sont prises dans une évaluation qui n’est pas que quantitative. Et c’est là que l’on peut parler d’une évaluation prudentielle qui suppose de la délibération, du temps ainsi qu’un certain nombre d’autres conditions sur lesquelles on pourrait réfléchir.

Robert Descimon : Vous auriez été élus, c’était autre chose et ça n’aurait rien changé au problème de la pertinence. Ce problème de la pertinence n’est pas très différent, c’est ce que tu as sous-entendu d’ailleurs. Si tu fais la courbe du prix du bois au XVIIIe siècle, tu peux la faire de plusieurs façons pour montrer plusieurs choses. Mais ça c’est le cas de tous nos travaux scientifiques. Je crois qu’il peut y avoir des évaluations pertinentes, c’est même ce que je souhaite. Je pense qu’il y a quand même des critères politiques essentiels pour que cette pertinence soit reconnue, y compris par le pouvoir politique d’ailleurs.

Michel Barthélémy : Mais l’évaluation que défend Florent est à 1000 lieues de ce que j’ai pu entendre de la part des gens de l’AERES. D’abord le bloc de leur activité d’évaluation repose sur six critères, c’est la fameuse bureaucratie dont Florent parlait qui saucissonne l’activité de connaissances sur ces six critères, chacun noté en A, B ou C. Auparavant il y avait une note globale qui faisait la synthèse des précédentes et qui s’appliquait pour une durée de cinq ans à l’équipe ou à l’organisme évalué. Lors d’une récente réunion organisée par l’AERES pour le lancement de la vague D de l’évaluation, une personne dans l’assistance est venue se plaindre en disant : « mais vous vous rendez compte que pendant cinq ans on est les bannis de la terre, on ne peut plus candidater à l’ANR, etc., vu que l’on est censés être mauvais ». Du coup l’AERES a pris ça en compte et a supprimé la note globale et l’a remplacée par une courte appréciation de 180 caractères. Cette prise de conscience de l’AERES a été également favorisée par l’évaluation dont elle a été l’objet par l’ENQA (the European Association for Quality Assurance in Higher Education) qui est l’organisme chargé d’évaluer les agences d’évaluation à l’échelle européenne, qui indique que l’AERES avait outrepassé ses fonctions en donnant une note globale aux organismes et établissements évalués.

Mais ce que dit Florent rejoint le point de vue de beaucoup des critiques des agences d’évaluation. Ces critiques disent : « mais lisez les textes si vous voulez évaluer les connaissances produites ! ». Et c’est ce que dit Florent aussi. Il s’agit de refuser les évaluations par la bibliométrie, par le fait que l’article se trouve dans une revue bien classée par l’agence. L’argument des critiques est donc de dire : « lisez ce que font les gens ». En somme Florent prend ces critiques au pied de la lettre. Il leur dit : « eh bien faites la preuve que pendant cinq ans vous avez en effet produit des connaissances qui ne se résument pas au listing des activités qui ont été faites », listing qui est quand même favorisé par le formulaire du dossier de l’AERES qui les comptabilise. Alors c’est séduisant a priori comme sortie précisément de cette bureaucratie de l’agence de notation, mais en même temps quand tu as dit ça je pensais en même temps au prix Nobel. Les chercheurs qui obtiennent un prix Nobel peuvent voir leurs travaux reconnus 30 ans après leur publication. C’est-à-dire qu’il a fallu que cette connaissance devienne elle-même une sorte d’outil, produise des concepts et manières de faire pour d’autres équipes, que cela permette de nouvelles observations et produisent des faits scientifiques pour que l’on valide ce qui était la découverte d’un groupe de recherches à un moment donné. En outre s’attendre à ce qu’une équipe de recherche recevant un comité de visite AERES dise : « voilà en cinq ans quelles ont été nos belles découvertes », pour reprendre le terme de Florent, c’est peut-être faire l’impasse sur le fait que le travail de recherche ne s’arrête pas à échéance bureaucratique des rapports, et que les résultats produits sont eux-mêmes pris dans la controverse scientifique. Et il n’y a que les notes, un peu comme un jugement de tribunal, qui viennent finalement donner un terme artificiel à une période de recherche pour en favoriser l’évaluation. Or il est possible que la « belle découverte » revendiquée soit considérée comme relative par d’autres et notamment par les concurrents situés dans le même champ. Je veux dire par là que la proposition de Florent ne permettrait pas de sortir aussi facilement que ça de la maladie du chiffre. Et nous sommes dans la controverse, nous sommes dans le débat ; c’est ce que disent d’autres critiques pour qui les évaluations en tant qu’elles instituent un évalué et un évaluateur génèrent artificiellement une relation asymétrique entre les deux parties à l’inverse des « pairs » qui eux sont toujours dans la confrontation scientifique, la critique et qui est infinie, c’est-à-dire qu’elle ne s’achève pas. Et dans le cadre d’un débat on ne va pas dire aux débatteurs : à l’un on vous accorde telle note, à l’autre vous méritez telle note !

Florent Champy : Bien sûr cette difficulté (liée au recul nécessaire pour évaluer les véritables innovations) je la connais. Je rappelle que le titre du séminaire c’est « politique des sciences » et cette difficulté ne renvoie pas à un problème actuel des politiques d’évaluation. Elle renvoie à la difficulté de toute évaluation. Y a-t-il une instance, y a-t-il un type d’évaluation qui permette d’éviter cette difficulté-là ? Tu dis : 30 ans plus tard on connaît la portée réelle, alors faut-il évaluer au bout de 30 ans ? Ou faut-il ne plus évaluer ?

Michel Barthélémy : Il ne faut peut-être pas évaluer comme un Nobel des gens qui sont pris dans une période de temps de cinq ans.

Florent Champy : On peut aller au bout de ce que disait Robert tout à l’heure dans sa première prise de parole : qu’un professeur d’université qui a fait quelque chose de génial et qui n’a rien produit depuis plus de 10 ans ne doit pas être moins payé qu’un autre qui est très productif sur les dernières années, si j’ai bien compris.

Robert Descimon : C’était la règle.

Florent Champy : Je ne suis pas hostile à ça. Je ne serais pas hostile à des carrières à l’ancienneté à titre purement personnel, c’est le point limite de ce que tu dis

Robert Descimon : Cette règle de l’ancienneté est celle de la fonction publique, elle existe toujours à ma connaissance. Elle est détournée par un certain nombre de dispositifs. Mais elle existe. C’était une mesure d’ordre politique.

Florent Champy : Ce n’est pas un problème qui serait spécifiquement lié aux politiques actuelles, c’est un problème de l’évaluation. Donc, on n’évalue pas avant trente ans ?

Michel Barthélémy : L’évaluation bureaucratique est une pratique idéologique. C’est oublier le fait qu’analysent certains sociologues des problèmes publics qu’en effet on reste entre nous dans ce processus, alors que dans les faits les objets sur lesquels on travaille, la manière dont on les constitue et les analyse se modifient en fonction de l’entrée et la sortie de nouveaux acteurs dans le champ social sur la scène que l’on étudie. Il y a également des pressions qui viennent de la société civile ; si nous sommes en tant qu’analystes maintenant si intéressés par les phénomènes relatifs aux expressions de la démocratie participative par exemple, c’est bien qu’un mouvement social a créé des pratiques, a fait émerger sur la scène sociale des acteurs qui n’existaient pas auparavant qui revendiquent une responsabilité, une compétence sur des questions qui à l’époque étaient celle d’experts ou bien des autorités ou encore dont personne ne s’occupait par ces sujets n’étaient pas visibles, ne constituaient pas un sujet de concernement, acteurs qui non seulement exigent mais qui produisent aussi une information et une connaissance, et même parfois un savoir opposé à celui des experts. Nous travaillons avec ça. On peut considérer que cela fait partie du mouvement de la société qui évalue en continu la pertinence de nos travaux à partir de la capacité que nous avons à maintenir une veille sociale, une « veille cognitive » ou réflexive sur la façon dont les membres de la société prennent en charge, s’approprient des questions qui sont ou deviennent par la même les leurs et sur lesquelles nous intervenons –nous, les analystes – à titre second. C’est notre rôle de contribuer au débat public en faisant apparaître ces mouvements, processus, en les observant, en les nommant, les conceptualisant pour que d’autres personnes de la société civile à leur tour en prennent connaissance et s’y engagent de manière critique également. Cette forme d’évaluation est également une forme de coopération à travers les groupes de la société civile qui veulent articuler des questions citoyennes avec des intérêts de recherche. Les PICRI, les programmes de recherche coopérative de la région Île-de-France sont une réalisation de cette forme de rencontre entre les attentes de la société civile et les compétences de ses membres activement engagés sur des questions d’intérêt général et qu’ils transforment en objet de recherche empirique avec le concours de chercheurs professionnels. Voilà une autre forme d’évaluation, c’est-à-dire que l’on est confronté à des gens qui s’intéressent aux mêmes questions que nous, mais avec des perspectives différentes et avec lesquels nous devons nous entendre pour collaborer en bonne intelligence. Alors pour conclure, il y a cette forme d’évaluation permanente de la société à l’égard de la contribution de la recherche au traitement des problèmes qui la traversent. Elle se distingue de cette forme d’évaluation technocratique, via les agences de notation notamment, par laquelle certains collègues sont amenés à se différencier des membres  de leur milieu et à les traiter non plus en tant que pairs mais comme subordonnés. Ce mouvement est salué par certains comme la formation d’une « élite », se consacrant à l’évaluation de leurs collègues.

Chantal Pacteau : Nous, on aimerait bien enlever ce terme d’évaluation et mettre autre chose à la place. On peut discuter des thèmes de recherche, on peut discuter de 1000 choses, mais aussi il faut éviter qu’il y ait des personnes qui soient des boulets et qui ne fassent rien alors que les autres membres de leur équipe travaillent beaucoup. Tout cet ensemble qui consiste à permettre de rendre compte est important, avoir des critiques c’est notre métier ; on est évalué à longueur de temps, dès qu’on fait un papier il y a un certain nombre de personnes qui en font la critique, on se défend, etc. L’évaluation est au fondement de notre travail. Aussi ne faut-il pas en rajouter encore davantage. Avec l’AERES il y a eu, dans ce mouvement qui a consisté à vouloir mettre au pas la recherche et l’enseignement supérieur, des choses assez terrifiantes. Je pense en particulier à la qualification de certains chercheurs et enseignants-chercheurs comme non publiants, c’est une qualification presque infamante, on tue symboliquement les gens de la sorte

Florent Champy : La qualification de non publiant est anonyme.

Chantal Pacteau : On sait qui s’est. Et dans un laboratoire quelqu’un qui est non publiant peut se voir mis au placard. Et moi je veux pouvoir évaluer les évaluateurs, parce qu’il y en a certains qui ne sont ni pertinents ni légitimes !

  1. rires dans la salle []