Massimo Vallerani: « Évaluation et financement de la recherche universitaire en Italie, entre critères quantitatifs et jugements arbitraires”-13° séance-240512

Je vous remercie pour cette invitation et je dois avouer avant tout mon incompétence sur le thème spécifique de l’évaluation, au moins sur le plan technique, des systèmes de mesure ou en général quantitatifs.

En revanche,  je connais bien les argumentations de nature politique si non idéologique qui sont tournées contre le système de l’évaluation en général et contre l’évaluation de la recherche en particulier. Je partage beaucoup de ces analyses critiques, qui sont très présentes en France, beaucoup plus qu’en Italie. Il suffit de rappeler les numéros thématiques de la revue Cités de 2009 coordonné par Yves–Claude Zarka, L’idéologie de l’évaluation. La grande imposture, 2009; des «Cahiers internationaux de sociologie» de 2010: Ce qu’évaluer voudrait dire, avec l’appel de Balandier contre la «connivence par inertie», qui se termine sur cette question cruciale : «consentez-vous à être évalué ?» qui reprend de près le titre du livre de Miller et Milner, Voulez vous être évalué ?, Paris, Grasset, 2005 ; suivi par Evaluer l’évaluation, par J.-C. Emin et J.-L . Villeneuve, Paris 2009. Et enfin les «Actes de la recherche en sciences sociale» de 2011 sur L’évaluation: contextes et pratiques.

En réalité cette dernière revue contient bien plus que la simple critique d’une vision toute idéologique de l’évaluation comme instrument de contrôle mis en place par les pouvoirs néo – libéraux sur les biens publics. Les deux chercheures qui ont réuni les études, Sandrine Garcia et Sabine Montagne, nous proposent un type d’analyse plus précis des relations qui soutiennent et mettent en jeu les différents systèmes d’évaluation : de plus, elles nous invitent à mesurer la réussite de ces systèmes en mesurant, à notre tour, les écarts entre le objectifs  fixés ex ante et les résultats ex post de l’application de ces systèmes de contrôle.

Je dois dire que j’ai surtout apprécié, dans cette approche, l’invitation à ne pas objectiver dans un bloc unique d’un côté le monde professionnel, et de l’autre l’Etat ou le Marché. On sait bien que le monde professionnel forme un monde extrêmement nébuleux. Par ailleurs, en Italie une partie importante du monde académique s’est très tôt associée à l’entreprise évaluative, en lui donnant une valeur sotériologique : c’est le moyen pour sauver l’université italienne, pour faire le partage ultime entre les soumis et les sauvés, entre les bons et les méchants.

Toutefois ma perspective se concentre plutôt sur les effets immédiats de l’évaluation sur les formes de production et de transmission des humanités au sens large : non seulement les matières littéraires ou historiques, mais aussi l’archéologie, la Philologie et l’histoire de l’art.

Ce que je m’efforcerai de faire c’est un premier bilan – toute à fait provisoire – de la mise en place des systèmes d’évaluation en Italie, à partir de leurs conséquences sur la qualité de la recherche, de la vie quotidienne des chercheurs et également sur la structuration des sciences humaines au sein des savoirs scientifiques.

 Je parle au pluriel parce qu’aujourd’hui il existe en Italie deux systèmes parallèles d’évaluation : un système interne aux universités, de type quantitatif ; et un système national d’évaluation de la recherche, plutôt qualitatif (au moins pour les sciences sociales).

Je voudrais donc vous présenter brièvement le fonctionnement des deux systèmes et leurs effets immédiats sur la recherche, ainsi que l’enjeu politique de cette coexistence forcée et pas du tout pacifique entre les deux systèmes.

Le système quantitatif

Le système quantitatif interne à l’université date désormais des années 2004-2005 : à Bologne il est encore plus ancien, il entre en fonction dès 2000-2001. La démarche est très simple : chaque année, les chercheurs de l’université doivent insérer dans une page internet, préformatée par l’université, toutes les publications parues au cours de l’année universitaire : à chaque type de publication est attribuée une valeur, une note ; les critères d’évaluation toutefois sont différents d’une université à l’autre. À Turin, par exemple, les notes sont : 3 points pour un livre ; 1 point pour les articles de revue ou pour ce que on appelle « chapitre de livre » ; 1 point pour les éditions critiques ; 0,5 pour les introductions, et la direction d’ouvrages ; 0,3 point pour les comptes rendus ; les traductions de livres ; les articles d’encyclopédies, etc.

Il n’y a pas encore de classification des revues pour le moment ; et il n’y a pas encore d’évaluation de la dimension des articles : c’est à dire qu’un article de trois pages vaut comme un article de 40 ; la direction d’un congrès régional comme celle d’une encyclopédie.

Si un livre, quelle que soit sa taille, vaut seulement 3 points, il est évident que pour obtenir plus de points il vaut mieux faire trois petits articles. Mais au contraire, si un livre déjà publié sort en nouvelle édition ou en traduction, il vaut encore comme « livre » : donc 3 points. Nous avons des collègues qui sont beaucoup « traduits » en langues étrangères – ou ont plusieurs éditions du même livre – et qui, de ce fait, atteignent des scores inédits.

Mais les paradoxes ne s’arrêtent pas là. Certains domaines de recherche se trouvent en ce moment presque totalement dépourvus de critères adéquats à l’évaluation de leur activité : les archéologues, par exemple, qui ne savent pas comment classer leurs rapports de fouilles ou les fiches techniques relatives aux objets répertoriés ; les philologues aussi, qui peinent à faire reconnaître la valeur d’une édition critique ; les historiens de l’art, qui travaillent beaucoup pour les expositions et les catalogues, qui prévoient des contributions à la fois trop courtes et trop nombreuses pour être classées comme articles.

La philosophie du système pousse même à une baisse générale de la production scientifique : la rédaction de livres, d’œuvres de recherche structurées est fortement découragée ; l’absence de distinction entre articles de recherche, articles de synthèse et actes de colloques, favorise l’uniformisation vers une taille réduite des essais ; le manque de spécifications pour les autres formes de production intellectuelle amène plusieurs chercheurs à inventer des ruses pour remédier à ces lacunes du système.

Ce système est le résultat d’un rapport de force entre les sciences dures et les sciences humaines au sein de l’université qui a vu les premières imposer leurs propres critères d’évaluation aux autres disciplines ; comme toutes les sciences humaines n’ont pas d’impact factor ni d’index de citations, on s’est accoutumé à évaluer les disciplines des sciences humaines (sauf la psychologie, mais en y incluant le droit) par un critère quantitatif très archaïque : le nombre d’articles.

La comparaison avec les données concernant les autres facultés est accablante pour nous : il y a des collègues médecins qui publient entre 100 et 200 articles par an, naturellement à plusieurs mains et avec l’aide évidente de collaborateurs, mais peu importe. Ils font « nombre »,  ou masse et la distance avec les facultés littéraires, en dépit de correctifs statistiques, devient à peu près sidérale.

Les distorsions de ce système, appliqué dans la plupart des universités de l’Italie du nord et du centre, – il va être appliqué, au moyen d’un même logiciel, à Turin, Milan, Bologne, Padoue et Venise – sont donc évidentes.

1. D’un  point de vue théorique, ce système hérite d’une culture de l’évaluation très ancienne, qui privilège la quantité brute. On l’a noté déjà beaucoup de fois et ça devient une critique classique de ce système. La notion de produit, mise à part son allure vaguement marchande, cache une idée à la fois stupide et dangereuse : que le nombre soit le meilleur indice pour mesurer la productivité des chercheurs. Mais il s’agit à l’évidence d’une quantité illusoire sinon d’une donnée statistiquement déformée, presque fausse.

En dépit de toutes les corrections apportées au catalogue, une différence substantielle subsiste entre produit et production : je peux avoir beaucoup de produits – c’est à dire beaucoup de choses à insérer dans le catalogue de la recherche – et avoir en même temps une production médiocre, sur le plan soit qualitatif soit quantitatif, par exemple 5 articles de 4 pages ; mais le résultat est le même : avec 5 articles de 4 pages je finis par apparaître plus productif qu’un collègue qui a écrit un livre de 500 pages ; en mesurant seulement la quantité brute de produits – et pas la production réelle – on encourage à terme la multiplication de travaux futiles, qui demandent peu de temps.

 Mais la question – il me semble – est aussi celle de la survivance d’une variété de formesde production du savoir scientifique, ainsi que de la possibilité de transmettre ce savoir par des instruments librement choisis par les chercheurs, dans un contexte culturel donné. Qui décide si une fiche de catalogue d’exposition vaut plus ou moins qu’une entrée encyclopédique ? et comment comparer – et surtout pourquoi le faire – un rapport de fouilles archéologiques avec une édition critique ? et en général comment mesurer la durée d’une recherche avec sa réalisation matérielle sous forme de publications ? toutes questions qui sont tranquillement ignorées par nos évaluateurs.

« L’évaluation cherche à obtenir la conformité de l’individu à un modèle » ; dans ce cas à un modèle productif mais qui se surimpose aux moyens de production autochtones de la discipline.  Enfin la nécessité de comparer et d’uniformiser pour compter nous pousse à renoncer à toute forme de communication non mesurable et non comparable.

3. Dernière conséquence, non négligeable pour la psychologie des organisations. C’est d’autant plus surprenant que les effets pratiques de cette évaluation sur la vie universitaire sont de plus en plus sensibles : le score qu’on reçoit à la fin de l’année – selon qu’on est classé A, B, C, D ou E, le dernier dégrée de l’humanité, le nul absolu – détermine l’allocation des financements, la possibilité de diriger des thèses de doctorats ou d’assumer des charges représentatives ou de direction au sein du département. Or, ce système a déjà provoqué une infantilisation souvent grotesque des professeurs universitaires. Marqués par ce système, quelquefois humiliés publiquement, beaucoup de mes collègues ont intériorisé un sens de faute personnelle qui les a poussés à démissionner du conseil de doctorat, des commissions de département etc.; de l’autre coté, beaucoup d’autres ont inventé toutes sortes de tromperies pour gonfler leur score : compter deux fois un même article, transformer en «livre» un guide touristique  ou un manuel d’enseignement ; insérer comme article scientifique des comptes rendus publiés dans des journaux, etc.

Je ne veux pas condamner tout cela sur un plan moral, mais mettre en lumière où en est arrivée la transformation des comportements individuels à cause de l’évaluation : humiliation extrême par intériorisation de la faute ; trucage explicite – sans honte – par envie de la réussite.

II. La mise en place d’un système d’évaluation national est beaucoup plus récente. C’est un décret du ministère de l’éducation et de la recherche du gouvernement Berlusconi qui institue, en 2010, une Agence nationale pour l’évaluation de la recherche universitaire.

Elle se compose de sept membres, choisis de façon discrétionnaire par le ministre. Il s’agit donc d’une nomination forcément politique, quoique les membres de l’agence se déclarent neutres et bien décidés à défendre leur autonomie. Tout le problème est là. Personne ne doute de leur autonomie. Au contraire on la redoute : les membres de l’Agence ont le pouvoir de choisir les évaluateurs pour toutes les disciplines scientifiques des universités italiennes – groupes d’évaluateurs experts (appelées GEV) – hors de tout contrôle, sans autre guide que leur connaissance ou disposition à accueillir l’avis des principales associations disciplinaires.

Il s’agit d’un processus très opaque, brumeux, qui signe un manque de légitimité très fort aux yeux de la communauté scientifique : les 14 présidents des GEV pour les 14 aires scientifiques,  sont devenus d’un jour à l’autre les juges de tous leurs collègues.  à leur tour, ils ont choisi, de la même façon arbitraire et sans critères visibles, les responsables de secteur : histoire médiévale, moderne, etc., philosophie morale, théorétique, etc. qui, à leur tour, vont choisir les « évaluateurs anonymes » à qui incombe la charge de lire et évaluer les publications des enseignants italiens : trois travaux choisis par les chercheurs eux-mêmes qui sont censés représenter la vitrine de leur production scientifique.

Le biais de l’Agence c’est en effet d’évaluer la qualité des travaux des chercheurs pour saisir la qualité des instituts de recherche et des universités en général : au moins pour cette première édition, l’Agence se bornera à évaluer les personnes comme partie d’un ensemble, et pas individuellement. Mais à partir des évaluations à venir, même les personnes auront un classement de mérite individuel, qui va déterminer leur salaire.

Si pour les sciences dures le critère d’évaluation est de type bibliométrique, pour les sciences de l’homme on a choisi le système du peer  review : une évaluation par les «pairs » qui semble désamorcer toute critique contre le jugement délégué au experts externes. Il est vrai que l’évaluation continue de se faire entre pairs, mais la totale opacité des choix des membres des GEV rend les choses peu simples. En outre, les critères d’évaluation restent si génériques qu’il est fort possible de n’en saisir aucun : dans les instructions données par le président du GEV 11 (Histoire et philosophie) on peut lire des perles de sagesse comme celle-ci :

«Les évaluateurs devront se distinguer par l’impartialité, la rigueur, l’équilibre, et le sentiment de leurs propres limites ».

Mais la fiche technique sur laquelle les évaluateurs devront finalement rédiger leurs notes, elle, n’est pas connue du grand public.

Le seul indicateur de valeur reste alors la classification des revues où sont publiés les travaux soumis à évaluation. Ici il faut ouvrir le triste chapitre de la classification des revues opérée par l’agence nationale. Sans tenir compte du fait que des classements de revues existent déjà, par exemple celui de l’université de Bologne, l’Anvur a donné au GEV la tâche de rédiger pour chaque secteur scientifique une liste de revues ordonnées en trois classes : A, B, C.

 Les évaluateurs ont chargé les associations de chaque discipline de choisir les revues à classer : mais seulement trois revues strictement disciplinaires pouvaient être en A, la classe supérieure ; sept parmi les revues intersectorielles ; les autres en B et toutes celles qui n’étaient pas mentionnées se retrouvaient automatiquement en C. La même chose se produit pour les revues étrangères, avec des résultats souvent ridicules.

Or le procès de sélection de revues sectorielles par les associations disciplinaires a été une des opérations les plus contestables de toute l’opération évaluative. A vrai dire, cette fois, la faute revient entièrement aux universitaires qui animent ces nouveaux centres de contrôle du pouvoir universitaire. En d’autres termes, les universitaires ne sont pas seulement des victimes. Au moins une partie d’entre eux a trouvé dans l’évaluation un moyen de s’affirmer au sein de sa propre discipline.

Dans plusieurs cas les mêmes personnes qui ont décidé du classement étaient membres de la rédaction sinon de la direction des revues classées. Les critères sont énoncés de façon générique et presque jamais respectés : pour les revues d’histoire médiévale par exemple, la présence des résumés en anglais et de peer review (comité de lecture) – qui est devenu le nouveau passe-partout des revues italiennes – considérés comme des critères nécessaires et incontournables, ne sont pas appliqués dans deux cas sur trois (Studi medievali et Bollettino dell’istituto storico italiano n’ont pas de comité de lecture). Il n’en va pas autrement pour l’histoire contemporaine où, au contraire, presque toutes les revues se vantaient d’avoir un comité de lecture qui devient donc un critère peu significatif. La sélection s’avère donc être uniquement un choix personnel des responsables.

Il est donc évident que la limitation du classement à trois revues de catégorie A, a créé une hiérarchie artificielle et tout à fait arbitraire parmi les revues ; mais surtout a créé de nouveaux centres de pouvoir de contrôle académique selon une hiérarchie interne qui ne reflète pas une réelle hiérarchie culturelle. Par exemple, les diverses sociétés d’historiens (médiévistes, modernistes, etc.) ont non seulement donné des évaluations très différentes de la même revue ; mais leur choix a encore distancié un peu plus, s’il était possible, le classement italien des autres classements internationaux. Très peu de revues sélectionnées par l’Anvur sont présentes dans le classement de l’Erih (European Reference Index for the Humanities), quelle que soit par ailleurs la valeur de ce classement à son tour très contesté.

Ce classement a quand même des effets pratiques très dangereux. Les comités de rédaction de ces revues couronnées de A deviennent soudain les grands justiciers de la recherche italienne : ce sont eux qui décident si un article va être publié ou non, qui décident quels évaluateurs vont être chargés de la lecture, etc.

La compétition ou l’émulation entre revues a déjà suscité des situations paradoxales : un auteur reçoit de quatre à six commentaires de chacun des membres de la rédaction, chacun s’exprimant comme un nouveau Marc Bloch sur des arguments qui leur sont évidemment peu familiers. Tombe enfin le jugement apparemment indiscutable de vrais évaluateurs « externes ».

Il est souvent difficile de saisir la limite entre des corrections ou des intégrations quelquefois utiles et opportunes sur le fond de l’article, et des remarques plus personnelles et gratuites. Il serait amusant de créer un site dédié aux corrections erronées, fausses ou absurdes qui proviennent de ces rédactions toutes-puissantes. Mais le spectre d’une censure idéologique existe quand même. Avec seulement trois revues classées A, les chercheurs devront faire en sorte d’être «bien vus» par le comité de rédaction, sous peine de voir leurs articles exclus de l’accès aux revues de catégorie A et d’être contraints de publier dans des revues plus généralistes.

En conclusion, examinons la charge de travail d’un chercheur moyen :

– pour l’université il lui faut produire le plus grand nombre d’articles, de n’importe quelle qualité : autrement, il va perdre son prestige et ses fonctions dans son université (l’argent n’entre pas en ligne de compte, eu égard à la modestie des émoluments d’un universitaire) ;

– en plus, tous les trois ans, il doit se préoccuper de rédiger des travaux un peu plus importants, mais en suivant un parcours prédéterminé : seules les revues de rang A donnent accès à une évaluation qualitative de haut niveau. Il faut faire la queue, s’arranger avec ses connaissances personnelles, et subir enfin – en silence – les reproches de ces rédactions de revues qui bénéficient d’un pouvoir culturel inédit et souvent immérité. Tout cela ne lui garantit pas de ne pas encourir les effets d’une contradiction qui découle du système d’évaluation duel lui-même : être classé de façon hétérogène, par l’université d’un côté et par l’Agence nationale de l’autre. Dans ce cas, s’il est bien classé par une institution et moins bien par l’autre, l’universitaire verra donc une diminution du financement que lui accorde son université, p.e., mais recevra un petit supplément de salaire par le ministère, ou l’inverse.

L’avenir nous réserve des surprises de plus en plus désagréables :

– les systèmes universitaires vont définir de façon plus précise leurs typologies de classement de publications, sans pourtant renoncer à leur critère quantitatif, en conflit évident avec l’Anvur.

– L’agence nationale, l’Anvur, forte de son succès initial, a déjà proposé de créer une banque de données à partir des revues italiennes pour appliquer aux sciences humaines et sociales le critère bibliométrique (avec la motivation subtile  selon laquelle : « chaque professeur écrit en ayant le désir d’être lu et donc..»). Tout cela dans un contexte de diminution drastique du financement public aux universités, qui doivent chercher des financements auprès du secteur privé, c’est à dire auprès des banques.

Or le privilège le plus grand qui puisse arriver à un professeur ou à un département universitaire c’est d’avoir une diminution de son financement qui soit inférieure à celle des autres. Le président du Politecnico de Turin, qui est réputée être l’université la plus performante d’Italie, a déclaré d’un air triomphant : « Nous sommes parmi le très petit nombre d’universités qui n’ont pas perdu de financement ». Or si la stupidité de cette déclaration est évidente (la prime c’est de ne pas perdre ce que l’on a déjà), aux oreilles des journaux italiens elle sonne comme une affirmation de légitime orgueil.

Pour obtenir ce résultat minimal – que l’on a réussi à faire passer pour un succès – on a mis en place les deux systèmes. Je suis sûr qu’un seul suffirait amplement pour parvenir au même résultat.