1Le 23 avril 1982, dans sa leçon inaugurale au Collège de France, Pierre Bourdieu prend le temps de rappeler en quoi toute classification anthropologique se démarque fondamentalement des taxinomies zoologiques ou botaniques, et a fortiori de toutes les formes de classifications physico-chimiques. Car ici, les objets classés, c’est-à-dire mis – ou remis – à leur place, sont également des sujets classants :

2

« Il suffit de penser à ce qui adviendrait si, comme dans les fables, les chiens, les renards et les loups avaient voix au chapitre s’agissant de la classification des canidés et des limites de variation acceptables parmi les membres reconnus de l’espèce et que la hiérarchie des caractéristiques retenues pour déterminer les rangs dans la hiérarchie des genres et des espèces soit de nature à commander les chances d’accès à la pitance, ou aux prix de beauté. Bref, au grand désespoir du philosophe-roi qui, en leur assignant une essence, prétend leur enjoindre d’être et de faire ce qui leur incombe par définition, les classés, les mal classés, peuvent refuser le principe de classement qui leur accorde la plus mauvaise place [1]. »

3On conçoit, dans ce cadre, que l’évaluation, dès lors qu’elle a pour vocation non seulement de distinguer, mais aussi de hiérarchiser les individus ou les groupes d’individus, porte à l’extrême une tension que le sociologue connaît d’autant mieux qu’elle traverse, en réalité, l’ensemble des situations et des rapports sociaux. Une tension que seule une vision non hiérarchisante de l’évaluation et/ou un consensus largement partagé sur les règles et critères susceptibles de fonder la légitimité de son regard peuvent contribuer à adoucir.

4L’ouvrage publié par Bastien Soulé, en s’intéressant au cas particulier de l’évaluation de la recherche (et plus spécifiquement encore des unités de recherche) dans le domaine multidisciplinaire des Sciences et techniques des activités physiques et sportives (STAPS), éclaire les difficultés à construire ce consensus. Il s’organise autour de la mise en exergue du constat d’un double hiatus. Un premier décalage est repéré entre, d’un côté, les préconisations ou recommandations internationales produites en matière d’évaluation de la recherche et, de l’autre, les choix réalisés dans le cadre du guide des produits de la recherche et des activités de recherche en STAPS publié par le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (Hcéres) en avril 2018. Dans la foulée, un second décalage s’esquisse dans la mise en œuvre de ce guide entre, d’un côté, le point de vue instrumenté des membres des comités d’évaluation Hcéres des unités de recherche en STAPS et, de l’autre, celui des membres de ces unités de recherche qui développent des travaux en sciences sociales.

Une vision de l’évaluation de la recherche à contre-courant

5On peut bien sûr s’interroger sur le fait que le groupe de travail chargé de rédiger le guide des produits et des activités servant de référence pour l’évaluation des unités de recherche en STAPS ne se soit pas donné pour objectif de produire un outil susceptible d’obtenir un large consensus auprès des communautés de recherche ciblées, a fortiori dans une section multidisciplinaire. L’absence d’unanimité du groupe sur le texte final en atteste. Le fait que les choix aient été effectués par quelques-uns (le groupe était constitué de huit professeurs d’université, uniquement des hommes), dans un délai raccourci, sans audit préalable auprès des communautés concernées ni information sur le travail en cours, suscite l’étonnement.

6Par-delà les interrogations formulées sur la méthode employée, et le mystère sur les motifs susceptibles de la justifier, c’est le résultat obtenu qui questionne. Car ledit guide prend in fine une orientation qui va à l’opposé des principales préconisations adressées en matière d’évaluation de la recherche depuis le milieu des années 2010. Ces préconisations, qui s’appuient sur des travaux démontrant les « fragilités structurelles » des outils bibliométriques (p. 23), sont réitérées de manière redondante dans la vingtaine de textes de recommandations (nationaux et internationaux) analysés par Bastien Soulé (pp. 26-31). Les faiblesses identifiées, liées au manque de stabilité des outils, se révèlent encore plus prégnantes pour l’évaluation des productions relevant des sciences sociales ; dans ce domaine, les travaux pointent par exemple les fortes variations interannuelles des quartiles dans lesquelles les revues sont classées dans le SCImago Journal Rank (SJR) ou les changements rétrospectifs de classement pour une même année.

7Bref, « le virage bibliométrique observé au sein de la section STAPS s’inscrit à contre-courant des évolutions repérées au niveau international » (p. 37). En 2018, il conduit à supprimer la liste de revues constituée précédemment par l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) en 2012, désormais considérée comme caduque. Pire, cette dernière est présentée par ses pourfendeurs comme ayant une utilité de « refuge » pour celles et ceux qui souhaitent échapper à la « compétition scientifique internationale » et aux exigences de l’excellence. Les spécialistes des sciences humaines et sociales sont-ils visés ? Bastien Soulé précise : « Quoique caricaturale, cette façon de voir semble relativement prégnante au sein de la communauté STAPS, sur fond de faible maturité épistémologique et de méconnaissance des travaux de recherche sur la bibliométrie d’impact » (p. 37). Elle ne correspond pas aux visions qui prévalent dans les autres sous-domaines des sciences humaines et sociales (SHS). Ainsi, les quatre délégués scientifiques du Hcéres en aménagement/urbanisme, sciences politiques, sciences de l’éducation et sociologie interrogés par l’auteur témoignent pour leur part « du rejet systématique, en leur sein, de tout référentiel bibliométrique standardisé, et de la centralité persistance, dans les procédures d’évaluation, des listes de revues initialement instaurées par l’AERES » (p. 25).

Un déclassement objectif des supports de publication en SHS

8Si le « virage bibliométrique » pris apparaît anachronique au regard des recommandations internationales en matière de « bonnes pratiques » d’évaluation de la recherche en SHS, et s’il s’opère en total décalage avec les choix faits dans les autres sous-domaines des SHS au Hcéres, il n’en produit pas moins des conséquences très concrètes. L’auteur propose ainsi une méthodologie pour objectiver les effets tangibles du changement de référentiel d’évaluation des produits de la recherche sur les productions en sciences sociales dans le sous-domaine des STAPS (SHS4_4), et notablement pour mesurer les implications factuelles de la disparition de la liste créée en 2012 sur la reconnaissance des revues en SHS dans l’évaluation des unités de recherche. Que deviennent les 155 revues de sciences humaines et sociales de cette liste après 2018 ? [2] Pour ce qui concerne les soixante revues de sociologie, d’anthropologie ou de sciences politiques, 28 % ne sont plus du tout prises en compte, 25 % se voient déclassées (c’est le cas de quinze revues, parmi lesquelles treize revues francophones, dont certaines très prestigieuses dans leur domaine disciplinaire), 40 % voient leur classement inchangé et seulement 7 % se voient revalorisées.

De l’origine du besoin d’incarner « la science » à l’impossibilité d’appréhender la diversité disciplinaire

9Mais comment saisir l’anachronisme du virage bibliométrique pris dans le sous-domaine scientifique SHS4_4 du Hcéres ? Que doit-il à la position que les STAPS occupent dans le monde académique et au regard porté par les autres acteurs de ce monde ? Par-delà la référence au poids grandissant du New Public Management et du « gouvernement par les instruments » dans le domaine de la recherche, l’ouvrage esquisse une première piste d’interprétation susceptible de donner sens à l’isomorphisme mimétique et à l’abus de l’usage des « machines à légitimer » (pp. 38-39). Le « populisme évaluatif » des STAPS et la « quantophrénie » associée (p. 38) puiseraient leur source dans un besoin de reconnaissance alimentant la soif de brevets de scientificité : les Sciences et techniques des activités physiques et sportives désireraient d’autant plus incarner la science que leur légitimité scientifique paraît socialement problématique. Par un étonnant paradoxe, ces dernières, plutôt que d’assumer la pluralité des disciplines qui les composent, se feraient ainsi chantres de LA science. Leurs dispositions bibliométriques, jusqu’à aller à contre-courant des recommandations internationales, seraient finalement un effet de champs – ou la conséquence d’un rapport de domination.

10Le second décalage que Bastien Soulé documente ne concerne plus un anachronisme lié à la position que les STAPS occupent au sein du monde académique, mais les rapports (internes) entre chercheuses et chercheurs des unités de recherche rattachés au sous-domaine SHS4_4 du Hcéres et/ou à la 74^e section du Conseil national des universités (CNU). En pointant l’écart de points de vue entre l’expert-évaluateur du Hcéres outillé du guide et les évalués produisant des recherches en SHS, il éclaire donc une certaine gestion institutionnelle de la multidisciplinarité. D’un côté, le regard instrumenté de l’évaluateur se donne pour froid, neutre et objectif, rappelant celui que Foucault [3] décrit à la naissance de la clinique. Par là, l’illusion de l’universel et le masque de la science, l’implicite déborde et les intérêts des uns et des autres se font rapidement jour. De l’autre côté, les évalués relevant des SHS témoignent de leur vécu subjectif, disent leur incompréhension, leur désarroi ou la manière dont ils s’efforcent de « jouer le jeu », reconnaissant parfois céder à l’hypocrisie afin qu’on les « laisse tranquilles » (p. 71).

11La distance qui se creuse entre l’œil de l’évaluateur et les ressentis des évalués met finalement en lumière les effets d’un exercice de police scientifique, loin de la perspective d’un échange symétrique entre pairs. L’évaluation apparaît ainsi dans sa dimension performative, dans les effets qu’elle produit, alors essentiellement décrits dans une logique de conversion (pp. 52, 65, 72, 75), au sens religieux du terme. Or ces effets pourraient tout aussi bien être appréhendés dans une logique de colonisation, à partir d’une grille de lecture plus politique et territoriale, ou bien dans une logique d’acculturation ou d’intégration, à partir d’une approche plus sensible à la dimension culturelle. Dans ce cadre, si Bastien Soulé ne remet jamais en cause l’intérêt d’une instrumentation de l’évaluation (c’est-à-dire de la nécessité d’outiller l’évaluateur), il pointe les dangers et dérives liés à son instrumentalisation (c’est-à-dire de son usage à des fins de pouvoir).

Renforcer l’histoire et la sociologie des STAPS pour cultiver la multidisciplinarité

12Un peu d’histoire des sciences suffit à convaincre que la multidisciplinarité n’est jamais allée de soi en STAPS. Les tensions entre le vital et le social s’inscrivent en fait dans l’histoire qui précède la naissance de cette jeune discipline académique, et qui se poursuit après et avec elle [4]. Dans les années 1970 et au début des années 1980, les SHS furent à son origine. Une bascule a lieu dans les années 1990, donnant de plus en plus de poids aux sciences du vivant et de l’ingénieur, au détriment des SHS [5]. Aujourd’hui, si la volonté de cultiver une approche multidisciplinaire existe, elle oblige à réfléchir sur les conditions sociales et institutionnelles qui lui sont favorables. Elle passe par une prise de recul et de hauteur qui implique de mobiliser des connaissances en matière d’histoire et de sociologie des sciences, dont l’histoire et la sociologie de l’évaluation scientifique sont parties prenantes. En 2012, Thierry Terret et Georges Vigarello tiraient déjà la sonnette d’alarme à propos d’un « déséquilibre de l’évaluation » [6]. Près de dix ans plus tard, Bastien Soulé montre que leur alerte n’a pas été entendue. Son travail laisse finalement entrevoir trois types d’enjeux articulés, à creuser :

13

1. Des enjeux théoriques et scientifiques liés à la poursuite d’un programme de recherche d’histoire et de sociologie des STAPS (donnant une place importante à la question des effets des pratiques d’évaluation de la recherche dans ce domaine).
2. Des enjeux politiques et institutionnels liés à la structuration de la recherche sur les activités physiques et sportives ; car par-delà l’impact de l’évaluation sur les carrières individuelles, les choix réalisés en matière d’évaluation affaiblissent l’écosystème de recherche en SHS sur le sport, alors même que les fortes retombées économiques et sociales de cette recherche (notamment en termes de formation) sont connues, a fortiori dans le contexte de Paris 2024.
3. Des enjeux épistémologiques liés à la place et au rôle des SHS dans la politique de la recherche et dans la gestion des grands défis sociaux et démocratiques du présent ; ici, par-delà l’exemple des STAPS, il s’agirait de montrer les conséquences des faux-semblants de la multidisciplinarité (dans l’évaluation des projets ANR comme dans les évaluations internes aux établissements et organismes) sur la tradition d’excellence qui caractérise les SHS en France.

Responsabilité et réflexivité de l’évaluateur : penser l’évaluation à la fois comme rapport social et comme mode de régulation des rapports professionnels

14En prolongeant ou en ouvrant un certain nombre de pistes d’analyse, l’ouvrage effectue des choix qui contribuent à délimiter son objet. On perçoit ainsi l’impact des décisions institutionnelles en matière d’évaluation de la recherche sur les interactions professionnelles grâce aux propos recueillis auprès des évalués. Faute d’observations détaillées des interactions en face à face lors des comités de visite du Hcéres, ni a fortiori de l’ensemble des interactions professionnelles impliquant ou évoquant la question de l’évaluation, on se demande finalement comment ces interactions sont affectées par le « virage bibliométrique » décrit. L’ouvrage ouvre finalement la voie à une sociologie interrogeant ce que les procédures et outils d’évaluation des travaux de recherche font aux relations professionnelles entre chercheuses et chercheurs en STAPS, laquelle reste à faire.

15De la même manière, en privilégiant l’analyse de la construction des points de vue des acteurs – qu’ils soient évaluateurs ou évalués – sur un plan cognitivo-rationnel et/ou affectif, l’ouvrage dit peu sur leurs caractéristiques sociales. Dans quelles trajectoires sociales s’inscrit le besoin de légitimité qui fonde l’isomorphisme institutionnel et le désir de conversion des dépositaires zélés de l’évaluation quantifiée ? Qu’est-ce que les dispositions sociales à évaluer ou à être évalué doivent au rapport entretenu par chaque acteur à l’objet scientifique (selon la culture disciplinaire qu’il a embrassée) et à l’objet sportif ? Sur ce point, Bastien Soulé suggère un lien entre dispositions sportives et représentation compétitive du fonctionnement académique (p. 95). Ce lien reste toutefois à éprouver, afin de mieux saisir les formes d’engagement dans la recherche en STAPS et ce qu’elles doivent, par exemple, au goût de la découverte et/ou à la quête de performance. Les controverses sur l’évaluation de la recherche gagneraient ici à être éclairées en prenant en considération les écarts de dispositions et de postures à partir desquelles l’activité de recherche est appréhendée.

16On l’a compris, la principale qualité de l’ouvrage présentée est d’inviter à penser le rapport d’évaluation comme un rapport social. Ni son auteur ni celui de cette recension n’échappent donc aux enjeux qu’ils tentent d’objectiver, qui sont liés à la nature même de « l’évaluation par les pairs » ; laquelle est fondatrice du travail scientifique. Tous deux s’apparentent à des savants se regardant en tant qu’indigènes, tout autant qu’à des indigènes essayant de penser leurs pratiques comme des savants. Bastien Soulé ne cherche à aucun moment à cacher son implication, tantôt comme participant au groupe de travail chargé de construire un guide d’évaluation des produits de la recherche, tantôt comme directeur d’une unité de recherche évaluée par le même guide. Il ne cherche pas non plus à en tirer un quelconque avantage ni à généraliser son expérience particulière. Cette dernière l’oblige au contraire à produire des données et à construire une pensée sociologique.

17Membre du bureau de la 74^e section du CNU depuis 2015 et directeur d’une unité de recherche pendant cinq ans, la lecture d’Évaluer la recherche multidisciplinaire a produit chez moi le sentiment d’étrangeté qui saisit l’indigène ethnographié, qui se reconnaît dans ce qu’il lit et qui apprend à mieux se connaître au fil des pages et de la mise en perspective de données qui éclairent sa compréhension de ce qu’engagent ses rapports professionnels. Elle a renforcé ma conviction que le rôle des sciences sociales est avant tout d’accroître la réflexivité des lecteurs, pour en faire des individus soucieux – faute de pouvoir être totalement conscients – et responsables de ce qui se joue dans leurs rapports sociaux. Il m’apparaît que l’élévation de cette réflexivité sur le rapport d’évaluation est seule garante d’une éthique de l’évaluation, c’est-à-dire d’un effort pour tenter d’échapper un peu à la règle selon laquelle « c’est presque toujours sous la conduite de prétendants au monopole du pouvoir de juger et de classer, souvent eux-mêmes mal classés, sous certains rapports au moins, dans le classement dominant, que les dominés peuvent s’arracher à l’emprise du classement légitime et transformer leur vision du monde en s’affranchissant de ces limites incorporées que sont les catégories sociales de perception du monde » [7].