2.1. De quelques invariants internationaux en matière de diffusion scientifique en SHS

9Figures reconnues de la recherche en sciences sociales sur les activités physiques et sportives, Terret et Vigarello (2012) dressent le constat suivant : « Dans le domaine des sciences sociales, les critères de qualité (« excellence ») d’une production scientifique ne sont pas forcément, à ce jour, la publication en langue anglaise. La reconnaissance de cette spécificité (qui ne doit pas nous exonérer de l’effort de faire connaître nos travaux en publiant occasionnellement en anglais) est nécessaire. » Pour mieux comprendre l’exception dont il est question et décentrer l’analyse de la seule question linguistique, il convient d’appréhender d’autres spécificités des sciences sociales en matière de diffusion des travaux de recherche. Sivertsen (2016) souligne à ce propos l’existence de particularités transnationales. Quel que soit le pays, les objectifs de recherche en sciences sociales sont souvent ancrés dans le local et/ou tournés vers l’impact sociétal. Par conséquent, les chercheurs souhaitant remplir correctement leurs missions, présenter clairement leurs résultats et toucher efficacement les publics adéquats sont amenés à privilégier une diffusion de leurs travaux via des canaux hétérogènes : articles dans des revues internationales, mais aussi nationales, professionnelles ou grand public, ouvrages, rapports, etc. Des convergences internationales se dessinent ainsi : en sociologie et en histoire, par exemple, 45 % des publications en Belgique et en Norvège sont des articles dans des revues scientifiques ; un peu moins d’un tiers sont des chapitres d’ouvrages, mais la moitié des chercheurs utilisent ce type de support pour diffuser leurs travaux. Les deux tiers des sociologues qui écrivent dans des revues scientifiques utilisent en parallèle d’autres supports de publication.

10Par ailleurs, dans tous les pays, publier dans sa langue natale est bien plus fréquent en SHS que dans les sciences expérimentales ou médicales (Sivertsen, 2016). En Norvège comme en Belgique, la majorité des publications en SHS sont en anglais et dans des revues scientifiques ; mais la majorité des chercheurs de ce champ publient aussi des ouvrages et/ou articles dans leur langue natale. Il s’agit en fait d’une norme observable dans la plupart des pays. Se tourner vers l’international sert à échanger avec un petit nombre d’experts, dans des domaines spécialisés, afin de contribuer à des développements théoriques et méthodologiques. Alors que publier dans des revues nationales (un tiers à 50 % des productions d’articles) permet d’échanger autour de thématiques spécifiques à des contextes ou intérêts nationaux (renvoyant à une des raisons d’être des sciences sociales). Pour résumer, en SHS et plus particulièrement en sciences sociales, les différents supports de valorisation se complètent, davantage qu’ils n’entrent en concurrence (Sivertsen, 2016). Ces normes et pratiques, également constatées dans de nombreux autres contextes nationaux  [6](Van Leeuwen, 2006 ; Nederhof, 2006 ; Ossenblok et al., 2012 ; HEFCE, 2014 ; Ochsner et al., 2016a ; Pölönen et al., 2017), contribuent à soustraire à la mesure bibliométrique une partie considérable de la production en SHS (notamment celle qui contribue à la pertinence sociétale de ce domaine  [7]).

11La diversité des cultures scientifiques, consubstantielle des STAPS, devrait inciter à tenir compte de telles spécificités. Pour autant, la description faite par Terret et Vigarello (2012) semble indiquer que l’on est loin du compte : « Les modes d’évaluation de l’excellence scientifique sont fondés en priorité sur des modèles bibliométriques qui, malgré leurs limites reconnues en sciences sociales, sont imposés à tous comme une norme. » Pour dépasser une explication en termes de particularisme des SHS, la teneur des modèles bibliométriques dont il est question doit être abordée : dans quel but et comment sont-ils construits ? Que permettent-ils d’appréhender ? De quelles limites sont-ils porteurs ?

2.2. La mécanique des métriques internationales

12Eugene Garfield a créé l’IF  [8]dans les années 1950 pour permettre aux bibliothécaires de cibler leurs abonnements vers les revues scientifiques publiant les articles les plus cités (Pulverer, 2015 ; Bornmann & Werner, 2016). Bien qu’il ait très tôt envisagé l’utilisation de cet indicateur à des fins d’évaluation des chercheurs (Pontille & Torny, 2017), son intention initiale n’était pas de contribuer à la mesure de la qualité de la recherche ou de la valeur des contenus d’une revue. La banalisation de cet indicateur assez rudimentaire à des fins d’évaluation relève donc d’un usage détourné, ce qui explique bien des inadéquations et approximations largement documentées (Pendlebury, 2009 ; Hicks et al., 2015 ; HEFCE, 2014 ; Gingras, 2014 ; Pansu et al., 2013 ; Pontille & Torny, 2013).

13Autant d’insuffisances ayant récemment amené le CNRS (2015) à mettre en avant sa volonté d’en finir avec les nombreux usages impropres de la bibliométrie, l’utilisation abusive et biaisée des indicateurs de citation et de mesure d’impact.

14Plusieurs spécificités des sciences sociales se répercutent négativement sur les scores d’impact des revues de ce champ, particulièrement bas quelle que soit la BDD prise en considération (Gingras, 2014) : nombre élevé de revues scientifiques en SHS ; rythme de publication plus faible que dans les sciences expérimentales et biomédicales (Pansu et al., 2013) ; fréquentes références à des ouvrages et chapitres d’ouvrage, aux côtés des mentions faites à des articles de revues (Gingras, 2014)  [9] ; calcul de l’IF sur une période de 2 ans peu cohérent avec la temporalité des avancées théoriques en sciences sociales (plus lente qu’en sciences de la nature)  [10]. L’IF est donc « aveugle » à la majorité des citations faites à des travaux relevant des disciplines des sciences sociales, a fortiori quand l’auteur écrit en français, privilégie des méthodes qualitatives (Vogel et al., 2017) et des approches interprétatives (Andrews, 2008). Il ne fonctionne en fait que pour les disciplines dans lesquelles les BDD contiennent non seulement les travaux citant, mais aussi la majorité des travaux cités. Une double condition présente dans près de 100 % des cas dans les disciplines relevant des SVS, mais seulement dans 40 à 60 % des cas en mathématiques ou en économie, et dans une proportion encore moindre dans les sciences sociales et les Humanités (Krull & Tepperwien, 2016). Gingras (2014) en conclut que les BDD comme le WoS mais aussi Scopus ne constituent pas des standards pouvant s’appliquer à tous les domaines disciplinaires.

15Les partisans de l’usage du SJR à des fins d’évaluation de la recherche en SHS voient dans cette métrique une alternative à l’IF, au motif que Scopus serait davantage intégrateur de revues relevant des sciences sociales et/ou publiées dans d’autres langues que l’anglais. Tous périmètres disciplinaires confondus, Scopus couvre effectivement davantage de revues scientifiques que le WoS (près de 23 000 titres en 2016, contre environ 13 000 pour son concurrent). La couverture des sciences sociales par le SJR demeure néanmoins limitée (Sivertsen, 2016) et peu satisfaisante (Mongeon & Paul-Hus, 2016), du fait de l’hétérogénéité des supports de diffusion des connaissances utilisés en SHS (Hicks, 2004 ; Archambault et al., 2006 ; Engels et al., 2012 ; Sivertsen, 2014), mais aussi de faiblesses structurelles propres à Scopus (comme la couverture incomplète des articles parus dans certaines revues) (CNRS, 2015). En résultent une faible précision de Scopus pour les SHS  [11](Hicks & Wang, 2011 ; Nederhof, 2006) et de fortes divergences entre disciplines au sein de ces dernières (Sivertsen, 2016). En 2009, Schöpfel et Prost (2009) observaient que la seule différence significative entre le SJR et le JCR, à propos de l’intégration des titres français, était la meilleure couverture du premier pour la médecine et la pharmacologie. Au final, les biais générés par Scopus sont donc proches de ceux, bien connus, du WoS, et les classements de revues diffèrent du reste très peu entre ces deux référentiels (Manana-Rodriguez, 2015). Sivertsen (2016) décrit même une tendance au déclin du taux de couverture des revues de SHS par Scopus, du fait du rythme élevé de création de nouveaux titres. Mobiliser le WoS ou Scopus à des fins d’évaluation dans une section interdisciplinaire introduit donc des biais qui défavorisent les SHS (Mongeon & Paul-Hus, 2016).

16L’ouverture du SJR aux revues non anglophones reste également limitée. Harzing et Alakangas (2016) soulignent même l’invisibilité des chercheurs non anglophones sur le WoS et sur Scopus.

17L’un des avantages concurrentiels mis en avant à propos du SJR est sa capacité à classer par quartiles les revues au sein de nombreux périmètres disciplinaires et thématiques, pour une meilleure prise en compte des spécificités de chaque champ. Un argument de prime abord recevable pour niveler les effets démographiques évoqués supra, qui font que les revues de certaines disciplines (physiologie par exemple) ont mécaniquement un score d’impact supérieur à d’autres (psychologie par exemple). Toutefois, la manière dont Scopus ventile les revues entre périmètres est floue, quand elle ne génère pas de flagrantes erreurs  [12]. Par ailleurs, comme déjà évoqué à propos du JCR (cf. tableau 1), le classement par quartiles proposé par le SJR ne permet pas une comparaison interdisciplinaire fiable (Schreiber, 2013 ; Manana-Rodriguez, 2015). L’instabilité dans le temps du SJR est également problématique en termes d’évaluation : les scores et classements par quartiles qui en découlent évoluent sans offrir une traçabilité stable des rankings antérieurs, générant des modifications rétrospectives de classement (Manana-Rodriguez, 2015).

18Enfin, même si elle fait l’objet de critiques (Rossner et al., 2007), la méthode de calcul de l’IF est simple et connue. À l’inverse, la méthodologie et l’algorithme qui structurent un indicateur comme le SJR ne sont pas seulement plus (et trop) compliqués (Falagas et al., 2008) ; ils sont aussi flous. Cette métrique est censée intégrer deux variables pondératrices qui la distinguent de l’IF : le prestige des revues citant les articles d’autres revues (exprimé par un bon classement dans le SJR) ; la proximité thématique (évaluée via Scopus) entre les revues citant et les revues citées (HEFCE, 2014). Sans juger du bien-fondé de la proposition, la « mécanique » mise en œuvre pour ce faire demeure à bien des égards mystérieuse, à propos de ce qui est réellement mesuré comme de la manière dont s’effectue la mesure (Manana-Rodriguez, 2015). Le caractère récursif de l’algorithme à l’origine du premier indicateur interroge les spécialistes de bibliométrie, qui déplorent, d’une part, un manque de définition de la dimension « prestige », et, d’autre part, une absence d’éléments méthodologiques clairs quant à cette mesure. On peut néanmoins inférer que ce qui confère du prestige à une revue scientifique, et par conséquent aux revues que cette dernière cite, c’est le nombre de citations qu’elle reçoit de la part d’autres journaux évalués selon le même processus (Manana-Rodriguez, 2015). Dans les faits, en dépit de la publication de l’algorithme  [13], nul n’est en mesure, à l’extérieur du groupe Elsevier (propriétaire de la BDD Scopus), de valider ou répliquer les résultats mis en avant via cette métrique. Or, quelles que soient les métriques développées, la moindre des exigences est que les données sur lesquelles elles s’appuient puissent être auditées par la communauté évaluée par ce biais (Pulverer, 2015).

2.3. L’indépendance des BDD et des producteurs de métriques

19Thomson-Reuters, propriétaire de l’ISI et du WoS, n’est pas producteur de contenus scientifiques. À l’inverse, Elsevier produit diverses métriques (dont le SJR) et est par ailleurs le leader mondial de l’édition scientifique (avec un Chiffre d’Affaires de plus de 2,5 milliards d’euros en 2014 et une profitabilité très élevée). La suspicion de conflit d’intérêts, soulevée par des experts en bibliométrie comme Bergstrom et West (2018), fait peser un doute sur l’objectivité des métriques proposées par Scopus, qui appartient au groupe Elsevier. À titre d’exemple, la dernière métrique lancée par Scopus Metrics (CiteScore, fin 2016) a pour effet perturbant de « dégrader » la valeur des revues du groupe Nature (propriété de Springer, concurrent d’Elsevier) de 40 % par rapport à ce que suggérait jusque-là l’IF de ces revues. Inversement, CiteScore fait bénéficier les titres du groupe Elsevier d’un gain de 25 %, selon le même critère. Bergstrom et West (2018) ont établi ce constat en comparant les deux métriques sur la base d’un échantillon de près de 10 000 revues scientifiques. En soi, le double positionnement d’Elsevier est problématique étant donné que cette entreprise contrôle des métriques qui évaluent ses propres revues et celles d’éditeurs concurrents. En France, le CNRS a officiellement sensibilisé la communauté scientifique quant à l’ambiguïté de cette situation : « Les usages bibliométriques demeurent aujourd’hui encore largement dépendants des stratégies éditoriales et commerciales de l’édition scientifique internationale » (CNRS, 2015, p. 14).

4.1 Analyse des préconisations institutionnelles pour l’évaluation de la recherche en SHS

25Les conclusions émanant de la quinzaine de documents analysés ci-après sont fortement redondantes. Adossés à des expériences concrètes d’évaluation, ces rapports tirent aussi les leçons des résultats de recherches menées sur la bibliométrie d’impact. Les métriques dominantes sont considérées comme inadaptées à une évaluation transparente, claire, précise, juste, constructive et responsable dans les SHS, fragilisant les prétentions de comparaisons interdisciplinaires élargies. La recommandation la plus fréquemment formulée est de recourir à des critères et indicateurs pluriels, adaptés à chaque champ disciplinaire.

26Le tableau 3 synthétise le contenu des documents produits en France, alors que le tableau 4 s’intéresse à quatre rapports d’autres pays.

27L’injonction à ne pas se fier outre mesure aux indicateurs bibliométriques fournis par le WoS ou Scopus est claire, en raison de leur caractère non exhaustif, de l’existence d’autres BDD plus adaptées ou de formes de publications échappant à leur hégémonie (Peer Community In, revues nationales ou régionales, supports de diffusion auprès du monde socio-économique, revues professionnelles ou techniques, etc.). Le caractère parfois très biaisé des différents facteurs d’impact fournis par ces BDD est clairement évoqué, notamment à propos des revues en open access. Il est donc conseillé d’utiliser ces indicateurs non étalonnés avec discernement et de leur préférer l’appréciation qualitative, notamment pour déceler l’originalité et le caractère novateur des recherches  [15].

28De nombreux autres rapports et comités avancent des analyses et recommandations semblables, en Suisse  [16], en Allemagne  [17], au niveau de l’Union européenne  [18]ou encore de l’UNESCO  [19]. Les risques d’une définition étroite de la valeur de la recherche et du recours systématisé à un jeu limité d’indicateurs sont clairement posés : cela peut conduire à accorder la priorité à ce qui est facilement mesurable, au détriment de ce qu’il est important et/ou souhaitable de faire en recherche  [20].

4.2 Analyse des effets du virage bibliométrique opéré en STAPS pour les sciences sociales

29Nous avons testé les effets de la double évolution soulignée sur un échantillon précis : les revues de sciences sociales présentes sur la liste AERES STAPS 2012. Quatre domaines ont été distingués : sociologie, anthropologie et sciences politiques (n = 60 revues dont 38 % de titres anglophones) ; management et gestion (n = 24 à 54 % anglophones) ; histoire (n = 26 à 69 % anglophones) ; sciences de l’éducation (n = 50 à 82 % anglophones)  [21]. Une recherche systématique de chaque revue a été faite dans le SJR : présence ou absence, quartile (en retenant le meilleur en cas de référencement dans plusieurs domaines), écarts avec le classement 2012 (en considérant les 3^e et 4^e quartiles du SJR comme le niveau 3 AERES). Quatre états ont été attribués à chaque revue : stabilité, disparition, déclassement et promotion. Pour les deux derniers états, l’écart a été quantifié (nombre de rangs perdus ou gagnés).

30Une première analyse de ce que produit le passage au SJR a été réalisée en avril-mai 2016, offrant une visibilité sur les classements par quartile des années 2011 à 2014. Une seconde analyse, effectuée en février-mars 2018, a permis de solidifier cette comparaison tout en étendant la période couverte aux classements 2015 et 2016.

317% des revues de sociologie, anthropologie et sciences politiques bénéficient d'un classement amélioré via le SJR ; cependant, 28 % ne sont plus référencées et un quart se trouvent rétrogradées. À ce propos, il est à noter que les 15 revues déclassées (parmi lesquelles 13 francophones) ne perdent pas seulement un rang, mais, en moyenne, 1.4 échelon (moyenne de l’écart entre le classement AERES STAPS 1, 2 ou 3 et le classement SJR Q1, Q2 ou Q3/Q4).

32Pour les revues anglophones, le passage au SJR n’a pas d’incidence majeure, mais il assoit une très nette domination : 81 % d’entre elles, lorsqu’elles sont couvertes par le SJR, sont classées Q1 ; aucune n’est classée Q4 ; et ce sont les seules à progresser en termes de classement (n = 4).

33À l’inverse, 76 % des titres francophones (y compris les plus prestigieux) sont concernés par une disparition ou un déclassement. Sur les 22 titres francophones figurant dans le SJR, un seul est classé Q1, 18 % Q2, 73 % Q3 et 9 % Q4.

34Ces résultats attestent d’une différence de traitement, en termes de présence comme de classement dans le SJR, entre revues francophones (très largement confinées au Q3) et anglophones (trustant le Q1).

35Près de la moitié des revues de gestion et de management auparavant référencées dans la liste AERES STAPS ne sont pas couvertes par le SJR. Ces disparitions concernent une revue anglophone sur 13 et 10 revues francophones sur 11 (seule la Revue Française de Gestion reste référencée). Par ailleurs, seules des revues anglophones sont promues. Enfin, un effet très manifeste est constaté en termes de classement des revues répertoriées dans le SJR : 77 % des revues anglophones sont classées Q1 et Q2 (fréquemment au terme de promotions d’un ou deux rangs) contre 0 % des revues francophones.

36Pour les revues d’histoire, il est moins question d’un traitement différencié des revues anglophones et francophones que d’un déclassement généralisé à ces deux sous-ensembles. 35 % des revues repérées sont déclassées et 23 % (presque exclusivement anglophones) disparaissent. 15 % seulement (toutes anglophones) sont promues.

37Particularité notable, plus d’un tiers des revues de sciences de l’éducation sont promues. Une fois encore, cela concerne exclusivement des revues anglophones (n = 17), à une exception près. La moitié des revues promues gagne 2 rangs, passant d’un classement 3 AERES au Q1 du SJR. À deux exceptions près, toutes les revues francophones relevant de cette discipline sont ipso facto écartées en étant classées dans le Q4 ou en disparaissant.

38D’un point de vue général, l’édition annuelle d’un score d’impact assorti d’un classement par quartile amplifie l’ambiguïté de l’outil. En effet, les variations interannuelles de quartile sont fréquentes, en particulier pour les revues francophones et/ou classées Q3 et Q4. À titre d’exemple, au sein du sous-échantillon des revues de sociologie, anthropologie et sciences politiques, 42 variations (majoritairement à la baisse) sont constatées pour les revues francophones, dont 31 entre les Q3 et Q4 ; alors que seules 10 variations (majoritairement à la hausse) sont observables pour les revues anglophones. Le constat interpelle d’autant plus qu’à l’évidence, la qualité d’une revue scientifique n’oscille pas radicalement d’une année sur l’autre. Ne pas disposer d’un outil stabilisé introduit un aléa problématique du point de vue, notamment, des stratégies de publication (ciblage des revues). Cela rend aussi inconfortable la rédaction de bilans d’activité : faut-il mentionner le classement de la revue au moment de la soumission d’un article, de son acceptation ou de sa publication ?

39Notre examen en deux temps (2016 et 2018) dévoile par ailleurs des changements rétrospectifs de classement, pour une seule et même année de référence : par exemple, en 2016, une revue classée Q2 pour l’année 2013 peut figurer au sein du Q3 pour la même année en 2018. Sur les 76 revues de sciences sociales répertoriées par le SJR  [22], 15 modifications rétrospectives de ce type ont été observées, touchant 20 % des titres. Dans le détail, 13 changements à la hausse ont été constatés (revues anglophones exclusivement) et 2 à la baisse (un titre francophone et un germanophone). De tels changements renforcent le caractère instable et évolutif d’un outil censé objectiver la mesure.

40En prenant comme point de départ une liste de revues élaborée au terme de consultations élargies au sein de la communauté des STAPS, le constat dressé est en tout point opposé à celui qui souligne l’ouverture du SJR aux revues de sciences sociales et/ou non anglophones. Les effets produits au sein des quatre groupes de revues explorés devraient inciter à la prudence : il semble inopportun, à ce jour, de faire du SJR un outil d’évaluation systématique pour la section des STAPS. Celui-ci s’apparente en effet à une « boîte noire » qui maltraite les revues de sciences sociales (notamment francophones) qui, jusqu’à 2017, faisaient référence dans cette communauté ; il survalorise à l’inverse de nombreuses revues anglophones qui n’étaient pas, jusqu’alors, considérées comme des supports de premier plan. Le déclassement produit est d’autant plus problématique qu’il se combine à la propension de plus en plus forte, lors des évaluations réalisées au sein de la 74e section du CNU et par le HCERES, à considérer les classements Q1 et Q2 des revues comme des indicateurs de qualité particulièrement élevée des articles publiés. Entreprendre ce virage et l’imposer à des disciplines hétérogènes, dont les représentants ne partagent pas les mêmes points de vue sur l’excellence et les modes de diffusion adéquats des résultats de recherche, éloigne automatiquement d’une évaluation fine par les pairs.