1 – Introduction

1Une part très importante de la vie académique est dédiée à l’écriture et à l’évaluation de production scientifique et notamment de papiers académiques (Jauch et Wall, 1989). Les auteurs précisent dès 1989 qu’il n’y a plus nul doute concernant l’impact significatif des publications sur une carrière académique. Le processus de publication est indissociable du processus d’évaluation. Ce dernier a une portée toute particulière. En effet, la publication d’un article académique est un lieu de rencontre et de mise en perspectives multiples. Rencontre des points de vue, des attentes et des ambitions des auteurs, des rapporteurs, des éditeurs, et des lecteurs.

2Les évaluateurs peuvent assurer différents rôles (le gardien de la crédibilité de la revue et/ou le protecteur des auteurs). Deux styles sont qualifiés dans la littérature : les coachs et les critiques. Il est indiqué que ces deux styles sont tous deux appréciables, chacun visant à améliorer le papier mais avec un point de vue différent (Jauch et Wall, 1989 ; Beyer, Chanove, et Fox, 1995).

3L’évaluation est une tâche qui demande de l’engagement, qui est complexe et qui prend du temps. L’évaluation en elle-même est difficile à estimer et est ainsi peu valorisée dans un CV. Effectivement, on peut considérer qu’il y a des évaluateurs plus ou moins consciencieux. Néanmoins chacun lit l’article plusieurs fois et relit certaines parties de façon très approfondie. Le retour de l’étude réalisée par Jauch et Wall (1989) montre que certains évaluateurs portent plutôt l’attention sur la substance de l’article d’autres cherchent davantage à en identifier le potentiel et à l’orienter. Ces deux cas, encore une fois, sont considérés comme positifs et constructifs pour l’auteur malgré un point de vue différent.

4Bien évidemment l’investissement d’un auteur dans l’écriture d’un papier académique est tout à fait colossal. La valorisation des papiers académiques nécessite la reconnaissance scientifique par les pairs et sa publication. Le choix du support de publication, le journal académique, rend compte de la valeur de la recherche publiée.

2 – Les critères d’évaluation d’un papier scientifique

5Armstrong (2003) débute son papier par un dialogue entre un collègue et son jeune fils. Voici le dialogue :

6

« Papa quel est ton métier ? ».
« Je suis un scientifique en management »
« Et que font les scientifiques en management ? »
« Ils découvrent des choses »
« Et qu’as-tu découvert ? »

7Armstrong indique que la discussion a ensuite rapidement pris fin. Comment estimer le résultat d’une recherche ? Certes les revues scientifiques sont classées en fonction de leur capacité à être structurante dans un champ. L’introduction des classements FNEGE et CNRS définissent les rangs des revues en introduction (avant de présenter la liste des revues classées). Ainsi, on retrouve en rang 1 les revues qui jouent un rôle structurant dans le champ, elles sont les « plus remarquables » et présentent une capacité à organiser un arbitrage transparent et très sélectif. Les papiers publiés dans ces revues sont « particulièrement remarquables ». Les revues de rang 2 sont des revues « à forte sélectivité avec un processus d’arbitrage exigeant et transparent ». Les revues de rang 3 et de rang 4 sont également des revues avec un processus d’arbitrage transparent et exigeant, elles se distinguent par un degré de sélectivité moindre. Et dans le cas des revues de rang 4 il est indiqué qu’il y a bien des contributions originales mais destinées à « des communautés plus restreintes » (Classement CNRS page iii). En complément, le classement FNEGE (page 10) insiste sur la gouvernance de la revue, les processus internes d’évaluation, et la reconnaissance externe de la revue. Ainsi, en fonction de la revue et de son rang, le rôle de l’évaluateur et son exigence en termes de contribution peuvent varier.

8Une façon de définir une contribution scientifique est qu’elle doit être communiquée et partagée par d’autres scientifiques. En dépit des critiques émises, les revues scientifiques restent une voie majeure de communication qui permet aux scientifiques de véhiculer leur recherche, les résultats de leur recherche aux autres scientifiques de la communauté/discipline. Ainsi, la façon dont une revue a de sélectionner les papiers qui sont publiés a un effet critique à la fois sur la carrière individuelle des scientifiques mais également sur le champ/la discipline (Beyer, Chanove et Fox, 1995), et sur la réputation et le classement des revues.

9De son côté Armstrong propose trois critères issus de son analyse de la littérature en marketing. Ainsi, les résultats, selon lui, devraient être potentiellement dotés des qualités suivantes : la réplication, la validité, et l’utilité. Un quatrième critère peut selon le cas être la surprise. Des résultats surprenants peuvent également être considérés comme importants dans certaines situations.

10La réplication et la validité renvoient à la rigueur de la démarche scientifique alors que l’utilité renvoie à la pertinence des résultats. Il n’est pas toujours aisé de les concilier au sein d’un même support de publication. En effet, la pertinence renvoie à l’implication managériale des résultats et trouve toute sa place dans les revues à caractère professionnelle et les rapports d’expertise par exemple. La rigueur est une condition nécessaire à la démarche scientifique et fait davantage référence à la publication académique où un lectorat issu de la communauté scientifique est la cible (Kelemen et Bansal, 2002 ; Willmott, 1994).

3 – L’évaluation par les pairs

11L’évaluation en double aveugle est largement utilisée quel que soit le domaine scientifique pour évaluer la valeur des nouvelles connaissances contenues dans les articles soumis à publication. Les chercheurs spécialistes du domaine évaluent la qualité des idées, la rigueur empirique, et les contributions globalement proposées dans un papier. Par essence, l’évaluation en double aveugle par les pairs joue le rôle de garant en aidant à filtrer les travaux de qualité inférieure (Crane 1967 ; de Grazia 1963). En faisant cela les pairs aident à protéger l’intégrité de la discipline.

12Miller (2006, page 425) utilise la fameuse phrase de Winston Churchill pour qualifier le système d’évaluation par les pairs en double aveugle : « Il est le pire système à l’exception de tous les autres ». Ce système repose sur le jugement humain, il comporte ainsi des risques. L’un est l’abus de critiques très dures. Les commentaires agressifs à l’encontre d’une méthodologie, d’une posture théorique sont souvent inutiles et inefficaces. Starbuck (2003) énonce un autre péril qui est celui que, dans certains cas, l’évaluateur quitte son rôle d’évaluateur pour celui de mentor de la discipline ce qui biaise également le jugement. Un autre risque encouru par le système d’évaluation par les pairs est celui du désaccord entre évaluateurs. Lorsqu’il y a désaccord entre les rapporteurs, c’est au rédacteur de prendre la décision ou il peut choisir de faire appel à un rapporteur tiers (comme cela se pratique dans d’autres revues). En ce qui concerne la revue CCA, lorsqu’il y a désaccord, en général, c’est le rédacteur en chef qui arbitre et prend la décision. Miller (2006) indique qu’il est assez courant de se retrouver face à des avis divergents. C’est le cas pour la revue CCA. Sur la période 2012-2015, environ 45 % des articles évalués sont soumis à l’arbitrage du rédacteur car les deux évaluateurs sont d’avis divergents. Néanmoins, il faut relativiser ce chiffre par le fait que les avis sont certes divergents, mais dans 97 % ils le sont faiblement. Et à la lecture des appréciations, souvent cette divergence tend encore à se restreindre (ont été considérées comme faiblement divergentes des appréciations de papier pour le premier tour : révisions majeures et rejet, révisions majeures et révisions mineures).

4 – L’évaluation : une vraie belle opportunité pour l’auteur

13Starbuck (2003, page : 344) s’est formulé une règle pour lui-même, Sa règle d’Or : « “No reviewer is ever wrong !”. Une traduction de cette règle d’or pourrait être : « une évaluation est toujours instructive ! ».

14Déclarer que les commentaires des examinateurs ne se trompent jamais peut sembler irrationnel, mais cette irrationalité, apparente, attire l’attention sur une vérité plus fondamentale selon Starbuck (2003). Pour lui, chaque rédacteur et chaque évaluateur font partie d’un échantillon non représentatif de lecteurs. Les examinateurs lisent probablement avec plus d’attention et d’intérêt que ne le font la plupart des lecteurs les articles. L’objectif central de sa règle d’or est de se forcer à considérer les commentaires non comme des jugements sur la valeur de la recherche ou la qualité de l’écriture, mais plutôt comme des données issues d’un auditoire potentiel pour son article. Ainsi, Starbuck considère le rédacteur de la revue et les évaluateurs comme un public particulier, aguerri et attentif. Selon lui, il constitue une formidable opportunité.

15Il l’explique (page 345) : si un réviseur interprète mes propos d’une manière différente à ce que j’escomptais, d’autres lecteurs, peut-être beaucoup d’autres lecteurs, sont susceptibles également d’interpréter différemment mes propos ce qui crée de l’incompréhension. Ainsi, pour Starbuck un rapport évaluant un papier constitue des données, des données considérées comme pertinentes car produites par des experts qui ont pris le temps de lire. Il s’agit également de données rares car il est très difficile d’obtenir des données libres et formalisées qui rendent compte de la réaction de lecteurs. De façon très logique Starbuck conclut ainsi « et de bonnes données ne peuvent jamais être mauvaises ».

16Toutefois, il attire l’attention sur sa règle d’or qui ne signifie pas qu’il faut toujours faire ce que les réviseurs préconisent, mais certainement mieux l’expliquer. Le risque est qu’un rapport hiérarchique s’installe entre l’auteur/les auteurs d’un papier et les évaluateurs. En effet, c’est au rédacteur d’estimer les arguments, le statut d’auteur ou le statut d’évaluateur ne donne pas d’avantage dans l’argumentaire.

5 – Conclusion

17Cet éditorial est le premier que nous écrivons tous les trois. Avec Isabelle Martinez nous avons proposé à Vedran Capkun d’étendre son domaine de responsabilité. Il poursuit son action en tant que co-rédacteur en chef. Ainsi, l’équipe éditoriale est constituée, pour cette période, de trois co-rédacteurs en chef. Nous profitons de cette occasion pour remercier tout particulièrement, Jérôme Méric qui a la charge de la revue des livres et Marie-Astrid Le Theule pour la revue des thèses. Nos remerciements concernent également les membres du comité éditorial. Nous sommes ainsi heureux d’y accueillir Stéphanie Chatelain-Ponroy et Samuel Sponem. Nous remercions l’ensemble des lecteurs de CCA et notamment ceux qui utilisent les papiers publiés dans CCA pour construire leur revue de la littérature et développer leurs propres recherches. Un remerciement bien évident pour les auteurs qui choisissent la revue CCA pour la publication de leurs articles et les évaluateurs. Cet édito leur est dédié.