1Ce numéro 40 de Sociologies Pratiques participe aux réflexions récentes sur les transformations du travail en s’intéressant aux rapports qu’entretiennent les travailleurs avec les dispositifs de quantification dont ils sont l’objet et qu’ils participent à produire. En privilégiant l’approche ethnographique, l’objectif de ce numéro est de comparer des processus d’évaluation dans différentes institutions (administration pénitentiaire, lycée, police, travail social) et entreprises qui ont fait l’objet d’enquêtes empiriques (presse, banque, cabinet de conseil). Nous réunissons ici sept études de cas qui partagent une même approche méthodologique fondée sur l’observation et la contextualisation des interactions, de façon à décrire et à expliquer les appropriations et les critiques des outils d’évaluation chiffrés. [1]

2Comme l’a particulièrement rappelé l’attribution du prix spécial de la banque de Suède en mémoire d’Alfred Nobel à l’économiste Esther Duflo, on constate en ce début de siècle une multiplication des évaluations dites objectives pour justifier différentes orientations – parfois contradictoires – des politiques éducatives (Pons, 2018), d’insertion (Simha, 2015), de l’emploi (Vivès, 2019), ou encore de développement (Jatteau, 2013). Foule d’observateurs évoquent aujourd’hui le fait que nous serions entrés dans une ère où les outils d’évaluation réputés objectifs font désormais autorité dans l’organisation du travail. Cela aurait pour conséquence une efficacité toujours plus grande de l’activité. Cette hypothèse fait écho aux conclusions de Max Weber quant à la fatalité, qu’on la souhaite ou non, de la progressive rationalisation des bureaucraties (Weber, 1995). La question mérite toutefois d’être éprouvée au regard d’enquêtes empiriques.

3Par l’attention accordée aux usages et à l’influence des dispositifs d’évaluation chiffrée dans le cours du travail, les contributions à ce dossier se situent dans le sillon tracé par différents courants de recherche empirique. La sociologie historique de la quantification, tout d’abord, a largement contribué à dénaturaliser la production et l’usage des « grands nombres » ainsi que leur caractère consubstantiellement politique et technique (Desrosières, 1993), le recensement participant, par exemple, à constituer une nation (Didier, 2009) ou le pib participant à faire de la richesse nationale un levier d’intervention politique (Fourquet, 1980). Les articles ici réunis contribuent également au champ de la sociologie de la gestion (Maugeri et Boussard, 2003 ; Metzger, Maugeri et Bachet, 2013) et de l’évaluation (Lamont, 2012). La composante critique de ces travaux peut toutefois se situer à un niveau de généralité qui lui permet de faire l’économie de l’analyse compréhensive du travail des évaluateurs. C’est sur ce plan qu’un détour par l’observation des pratiques nous paraît utile : ce détour permet de montrer comment « fonctionne » en actes l’évaluation chiffrée, et avec quelles limites elle est mise en œuvre ; il permet aussi de montrer comment les acteurs adhèrent et critiquent tout à la fois certains usages du chiffre dans le cours de leurs activités.

4Pour renouveler le regard, les auteurs ici réunis partagent une approche ethnographique de leur objet, c’est-à-dire une observation directe des collectifs de travail dont ils chroniquent les échanges. Les contributions de ce dossier proposent ainsi de répondre aux interrogations suivantes : quels rapports les travailleurs entretiennent-ils aux outils de mesure ? Comment jugent-ils leurs outils de jugement ? Que nous révèle l’analyse de l’activité des résistances à la quantification ou au contraire de son acceptation ? Dans quelle mesure les acteurs acceptent-ils la contrainte exercée par les chiffres, tout en développant des trésors d’ingéniosité pour batailler avec eux, voire les détournent ou les subvertissent ?

Une ethnographie de l’évaluation en actes

5Les différentes contributions ici réunies proposent une approche compréhensive de l’évaluation. Cette nouvelle livraison de Sociologies Pratiques s’inscrit donc dans la continuité du dossier « Ficher et mesurer » du numéro 22 de la revue (Mouhanna, 2011), à la différence près que nous visons ici des travailleurs qui, tout en étant l’objet de tels fichages et de telles mesures, participent également à les construire et à les interpréter. L’intérêt d’une telle démarche nous paraît d’autant plus grand dans l’étude des mondes du travail et des professions que les différents dispositifs d’aide à la décision y prolifèrent. Les outils d’évaluation se présentent en effet de plus en plus comme tissés avec l’action, par des logiciels, des outils ou encore des procédures, là où ils relevaient traditionnellement de pratiques extérieures (enquêtes, audit, carottage, etc.) (Bardet et Jany-Catrice, 2010). Même dans les secteurs où les instruments semblent les plus puissants comme dans les finances publiques (Douat, 2019), on ne peut se passer d’un travail sur le paramétrage, c’est-à-dire sur un type de modélisation du monde façonné en partie par les outils. Les analyses de ces recours aux chiffres dans l’activité de travail s’inscrivent donc également dans une sociologie des dispositifs que nous entendons, à la suite de Michel Foucault, comme « un réseau hétérogène d’un ensemble d’éléments qui vise à réunir des acteurs et à les faire agir » (Foucault, 1994). Sans toutefois le limiter à sa dimension contraignante, le dispositif est ici considéré, pour reprendre la proposition de Cyril Lemieux, comme un programme capable à la fois de contraindre le jugement et l’action, et de fournir une ressource aux acteurs (Lemieux, 2018).

6Le présent numéro s’inscrit également à la suite de travaux portant sur les transformations du travail dans les services publics. En effet, les espaces qui ont fait l’objet de plus d’attention sont les secteurs où les conséquences sociales de ces évaluations, peu ancrées sur les situations concrètes, paraissent les plus sujettes à critique, comme pour les policiers (Moreau de Bellaing, 2015), les personnels hospitaliers (Juven, 2013), ceux de l’enseignement supérieur (Mignot-Gérard et Sarfati, 2015) ou encore les professionnels en charge des chômeurs et chômeuses (Pillon, 2018). Le flot des réformes empruntant au répertoire du New public management a participé à cette floraison de chiffres en valorisant les critères de résultats plutôt que ceux de moyens (Bezès, 2009). Les pratiques d’évaluation ont ainsi des conséquences majeures qui conduisent à remettre en cause l’égalité des citoyens face à la puissance publique, comme l’attestent d’autres services publics. L’on peut penser par exemple aux enseignants (Chauvel, 2014), aux services d’attribution des logements sociaux (Bourgeois, 2018) ou bien encore au transport ferroviaire (Finez, 2014). Le secteur privé se trouve lui aussi sous la pression du chiffre, par le biais de différents indicateurs non financiers visant progressivement à mesurer l’efficacité pour prévoir à plus ou moins long terme les variations de la marge financière (Morales et Pezet, 2012). Différentes pratiques professionnelles se trouvent ainsi aujourd’hui crantées avec des mesures de leur performance.

7Forts de ces résultats à présent bien établis, nous ne souhaitons analyser ni les effets de contrôles supposés ou avérés de ces dispositifs sur le travail ni la mécanique de production et d’appropriation de ces évaluations chiffrées et de leur critique. Autrement dit, il ne s’agit pas d’opposer le travail d’un côté et la critique de l’autre, en faisant comme si l’outil « empêchait » foncièrement l’activité. Les acteurs ici enquêtés ne travaillent pas malgré les chiffres qui les entourent, ils travaillent avec ces chiffres et, à bien des égards, ils les travaillent. Aussi peut-on se demander si l’évaluation proposée par ces outils ne vient pas finalement doubler, se conjuguer et disputer l’évaluation élaborée par chacun. Se jouerait alors toute la palette de conjonctions possibles entre différents ordres d’évaluation. Il s’agit dès lors de s’intéresser aux entrecroisements, oppositions et renforcements entre évaluations et métiers.

Conflictualités et sens du travail évalué

8La sociologie de l’évaluation dans laquelle s’inscrit ce numéro fait l’hypothèse que le jugement des travailleurs repose sur un principe d’opérationnalité et de rationalité. En effet, malgré tous les reproches que chacun peut faire à son employeur, à ses collègues ou à ses outils, il faut bien que le travail soit fait. Le recours aux chiffres, de ce point de vue, paraît un appui, permettant de fabriquer de l’hétérogénéité entre des qualités a priori comparables (Musselin et Paradeise, 2002) mais aussi de fabriquer des équivalences entre des choses a priori disparates. Une telle approche intègre la question de la conflictualité au travail. Différents registres d’évaluation légitime peuvent se faire concurrence, posant la question du « cadrage » des situations (Callon, 1998) mais ouvrant également la possibilité de la remise en cause des modes d’évaluation auxquels sont soumis les travailleurs. L’apport de l’ethnographie consiste alors à revenir sur les moments où se joue cette confrontation. Il s’agit de prêter attention aux organisations, contraintes situationnelles et dispositifs matériels dans lesquels les individus interagissent. Dans cette perspective, loin des prophéties technicistes, le travail d’évaluation se présente comme une pratique sociale et collective mettant en jeu l’épaisseur d’un individu socialisé et les dynamiques dans lesquelles il se trouve engagé. L’interface homme/machine ne relèverait plus, alors, d’un face à face mais engagerait en fait des collectifs qui délibèrent sur le sens de leur travail (Clot, 1995).

9L’évaluation ne va donc pas sans délibération ni sans conflits. Largement diffusée par les concepteurs de logiciel et les prophètes de l’intelligence algorithmique (Cardon, 2015), l’idée d’une automatisation du jugement doit de ce fait être nuancée. Un point central pour se saisir en ethnographe des appropriations critiques des outils d’évaluation consiste alors à reconnaître, à la suite de la sociologie de la quantification, que les outils d’évaluation disposent d’une épistémologie qui leur est propre (Bowker et Star, 1998). Cela signifie qu’ils portent en eux une interprétation et une schématisation du monde social qu’ils se destinent à évaluer (Segrestin, 2004). Or cette vision du monde est empreinte des représentations et des intérêts des membres du système d’acteurs qui les ont développés, et structure l’utilité possible des chiffres ainsi produits. Aussi, et dès leur constitution, ces objets paraissent mobilisés par une multiplicité d’intérêts parfois incompatibles, si bien que leurs effets demeurent bien longtemps incertains. Cette vision du monde se trouve également confrontée aux savoirs professionnels des groupes qui sont amenés à les utiliser. C’est avant tout cette rencontre qui est ici analysée, pour saisir les conséquences toujours spécifiques de l’appropriation des dispositifs par ceux qui en sont les sujets. L’on trouve d’abord, à l’aune de l’étude de cette rencontre, la critique classique des référentiels et des nomenclatures : ils ne tiennent pas compte de la réalité du terrain, de la lourdeur de leur usage (Dujarier, 2015). Toutefois, comme en témoigne le cas des forces de l’ordre lancées à la poursuite de « l’économie souterraine » (article de M. Guenot dans ce numéro), les acteurs sociaux, en s’appuyant sur des dispositifs d’évaluation quantifiés, se montrent réflexifs et critiques quant aux définitions qu’ils sont contraints de mobiliser. Loin de faire coller mécaniquement leurs jugements aux indicateurs, ils s’investissent parfois pour combattre ou réduire l’incompatibilité de ces définitions avec leur propre acception de leur métier.

Retour sur les bancs de l’école

10Les travaux de sociologie de l’éducation ont bien mis en évidence la façon dont le mode de socialisation scolaire s’est diffusé au-delà de l’école dans un contexte historique d’extension de la scolarisation, avec le doublement du taux d’accès au baccalauréat lors de la première explosion scolaire des années 1960, puis la généralisation de l’entrée en lycée et le nouveau doublement du taux d’accès au baccalauréat lors de la seconde explosion scolaire, entre 1985 et 1995 (Blanchard et Cayouette-Remblière, 2016). Or, les contextes de travail et le rapport aux outils d’évaluation décrits dans ce numéro rappellent l’univers scolaire dans la mesure où les outils d’évaluation visent à confronter différents individus ou des groupes d’individus à des épreuves comparables permettant de les classer. Une telle similitude avec l’école invite à regarder les étalons que fabriquent les dispositifs d’évaluation. Certes, nombre de ces outils sont articulés à des infrastructures sociotechniques vouées à réduire la subjectivité et le jugement pour compter des événements tangibles plutôt que d’attribuer une note, à la manière d’un enseignant. Toutefois, même dans les cas les plus « mécaniques », la diffusion de la norme scolaire semble fonctionner, tant la variété des réactions analysées dans ce numéro renvoie à la variété des stratégies scolaires. C’est ce dont témoignent par exemple les enquêtés d’Hélène Demilly qui cherchent à être les bons élèves de la classe face à l’évaluation de la mixité de leur service. Cette composante scolaire s’observe également de manière particulièrement claire dans l’évaluation des compétences telle que Pascal Braun l’analyse en s’appuyant sur l’ethnographie d’un cabinet de conseil. Les « embarras » du recruteur (Marchal, 2015) qui sont alors décortiqués font très largement écho aux autres terrains scolaires présents dans le numéro, comme on peut le voir à propos des Travaux personnels encadrés (tpe) mis en œuvre dans les lycées (S. Vaquero). La question de la justification n’est alors jamais très éloignée de l’action, que ce soit a priori (vais-je pouvoir assumer ce que je m’apprête à faire ?) ou a posteriori (comment rendre compte de ce résultat maintenant que c’est fait ?). Il s’agit là d’un trait récurrent des interactions sociales dépeintes par les contributeurs de ce numéro : les praticiens de l’évaluation se montrent réflexifs quant à la valeur de leurs outils, et stratèges quant à la portée des chiffres qui en découlent.

11L’analogie scolaire est intéressante car elle permet de montrer dans quelle mesure les personnes qui évaluent rencontrent une contrainte comparable à celle des enseignants. Ils doivent articuler les résultats obtenus à des épreuves distinctes (qui peuvent isolément paraître anecdotiques) d’un côté, et un jugement d’ensemble attestant une cohérence de l’évaluation, de l’autre. Bien plus, dans la mesure où ces jugements doivent être partagés et collectivement consolidés, cette notation se doit d’être conforme au ressenti global des évaluateurs sur le comportement de l’évalué lui-même. Enfin, dernière contrainte, tout ce travail de micro-évaluation que certains acteurs n’ont aucun mal à appeler de manière significative « les cuisines », tend à être masqué aux yeux des interlocuteurs. En effet, les évaluateurs eux-mêmes craignent que la transparence nuise à la légitimité et à la réputation d’objectivité de l’évaluation chiffrée qu’ils délivrent. Dans le cas des tpe comme des « hauts potentiels », la notation attribuée fonctionne par tâtonnement et se doit malgré tout de passer pour neutre et objective, au risque de se trouver dévaluée. Aussi, en formulant une supposée vraie valeur des personnes ou des produits, les dispositifs d’évaluation tendent à standardiser la valeur que l’on peut accorder à différents comportements.

Performativité des outils d’évaluation sur la division du travail

12L’homologie entre univers scolaire et professionnel rencontre toutefois des limites, notamment du fait que la profession enseignante et le système éducatif portent des idéaux qui n’en sont pas moins distincts des relations hiérarchiques. Évaluateurs et évalués sont reliés par une division horizontale et verticale du travail, c’est-à-dire des relations de commandement/obéissance, qu’ils ne peuvent complètement bousculer. Aussi, une des propriétés centrales des outils d’évaluation s’enracine dans la composante rhétorique de ces outils qui sont conçus pour faire agir et légitimer leur raison d’être. À la lumière des travaux ici réunis, il ressort en effet que la croyance qu’ils inspirent détermine leur capacité d’influence. Cette capacité à faire agir et à convaincre semble alors découler d’une alchimie complexe entre l’imposition (aux utilisateurs) de la problématique (des concepteurs) et la réappropriation (par les concepteurs) des catégories indigènes (pour s’ajuster à leur quotidien de travail). Quel que soit le degré d’automatisation des données, l’on peut se demander quel est le mécanisme tout à fait concret par lequel la « confiance » aux chiffres est attribuée (Porter, 1995). En ce sens, l’ensemble du numéro fait écho à la façon dont Baptiste Legros, dans son article sur le droit au logement, mobilise l’approche d’Émile Durkheim lorsque celui-ci écrit :

13

Il est impossible que nous accomplissions un acte uniquement parce qu’il nous est commandé, et abstraction faite de son contenu [il faut que cet acte nous] apparaisse sous quelque rapport, comme désirable.

14La question de la légitimité des dispositifs pour leurs destinateurs et leurs destinataires s’avère donc être le noeud de leur potentielle performativité. Y compris lorsque cette légitimité manque. En quelque sorte, dans les organisations aux données fragiles, les boîtes noires ne se referment jamais tout à fait et les outils peinent à donner ne serait-ce que l’illusion de l’objectivité (Chappe, Gilles et Pillon, 2018). Les procédures d’évaluation peuvent alors structurer débats et disputes. Le cas des consultantes polonaises, décrit par Pascal Braun dans ce numéro l’atteste : lorsque les critères d’interprétation et de discrimination des résultats paraissent exogènes à l’épreuve, en l’occurrence le fait que les meilleurs potentiels aient été identifiés par les deux mêmes consultantes dans une même filiale étrangère du groupe, alors l’ensemble du dispositif, c’est-à-dire l’évaluation de l’ensemble des cadres supposés à haut potentiel du groupe, peut être remis en cause.

15La nécessité d’apporter des justifications invite les acteurs à s’approprier malgré eux les catégories imposées par l’organisation pour donner le change. Comme le mentionnent les enquêtés de Gilles Chantraine et David Scheer dans leur article, en tant qu’éducateurs en milieu carcéral invités à utiliser un outil controversé d’évaluation de la radicalisation des détenus : « On sait que si on l’utilise, on sera pris au sérieux ». Cela constitue un véritable dilemme pour les individus : la valorisation du travail passe obligatoirement par un certain usage de l’outil.

16Outre les rapports à la hiérarchie, la division du travail est aussi une division morale du travail qui crée de la différence entre collègues. On constate en effet que les outils d’évaluation fonctionnent en classant, déclassant, reclassant. C’est d’abord le cas du public visé bien entendu, comme on peut le voir dans le cas du lycée, de l’évaluation des compétences ou des budgets familiaux. Mais ils participent aussi au classement des professionnels eux-mêmes. Les différentes enquêtes réunies ici posent en effet la question de la place des chiffres dans la reconnaissance par les pairs. Il est intéressant de noter, dans le cas des tpe par exemple, que la division morale du travail valorise les enseignants qui parviennent à s’affranchir de la lettre pour s’approprier l’esprit. D’où une question importante qui consiste à se demander pour chaque terrain ce qu’être ringard signifie. Par là nous entendons le rôle du rapport aux outils dans le déclassement professionnel. Être ringard découle-t-il de la mise à distance des outils ? Ou bien découle-t-il d’une trop grande adhérence ? L’on peut en tout cas s’interroger sur le rapport réciproque qu’entretiennent les données chiffrées et l’expérience. Y a-t-il concurrence entre les deux, les données venant marginaliser les plus expérimentés ? Ou bien l’expérience offre-t-elle des pistes pour interpréter les données ? Le cas des journalistes analysés par Valentina Grossi montre que la déprofessionnalisation ne demeure en tout cas qu’apparente et peut renvoyer surtout à un reclassement dans un segment de la profession moins légitime. Alors que les journalistes de l’agence de photographie préservent leur définition du bon travail et partant, leurs catégories professionnelles à côté de la métrique des téléchargements, les journalistes d’un site web deviennent des exécutants en recherche de clics. Rien de moins automatique, le manque de marge de manœuvre est ici moins le produit du dispositif d’évaluation, tout à fait similaire (téléchargements versus clics) à celui de l’inscription organisationnelle de l’usage des nombres. S’ils sont connus de tous dans le premier cas, ils sont centralisés dans les mains d’un porte-parole en situation de supériorité hiérarchique, en l’occurrence le rédacteur en chef, dans le second cas. Ce dernier dispose alors des ressources nécessaires pour dire et façonner ce que « veut » le public.

17La notion d’autonomie pourrait dès lors s’avérer plus complexe qu’il n’y paraît lorsque le travail est ainsi équipé. Les outils d’évaluation et leurs produits consolideraient une forme tout à fait spécifique de « mandat » au sens de Hughes, c’est-à-dire la capacité à valoriser le contenu de son métier. Les travailleurs semblent en effet invités à dénouer par eux-mêmes et entre eux les contradictions ou les difficultés provoquées par des outils qui leur sont imposés.

Délibérer sur les chiffres au travail… sous conditions

18Que disent les enquêtes de ce numéro sur la réflexivité des acteurs ? Autrement dit, qu’est-ce qui permet la délibération sur les chiffres au travail ? Partant du principe d’indétermination, les analyses rassemblées dans ce dossier soulignent le rôle du contexte organisationnel sur la place de la délibération et de la réflexivité, qui rend possible ou freine la mise en relation entre expérience des acteurs et données chiffrées. En outre, ils montrent la nécessité de prendre en compte les modèles économiques structurés par ces outils d’évaluation. La contribution de Pascal Braun invite, par exemple, à mettre l’accent sur les liens matériels entre évaluateurs, évalués et commanditaires de l’évaluation. En l’occurrence, il s’agit d’un lien commercial qui relie l’évaluateur au commanditaire, lien dans le cadre duquel le maintien de la relation commerciale à long terme paraît au moins aussi important que l’objectivité supposée de l’évaluation. Au sein des organisations, les outils d’évaluation sont très fréquemment utilisés comme un indicateur de la productivité des uns et des autres. Entre les organisations, ces données peuvent mesurer la réalisation d’une prestation. Or, cette question de la productivité dépend très largement de ce que les responsables de l’organisation cherchent à valoriser et sur quels marchés ou arènes d’allocation des ressources ils souhaitent le faire. Les chiffres n’ont ainsi pas de sens en soi, ce sont bien leurs caractéristiques matérielles (leur source, leur unité, leur mode de calcul) et l’articulation de ces caractéristiques aux modèles économiques des organisations en question qui déterminent les appropriations dont ils peuvent faire l’objet. Le cas des politiques de mixité dans la banque étudiée dans l’article d’Hélène Demilly est à ce titre tout à fait saisissant. La mise en lumière de constats particulièrement solides, quant à l’inégalité persistante entre homme et femme au sein de l’entreprise, n’ont pas d’effets majeurs sur l’organisation du travail. Les destinataires de ces constats sont en effet bien davantage concernés par les résultats financiers de l’organisation et peinent à entrevoir la contribution qu’une action correctrice en matière d’égalité pourrait avoir sur les indicateurs les plus « prégnants » (Boussard, 2001), ceux de la performance économique.

19Dans l’article d’Hélène Demilly, comme dans les autres contributions, il apparaît de façon éclairante que les chiffres n’empêchent pas, loin s’en faut, la délibération et la réflexivité. Au contraire, ils ont une très grande capacité à les susciter. Toutefois, rien n’oblige à ce que cette prise de recul débouche sur le comblement des dysfonctionnements révélés par l’outil. Un cas intéressant est à ce titre celui des budgets familiaux analysés par Baptiste Legros, où l’on constate que le passage d’une donnée chiffrée à son utilisation dans le cadre de la mission de l’institution est loin d’être évident et mécanique. La résorption de la dette de cette institution, chargée en particulier de garantir le paiement des loyers de personnes fragiles, ne passe pas toujours par la résorption de la dette des usagers (qui peuvent être expulsés s’ils n’offrent pas de garantie de revenu à l’avenir). Dans un cas comme dans l’autre, pour accorder de l’importance à une cause d’inégalité constatée grâce aux chiffres, encore faut-il considérer que cette inégalité est illégitime, et pouvoir la remettre en cause sans heurter d’autres morales. Finalement, ce numéro défend l’idée selon laquelle la méthode ethnographique permet de questionner le travail des chiffres autrement que dans une perspective froide et réifiée. L’observation des interactions entre acteurs donne à voir les interrogations et les appropriations des outils quantifiés selon les dispositifs de travail, et permet de rendre compte non seulement de leur portée mais également de leur fragilité. C’est pourquoi la demande de « transparence » des procédures et des algorithmes qui fabriquent les chiffres des politiques publiques nous paraît insuffisante pour une visée démocratique : il nous semble plutôt que ce sont les délibérations autour des chiffres, et éventuellement la possibilité de s’en passer, qui sont les mieux à même de réduire les inégalités au travail.