Évaluer ensemble faute de se faire confiance sur la réalisation d’une évaluation « correcte »

9Comment des acteurs appartenant à des institutions en conflit en sont-ils venus à élaborer et commanditer conjointement une évaluation ? La mise en place d’une évaluation de l’externalisation du placement par l’Unédic devient le catalyseur des conflits en cours entre institutions du service public de l’emploi. Le service public de l’emploi français est structuré, de 1967 à 2008, autour de trois institutions principales : l’Unédic, une institution paritaire [3] d’assurance chômage qui, depuis 1958, a principalement en charge l’indemnisation des demandeurs d’emploi ; l’Agence nationale pour l’emploi, un opérateur public qui assure notamment les missions de gestion de la liste des demandeurs d’emploi, d’accompagnement et de placement et les services ministériels (Direction générale à l’emploi et la formation professionnelle [dgefp] et Direction de l’animation de la recherche des études et des statistiques [dares]) qui ont à la fois des missions de contrôle de l’assurance chômage, de tutelle de l’opérateur public, de médiation entre ces deux institutions et de production de statistiques et d’évaluation en matière de politiques d’emploi. Le développement de politiques dites « d’activation » à partir des années 1990 et leur approfondissement dans les années 2000 brouillent la division institutionnelle du travail entre indemnisation et placement. Ces politiques, menées dans l’ensemble des pays de l’ocde, reposent sur l’idée que, le chômage étant volontaire, il pourrait être réduit en faisant de l’indemnisation un outil d’incitation au retour à l’emploi qui modifierait le comportement des chômeurs (Fretel et al., 2018). En France, cela s’est notamment traduit par l’élaboration d’interventions coordonnées des institutions d’indemnisation et de placement et par le développement, au sein de l’institution d’assurance chômage, de dispositifs visant à accélérer le retour à l’emploi [4] (Pillon et Vivès, 2019). S’il n’y a pas, entre les directions de l’anpe et de l’Unédic, de désaccord sur l’activation comme orientation de politique d’emploi, les modalités de sa réalisation sont au centre de conflits de plus en plus vifs (Vivès, 2016). Les directions s’opposent sur la meilleure articulation entre indemnisation et placement et sa traduction institutionnelle. Faut-il fusionner ou coordonner [5] ? En cas de fusion, qui de l’anpe ou de l’Unédic serait l’institution dominante (Vivès, 2016) ? Ces conflits sur l’architecture institutionnelle du service public de l’emploi se manifestent lors du déploiement de mesures d’activation spécifiques. Ils se cristallisent particulièrement autour de l’externalisation du placement engagée par l’Unédic au motif que les prestataires privés seraient plus efficaces que l’anpe pour remettre en emploi les allocataires. Du côté de la direction de l’anpe, l’externalisation est perçue comme une menace d’autant plus sérieuse qu’elle est soutenue par le gouvernement qui, avec la loi dite « Borloo », a, en 2005, ouvert la possibilité d’une mise en concurrence de l’anpe sur cette activité. Si entre 2003 et 2006 les premiers marchés de prestations externalisées passés par la direction de l’Unédic sont numériquement anecdotiques, le quatrième marché lancé en 2006 est lui d’une ampleur supérieure aux précédents puisqu’il concerne 92 000 allocataires et dix-sept prestataires. Dans ce contexte, l’évaluation de l’efficacité de ces prestataires devient une question de premier plan.

10La direction de l’Unédic souhaite réaliser une évaluation de l’efficacité des prestataires privés pour remettre à l’emploi les allocataires. Les comptes rendus des réunions de Bureau de l’Unédic comme les récits sur la genèse de l’évaluation recueillis en entretiens en témoignent. Elle présuppose que cette évaluation démontrera que le privé est plus efficace que l’anpe et elle compte faire de ces résultats un point d’appui pour légitimer la prise de pouvoir de l’Unédic sur l’organisation du retour à l’emploi des allocataires au détriment de l’opérateur public.

11À partir du moment où la direction de l’anpe prend connaissance de ce projet, au cours d’une réunion où la direction générale de l’Unédic leur présente un dispositif d’évaluation de cette expérimentation, elle cherche à en empêcher la mise en œuvre. Selon la directrice des études, de l’évaluation et des statistiques de l’anpe, cette « évaluation de coin de table » exclusivement conçue et contrôlée par l’Unédic ne peut que déboucher sur les résultats attendus par l’Unédic. Face à ce conflit, un troisième acteur intervient : la Délégation générale à l’emploi et à la formation professionnelle (dgefp). Pour la déléguée alors en fonction, il s’agit de mettre d’accord les deux directions qui s’opposent en imposant une évaluation réalisée conjointement par les trois institutions. Plus largement, elle attend de cette évaluation que, par sa fiabilité, elle permette d’arbitrer les conflits récurrents entre anpe et Unédic, qui commencent à « faire désordre », notamment ceux survenus lors des premières expérimentations.

12

« La première phase avait été menée dans son coin par l’Unédic. C’étaient des petits volumes... chacun pouvait trouver ce qu’il souhaitait dans l’évaluation et chacun en plus mettait sur la place publique ce qu’il en retirait puisqu’il y avait un combat par médias interposés entre l’anpe et l’Unédic sur l’évaluation. Ce n’était absolument pas acceptable ni pour le ministère, ni pour le ministre, d’où la question de mettre en place une véritable évaluation pour la dernière phase d’expérimentation et ça, ça s’est fait dans le conflit. [...] Si on a eu une réunion sur l’évaluation [avec le cabinet du ministre], c’est parce qu’il y a eu un problème politique de refus de l’anpe et de l’Unédic que l’État soit dans l’évaluation et que l’évaluation se mette en place correctement. » (Entretien avec la déléguée générale ajointe à l’Emploi et à la Formation professionnelle au moment des expérimentations, septembre 2010).

13 Cette cadre du ministère met ici en lumière le fait qu’une fois qu’ils se sont accordés sur le principe de l’évaluation conjointe, les acteurs des différentes institutions doivent convenir ensemble de ce qu’est une évaluation « correcte ». La mise en place de l’évaluation conjointe est la solution imposée par le ministère du Travail aux conflits qui opposent les directions de l’Unédic et l’anpe sur la manière d’évaluer l’externalisation du placement et plus largement sur la place de l’Unédic et des prestataires privés dans le service public de l’emploi. Accepter l’évaluation conjointe est un moyen pour les différents acteurs de ne pas perdre le contrôle sur l’évaluation des différents programmes. Le fait que les conflits se cristallisent autour de l’évaluation révèle que, pour chacune des trois directions, les résultats de cette évaluation seront des outils légitimes à appuyer les décisions à venir sur l’architecture institutionnelle du service public de l’emploi.

Le choix de la méthodologie de l’évaluation randomisée : l’attente d’une mesure « fiable » de l’efficacité

14Étudier le choix méthodologique d’évaluer l’efficacité de l’accompagnement par une évaluation randomisée éclaire l’importance que les cadres dirigeants des trois institutions impliquées accordent à la mesure chiffrée de l’efficacité dans la conduite de l’action publique. Une fois d’accord sur l’existence d’une évaluation conjointe, les parties prenantes doivent définir ensemble le protocole d’évaluation. Le choix d’un protocole avec plusieurs méthodologies fait consensus. Trois types d’enquête sont réalisés : les enquêtes monographiques [6], l’enquête statistique [7] et l’évaluation randomisée. Les parties s’accordent également sur l’organisation du pilotage de l’évaluation autour de deux comités : l’un qualifié de « comité technique » et l’autre de « comité de pilotage », ou « comité politique », ou « comité stratégique ». Le comité de pilotage « politique » est principalement composé de membres des directions générales des institutions concernées, alors que le comité de pilotage « technique » regroupe essentiellement les spécialistes des évaluations au sein des différentes institutions [8].

15Dans l’élaboration de ce protocole, un point concentre l’attention : le choix de la méthode qui permettra une évaluation chiffrée de l’efficacité. La direction générale de l’anpe propose l’évaluation randomisée et sa réalisation par une équipe d’économètres principalement issus de deux institutions de recherche académique : le Centre de recherche en économie et statistique (crest) et l’École d’économie de Paris (eep). Des liens anciens existent avec ces évaluateurs, dont certains ont déjà réalisé des évaluations pour l’opérateur public (avec d’autres méthodes et pour d’autres dispositifs). Ils démarchent la Direction des études et statistiques de l’anpe alors qu’ils cherchent à introduire et promouvoir leur méthode en France. D’abord développées aux États-Unis (Allègre, 2008 ; Monnier, 1987) où elles ont connu une période de recul avant de « retrouver aujourd’hui un nouvel élan parmi les économistes » (Labrousse et Zamora, 2013, p. 5), les évaluations randomisées reviennent en force dans les pays du Nord et notamment en France, après avoir été reprises par l’économie du développement (Labrousse, 2010). L’évaluation opp/cve marque l’introduction de cette méthodologie en France [9] et joue un rôle-clé dans sa diffusion [10].

16L’évaluation randomisée est une méthode d’évaluation d’impact empruntée à la médecine expérimentale. Elle repose sur la composition, par assignation aléatoire, de deux groupes statistiquement comparables (groupes test et témoin). On applique un traitement à l’un d’entre eux et on évalue les effets du traitement (ou la « plus-value » du programme pour les dispositifs de politiques publiques) par comparaison avec le groupe non traité. Le fait que la comparaison soit réalisée sur deux groupes existants constitués par échantillonnage aléatoire – c’est-à-dire par tirage au sort dans une même population – est considéré par les économètres qui promeuvent cette méthodologie comme limitant au maximum [11] les « biais de sélection » et ferait de cette méthode la plus fiable parmi les évaluations d’impact (Crépon, 2008a). Elle vise également « une forte validité externe des résultats obtenus (puisque ces expérimentations se déroulent dans un cadre réel et dans des conditions aussi proches que possibles du cadre habituel de vie des acteurs) » (Labrousse et Zamora, 2013, p. 6). Autrement dit, elle permettrait d’anticiper les effets d’une généralisation.

17Pour les économètres qui la promeuvent [12], cette méthodologie serait le « gold standard » de l’évaluation et la seule à fournir des données objectives. Selon Esther Duflo (2009), qui a joué un rôle-clé dans le développement de l’évaluation randomisée en France et à l’étranger, cette méthodologie serait en mesure de produire un jugement fiable sur l’efficacité d’une politique sur lequel il serait légitime et souhaitable de s’appuyer pour alimenter les décisions relatives à l’avenir d’un dispositif. Bruno Crépon (2008b, p. 123-124), qui évalue opp/cve [13], partage cette confiance : « Ces résultats [...] ont la force de l’évidence. C’est-à-dire qu’ils vont s’imposer à tous et, plutôt que d’avoir des résultats d’évaluation et d’étude qui vont faire débat, qui vont sans cesse être l’objet de disputes ou de querelles de spécialistes, on va avoir des résultats qui, au contraire, sont plutôt de nature à alimenter le débat et qui sont susceptibles de faire progresser la connaissance et la conduite des politiques économiques. »

18Cette conception de l’usage légitime des résultats pour appuyer des décisions d’action publique rencontre un certain écho au sein des directions générales des institutions du service public de l’emploi. Un consensus se crée donc entre les évaluateurs désireux d’introduire cette méthodologie en France et les dirigeants des institutions du service public de l’emploi qui veulent peser sur l’architecture institutionnelle du service public de l’emploi.

La définition négociée de l’objet de l’évaluation randomisée

19Pour clore la phase d’élaboration de l’évaluation, les directions des institutions impliquées doivent définir l’objet de l’évaluation randomisée. L’analyse de cette phase montre que, loin de la conception des économètres qui réalisent cette méthode selon laquelle les résultats de l’évaluation randomisée seraient de simples observations, la définition de l’objet résulte de négociations entre commanditaires, conformément à l’idée que quantifier consiste d’abord à s’accorder sur des conventions de mesure avant de mesurer (Desrosières et Kott, 2005).

20Dans le cas que nous étudions, cette négociation est d’autant plus importante qu’il ne s’est pas déroulé conformément au cas d’école. Alors que la « théorie » de l’évaluation randomisée prévoit que le dispositif et son évaluation sont élaborés de manière conjointe (L’Horty et Petit, 2010), dans cette évaluation un bricolage a été réalisé au départ : le protocole d’évaluation est construit après le dispositif.

21Pour la direction de l’Unédic, l’évaluation doit mesurer l’apport d’un accompagnement renforcé par les opérateurs privés par comparaison avec l’accompagnement « classique » de l’anpe. Avant l’externalisation, c’était le seul existant et celui dont les résultats jugés insuffisants ont motivé le recours au privé. Pour la direction de l’anpe, il n’est pas correct de faire une telle comparaison. Elle souhaite que soient comparées les performances du public et du privé lorsqu’ils sont dans des conditions de travail comparables pour démontrer qu’à conditions de travail similaires les agents publics sont aussi efficaces que ceux du privé. La direction de l’anpe parvient, dans les grandes lignes, à imposer sa définition de l’objet. La solution de compromis trouvée, aussi bien pour des raisons scientifiques que politiques, consiste à réaliser en parallèle deux évaluations randomisées des programmes d’accompagnement renforcé : l’une qui mesure l’impact de l’accompagnement délivré par le privé par rapport à l’accompagnement classique et l’autre d’un dispositif élaboré de manière ad hoc par l’opérateur public par rapport à l’accompagnement classique. Ce dispositif, intitulé « Cap vers l’entreprise », a comme caractéristique d’être le plus proche possible des prestations externalisées au privé pour pouvoir être comparé [14]. Au regard du fonctionnement de cette méthode, il est impossible de comparer directement les programmes public et privé d’accompagnement renforcé puisqu’il s’agit de comparer un groupe « traité » et « non traité » [15]. Quant à faire une comparaison sur trois échantillons : opp, cve, classique, cela n’est pas statistiquement rigoureux dans la mesure où les demandeurs d’emploi des deux programmes d’accompagnement n’ont pas les mêmes propriétés statistiques [16]. Il faut donc construire quatre échantillons avec des échantillons comparables deux à deux [17], ce qui se traduit par des contraintes dans la réalisation de l’évaluation.

22Cette construction est révélatrice du fait que, loin d’être une « observation neutre », l’évaluation randomisée est construite par les interventions des différentes institutions du service public de l’emploi au gré des rapports de force dans les conflits institutionnels. De plus, l’existence de l’évaluation provoque des réactions chez les commanditaires qui modifient la réalité observée – en l’occurrence via la création d’un nouveau dispositif.

23L’externalisation de l’accompagnement au privé cristallise les conflits en cours sur l’architecture institutionnelle du service public de l’emploi, et l’évaluation de ce dispositif prend une importance cruciale. Il y a une attente forte vis-à-vis de l’évaluation randomisée pour sa capacité à fournir une évaluation « objective » parce qu’issue d’une simple observation. Cependant, l’analyse de l’élaboration de cette évaluation montre que son caractère objectif doit être relativisé. En effet, l’objet, et plus largement les conventions de mesure de cette évaluation sont le résultat de négociations. De plus, la création par l’opérateur public d’un programme d’accompagnement renforcé montre que l’existence de l’évaluation randomisée transforme la réalité évaluée.

Une évaluation qui modifie la réalité observée

25L’analyse de la réalisation de l’évaluation randomisée confirme la confusion entre les dispositifs d’accompagnement renforcé et leur évaluation. Contrairement à l’affirmation des économètres selon laquelle l’expérimentation viendrait mesurer « de manière neutre » l’impact d’un dispositif, son déroulement montre qu’en organisant la concurrence entre institutions elle vient modifier la réalité qu’elle est supposée mesurer. L’étude des processus d’orientation des demandeurs d’emploi vers les différents programmes d’accompagnement évalués en témoigne.

26L’orientation des demandeurs d’emploi se fait par tirage au sort à l’aide d’un outil d’affectation aléatoire appelé « outil de constitution de cohortes » [19] qui compose les quatre échantillons statistiquement comparables deux à deux. Le respect des consignes d’orientation est central pour assurer la fiabilité de l’évaluation (voir supra).

27Bien que ce soit pour des raisons différentes, ni les travailleurs de l’anpe, ni ceux de l’Unédic ne respectent le protocole d’orientation prévu par l’évaluation. L’analyse des dimensions institutionnelles, organisationnelles et professionnelles permet de comprendre les comportements des agents vis-à-vis de l’orientation.

28Du côté de l’anpe, les conseillers devraient suivre les consignes de l’outil d’affectation pour orienter les demandeurs d’emploi [21], ce qu’un certain nombre d’entre eux refusent. Ceux qui s’opposent à l’externalisation de l’accompagnement par l’Unédic refusent d’orienter les demandeurs d’emploi vers les prestataires privés et espèrent faire échouer ce marché et défendre ainsi leur institution, qu’ils jugent menacée. Ceux qui rejettent les modalités d’orientation prévues dans l’évaluation refusent de consulter l’outil de constitution de cohortes pour ne pas le laisser déterminer in fine le type d’accompagnement renforcé reçu (par le public ou le privé), voire l’absence d’accompagnement renforcé. Ils refusent ainsi d’être dépossédés de l’orientation qu’ils considèrent comme leur cœur de métier alors que, pour les besoins de l’évaluation, elle devrait en partie leur échapper [22]. Les réactions suscitées par cette dépossession sont d’autant plus vives que l’expérimentation intervient dans un contexte de mise en cause récurrente de leur travail et de menace sur leurs prérogatives en matière d’accompagnement et de placement (Vivès, 2013).

29Une partie des salariés des Assédic ne respectent pas non plus le protocole d’orientation. Pour pallier le déficit de demandeurs d’emploi orientés vers les prestataires privés, ils décident de respecter plutôt les consignes de leurs supérieurs hiérarchiques, qui leur demandent de constituer des listes de demandeurs d’emploi à orienter vers le privé sans suivre le protocole d’affectation. Ce contournement reflète la priorité qu’ils donnent au marché d’accompagnement externalisé sur la procédure d’évaluation, à un moment où, faute d’avoir suffisamment d’allocataires à accompagner, les prestataires font face à d’importantes difficultés – notamment de trésorerie – qui menacent la poursuite du marché. Ces directives et ces comportements sont assumés : ils sont mentionnés au cours des entretiens que j’ai réalisés mais également dans les comptes rendus des comités de pilotage de l’expérimentation.

30Ces interventions lors de l’orientation ont des effets sur les dispositifs d’accompagnement et leurs évaluations, signe supplémentaire de la confusion entre les deux. Dès décembre 2006, avant même que la convention régissant les relations entre les différentes parties impliquées dans l’évaluation ne soit finalisée, les évaluateurs adressent un courrier [23] aux directeurs généraux de l’anpe et de l’Unédic pour les alerter sur la nécessité de respecter le protocole élaboré pour affecter les demandeurs d’emploi dans les différents échantillons. Le non-respect du protocole perdure : des solutions sont toujours recherchées au cours du comité de pilotage technique de septembre 2007 pour régler les « problèmes de contamination détectés (envoi vers les opp de demandeurs d’emploi assignés aux parcours classique ou cve) » [24]. En dépit des entorses au protocole de constitution des échantillons, l’évaluation se poursuit. Les commanditaires ne mettent pas en cause la qualité de l’évaluation produite alors même qu’ils sont à l’initiative de ces interventions destinées à défendre leurs institutions respectives. Les acteurs qui mettent en œuvre les dispositifs d’accompagnement sont également ceux qui sont impliqués dans la mise en œuvre de l’évaluation randomisée et ceux dont le travail fait l’objet de l’évaluation. Alors que la méthode repose sur l’évaluation à comportements inchangés, les acteurs au contraire adaptent leurs comportements à l’existence de cette évaluation et à leur positionnement vis-à-vis de celle-ci. Attendre un comportement inchangé est d’autant plus illusoire que la méthode exacerbe les concurrences entre institutions en organisant l’affrontement entre programmes. Cette caractéristique n’est pas propre à l’évaluation étudiée ici. Dans ce cas, si les acteurs interviennent pour garder le contrôle sur l’évaluation, ils ne s’attaquent pas frontalement à la méthode : ils ne formulent publiquement aucune critique argumentée et ne cherchent pas ouvertement à interrompre l’évaluation.

La non-réalisation de « l’enquête coût » : les commanditaires gardent le contrôle

31La tension entre la volonté des commanditaires de disposer d’une évaluation qui tirerait sa légitimité de son objectivité et leur volonté d’en garder la maitrise se manifeste également à travers leur renoncement à évaluer les rapports coûts/bénéfices des différents accompagnements.

32Au cours de l’évaluation, la direction générale de l’Unédic refuse de transmettre les données nécessaires pour ces calculs. Dès la première réunion du comité de pilotage, le 26 janvier 2007, le président demande les informations requises à l’anpe et à l’Unédic. Lors du comité de pilotage technique du 30 janvier 2008, ces demandes sont renouvelées à l’Unédic [25]. À ce stade, les divergences portent sur le fait de savoir si la réalisation d’une telle enquête fait ou pas partie des engagements pris au moment de l’élaboration de l’évaluation.

33

« M.—— [président du comité de pilotage], le crest/eep et la dares demandent à l’Unédic de transmettre aux chercheurs du crest/eep les données relatives à l’indemnisation perçue par chaque demandeur d’emploi passé par opp, afin que l’équipe soit en mesure de calculer les bilans nets en termes de versement d’allocations chômage. L’Unédic précise que cette transmission n’est pas prévue et que, si elle devait se faire, il faudrait probablement rédiger un avenant à la convention conclue entre l’Unédic et l’eep. M.—— [président du comité de pilotage], le crest/eep et la dares contestent cette position en se référant aux termes de la convention signée entre l’anpe, l’Unédic et le crest/eep le 14 février 2007. » (Compte rendu du comité de pilotage technique du 30 janvier 2008).

34 Dans le rapport présentant les résultats intermédiaires de l’évaluation aléatoire, l’impossibilité d’accéder aux données du Fichier national des allocataires de l’Unédic permettant de calculer le coût économique (Behaghel et al., 2008, p. 15) est déplorée et présentée comme provisoire. Par la suite, la direction de l’Unédic continue à refuser de transmettre les données et le travail n’est pas réalisé dans le cadre de cette évaluation. Le directeur adjoint de la Direction des études et statistiques (des) de l’Unédic justifie a posteriori ce refus de son institution de transmettre les données par la crainte d’un résultat qui démontrerait qu’il n’y a pas de gain financier.

35

des Unédic : « Si on fait une évaluation des coûts, on la fait correctement et pas partiellement. Il n’y a rien qui serait plus désastreux... Si vous faites les travaux sur un an, un an et demi et que vous ne gagnez rien. Bon. Ou vous perdez de l’argent. Une fois que vous avez un chiffre qui part comme ça dans la nature, c’est fini. Ça va être mal interprété. [...] La position était de dire : “S’il faut évaluer quelque chose en termes de coût/bénéfice, il faut attendre.” » (Entretien avec le directeur adjoint de la Direction études et statistiques de l’Unédic, juillet 2010).

36Ses propos apportent deux informations. D’une part, bien que l’évaluation n’ait pas été réalisée, il est convaincu de l’absence de gain financier lié à ce marché. Alors que l’externalisation visait la réalisation d’économies sur l’indemnisation, ces économies ne seraient selon lui pas possibles à court terme. Il pointe le risque pour l’Unédic de l’interprétation qui aurait été faite de ces chiffres. Puisque ces résultats d’évaluation sont anticipés comme ne pouvant pas être mobilisés pour défendre le recours au privé, il est préférable de ne pas les produire. D’autre part, ses propos montrent, une fois de plus, le caractère construit d’un résultat jugé fiable. Il présente les résultats en matière de coût portant sur une période jugée courte (un an ou un an et demi), non pas comme faux mais comme non corrects parce qu’au cours de cette période de lancement les prestataires privés n’auraient pas pu maximiser leurs résultats, ni minimiser leur coût.

37L’enquête coût devait également porter sur l’accompagnement réalisé au sein de l’opérateur public. Selon le président du comité de pilotage de l’évaluation, la stratégie de la direction générale de l’anpe a été un peu différente pour un résultat identique : elle a certes transmis des données, mais elles sont jugées non fiables par les évaluateurs [26]. Pour les deux institutions, il explique cette non-réalisation par les difficultés liées à la conduite générale de l’évaluation.

38Que ce soit au moment de la construction de l’objet de l’évaluation ou sur cette enquête coût, les commanditaires adoptent une même position vis-à-vis du pouvoir de légitimation du chiffre. Ils partagent la volonté de ne voir produits que des chiffres mobilisables pour défendre les positions de leurs institutions d’appartenance – ce qui les conduit à attendre des chiffres différents – parce qu’ils sont convaincus que ces chiffres permettraient de renforcer leurs positions respectives. Cependant, cette autorité de légitimation n’a finalement pas d’autonomie puisqu’ils peuvent garder la main sur l’évaluation et empêcher la production de certains chiffres. De plus, ils ont la conviction que les chiffres, une fois produits, pourraient avoir une forme d’autonomie et devenir incontestables, d’où la nécessité de les contrôler en amont.

39Bien que l’évaluation soit réalisée par des prestataires extérieurs, les commanditaires gardent le contrôle sur le dispositif et interviennent dans son déroulement, à rebours de l’idée que l’évaluation serait une simple mesure neutre de la réalité. L’évaluation randomisée, parce qu’elle organise la concurrence, avive les tensions existantes et donne lieu à des interventions des agents et commanditaires qui sont autant de modifications de la réalité que l’évaluation est supposée enregistrer. La tension identifiée au moment de l’élaboration de l’évaluation perdure et se renforce : d’un côté, le chiffre dispose d’un pouvoir légitimant qui provient de ce qu’il est paré des vertus de l’objectivité et, d’un autre, il y a un enjeu à le contrôler (et donc à mettre en cause sa neutralité) justement en raison de son prétendu pouvoir d’orienter l’action publique.

Des commanditaires qui refusent de légitimer l’évaluation en la publiant

41Les premiers résultats sont publiés en juin 2008 dans un rapport intermédiaire composé des monographies, des résultats intermédiaires de l’évaluation randomisée et des premiers résultats de l’enquête statistique. Concernant l’évaluation randomisée, le rapport conclut à des effets positifs de l’accompagnement renforcé par l’opérateur public et à l’impossibilité d’identifier un impact positif statistiquement significatif pour l’accompagnement externalisé par l’Unédic au privé [27].

42Suite à cette publication, le Bureau de l’Unédic [28] du 24 juin 2008 rejette les résultats de l’évaluation et décide de suspendre sa participation aux comités de pilotage [29]. Les membres du Bureau de l’Unédic étaient en attente de données chiffrées pour appuyer le projet de développement de l’externalisation mais, lorsque celles produites ne correspondent pas à celles attendues, ce n’est pas l’externalisation de l’accompagnement qui est mise en cause mais l’évaluation. L’Unédic rejette en bloc l’évaluation et conserve cette position lors des résultats finaux. La position défendue publiquement par l’Unédic consiste à refuser les résultats en arguant de leur défaut de fiabilité mais sans argumenter sur le plan méthodologique.

43Plus largement, lorsque les résultats finaux sont disponibles, ils ne sont publiés « sous le timbre ni de l’Unédic, ni de la dares, ni de Pôle emploi » [30]. Le président du comité de pilotage déplore d’autant plus cette situation qu’il juge cette évaluation exemplaire en raison de la pluralité des méthodologies mobilisées, de la conduite par les différentes institutions impliquées et par la réalisation d’une évaluation randomisée [31] . Sans contester de manière argumentée les résultats, les directions des institutions commanditaires refusent de les reconnaitre comme légitimes en les publiant en leur nom parce qu’elles n’ont pas politiquement intérêt à le faire (voir infra). Ceci confirme qu’il n’y a pas des résultats chiffrés légitimes mais des commanditaires qui, en reconnaissant ces résultats, contribuent ou pas à leur légitimation. Ni le président du comité de pilotage, ni les économètres, ni les différents professionnels impliqués dans la réalisation de l’évaluation n’interviennent pour réagir à cette mise en cause du travail effectué. Cela révèle la fonction de prestataires dans laquelle ils sont confinés, alors qu’ils aiment à présenter l’évaluation randomisée comme une coproduction des évaluateurs et commanditaires [32].

Une mobilisation partielle et partiale des résultats

44Situer la publication de ces résultats dans la nouvelle architecture institutionnelle du service public de l’emploi permet de comprendre que cette (non-) reconnaissance des résultats s’explique par le fait qu’ils ne pouvaient pas être mobilisés pour légitimer des décisions qui étaient de plus déjà prises.

45Si les différences de temporalités entre agenda de l’évaluation et agenda politique sont des situations classiques pour l’évaluation en général comme pour l’évaluation randomisée (Labrousse et Zamora, 2013), la disponibilité des résultats pour l’expérimentation opp/cve intervient dans un contexte spécifique puisque l’architecture institutionnelle du service public de l’emploi est profondément réformée par la loi du 13 février 2008 « relative à la réforme de l’organisation du service public de l’emploi ». Maintes fois écartée, la fusion des services d’indemnisation (Assédic) et du placement (anpe) est effective le 2 janvier 2009 lorsque les premières agences Pôle emploi ouvrent leur porte. Cette réforme tranche une grande partie des conflits sous-jacents à l’externalisation de l’accompagnement et du placement. Pôle emploi – qui regroupe les personnels de l’anpe et des Assédic – concentre l’ensemble des prérogatives détenues auparavant par ces deux institutions, supprimant ainsi les difficultés de coordination interinstitutionnelle. Cette loi modifie également l’équilibre des pouvoirs entre acteurs : les interventions du service public de l’emploi sont reprises en main par les acteurs publics au détriment de l’institution paritaire qui non seulement voit ses espoirs de prendre la main sur l’ensemble du parcours des demandeurs d’emploi indemnisés anéantis mais perd toutes ses prérogatives en matière d’accompagnement (Vivès, 2016). Dans ce nouvel environnement institutionnel, l’intérêt des acteurs pour les résultats de l’évaluation a fortement décru.

46Le rapport final de l’évaluation est rendu public par le comité de pilotage de l’évaluation le 5 octobre 2009, alors qu’un nouveau marché de prestations d’accompagnement à finalité de placement a été lancé six mois plus tôt [33], notifié au mois d’août et effectif à l’automne avec le démarrage des premiers accompagnements de demandeurs d’emploi. Si les résultats qualitatifs sont disponibles depuis juin 2008, les résultats des enquêtes statistique et randomisée arrivent, eux, après les décisions relatives au nouveau marché. Ils passent d’ailleurs relativement inaperçus. L’un des économètres qui a contribué à l’évaluation randomisée nous raconte qu’au mois de juin 2008 il était constamment sollicité par des journalistes sur ces résultats alors que la seule information diffusable était qu’ils seraient disponibles en septembre. Lorsque les résultats sont disponibles, ils ne suscitent aucun intérêt [34].

47La décision de lancer un nouveau marché de plus grande ampleur est donc prise indépendamment des résultats de l’évaluation randomisée puisqu’elle intervient avant qu’ils ne soient disponibles. Au moment de la publication des résultats, la direction de Pôle emploi présente pourtant le nouveau marché comme découlant de l’évaluation. Elle cherche ainsi à masquer le fait que la décision sur l’avenir de l’externalisation du placement au privé a été prise indépendamment de l’évaluation. Ceci est d’autant plus important que l’objectif de l’évaluation était précisément d’alimenter cette décision. Elle vise également à légitimer cette décision qui non seulement poursuit l’externalisation mais l’accroit. Pour ce faire, la direction du nouvel opérateur public fait une lecture partielle des évaluations. Le directeur général de Pôle emploi met en avant l’impact positif de l’accompagnement renforcé sur le retour à l’emploi mesuré par les évaluations : « La première confirmation est qu’un accompagnement renforcé est efficace pour le retour à l’emploi. Et c’est une bonne chose. Ensuite, il faut éviter d’opposer le public et le privé. Aujourd’hui, on a besoin de tous. » [35]. Ces propos ne sont pas erronés, mais ils ne rendent compte que très superficiellement des résultats des évaluations : il n’est pas dit explicitement que l’opérateur public a obtenu de meilleurs résultats que les opérateurs privés alors que ce résultat figure dans le rapport final [36]. L’usage partiel des résultats de l’évaluation permet de les mobiliser pour légitimer une décision déjà prise.

48La directrice de cabinet du directeur général et de la direction de la transformation de Pôle emploi explique le poids du contexte institutionnel dans la mobilisation des résultats.

49

« Au moment où sort l’étude, le contexte est complètement différent du contexte dans lequel l’évaluation a été lancée. [...]. Quand les résultats sortent, on a deux tiers des partenaires sociaux dans le conseil d’administration [de Pôle emploi], donc tout le monde est d’accord pour dire qu’on n’allait pas en faire une pub. Ça sert à quoi sachant qu’on savait qu’on allait lancer un nouveau marché ? On avait besoin de ce marché parce qu’on a un vrai sujet de charge, de capacité. On voit la crise arriver, on n’a plus de sujet de doctrine quasiment. » (Entretien avec la directrice de cabinet du directeur général et de la direction de la transformation de Pôle emploi, décembre 2010).

50 Elle justifie la stratégie d’un usage discret et partiel des résultats. Les représentants de l’opérateur public et les partenaires sociaux qui appartenaient auparavant à des institutions qui s’opposaient doivent désormais faire fonctionner la même institution, alors qu’il existe toujours de nombreux désaccords entre eux, notamment sur la portée de ces évaluations. Si lors du lancement de l’évaluation les résultats étaient attendus pour trancher les oppositions entre les deux institutions, cette attente n’a plus lieu d’être puisque les débats qui les opposent ont été réglés par une décision politique inscrite dans une loi (et non par une décision prise suite à une mesure d’efficacité). La mise en concurrence du public et du privé avec comme enjeu la place respective de l’anpe et de l’institution paritaire qui était au centre des conflits relatifs au recours aux opp n’a plus de pertinence puisque la réforme a dessiné une nouvelle architecture institutionnelle. Les dirigeants de l’opérateur public (majoritairement d’anciens dirigeants de l’anpe) changent de rôle et de position par rapport à la période précédente. Alors qu’avant la fusion ils cherchaient à faire obstacle à la démonstration voulue par l’Unédic de l’efficacité supérieure du privé pour éviter que l’externalisation du placement ne se développe, ils occupent désormais la fonction de commanditaires des opérateurs privés. De plus, ils jouent désormais l’apaisement. Ils sont d’autant plus prompts à le faire qu’ils ne craignent plus rien de ces conflits en raison de leur nouvelle position de force, contrairement aux représentants des organisations syndicales et patronales qui subissent la marginalisation de l’institution paritaire par la création de Pôle emploi (Vivès, 2016).

51 Analyser la publication et la mobilisation des résultats de l’évaluation randomisée en les replaçant dans leur environnement institutionnel éclaire d’abord l’intérêt relatif et contingent de ces résultats chiffrés. S’ils répondaient à des interrogations antérieures à la fusion, ils présentent dans la nouvelle architecture institutionnelle un intérêt moindre voire nul. Par ailleurs, l’usage des résultats de l’évaluation chiffrée dépend de la position de force qui est désormais celle du nouvel opérateur public et de sa nouvelle fonction : il ne s’oppose plus au recours au privé mais le commandite. Les services ministériels (dgefp et dares) sont allés dans le même sens en n’intervenant pas pour donner de la visibilité aux résultats. La mobilisation des résultats illustre le fait que les acteurs commanditaires en position de domination institutionnelle, lorsqu’ils ne reconnaissent pas et n’appuient pas la diffusion des résultats, réduisent le pouvoir des chiffres qui ne disposent pas en eux-mêmes d’un pouvoir de légitimation.

52 À partir de l’étude de l’évaluation opp/cve, nous avons interrogé l’objectivité de l’évaluation randomisée et ses effets sur la conduite de l’action publique. À l’origine de l’évaluation opp/cve, il y a la conviction partagée par les acteurs des différentes institutions impliquées que disposer d’une évaluation chiffrée fiable serait de nature à influer sur le devenir de l’externalisation et plus largement sur l’architecture du service public de l’emploi. Nous avons montré que si les acteurs impliqués ont choisi l’évaluation randomisée pour la qualité prétendument supérieure de ses mesures d’impact, son objectivité doit être relativisée. D’une part, l’objet et les contours de l’évaluation sont le fruit de négociations entre des acteurs qui cherchent à imposer leur définition d’une évaluation correcte et fiable qui est elle-même influencée par leur conception de l’organisation souhaitée du service public de l’emploi. D’autre part, cette évaluation transforme la réalité qu’elle est supposée observer de manière neutre. En mettant en forme la concurrence entre institutions, l’évaluation randomisée renforce la conflictualité. Cette situation de tension aboutit à des interventions des acteurs des différentes institutions et occupant différents niveaux hiérarchiques. Certains pour faire échouer le dispositif d’accompagnement, d’autres pour qu’il puisse se poursuivre. Certains pour perturber le déroulement de l’évaluation, d’autres pour qu’elle soit menée à bien. Ces diverses interventions témoignent de la nécessité d’analyser les logiques institutionnelles pour sortir de l’illusion d’un enregistrement neutre de la réalité qui mesurerait les effets sur des comportements individuels d’un dispositif de politique publique en étant dépourvue de biais. C’est la notion même de biais qu’une analyse sociologique des évaluations dans leur contexte institutionnel permet d’interroger. Ces réactions à l’évaluation randomisée prennent des formes spécifiques au cours de cette évaluation mais révèlent une limite générale de la méthode : elle est supposée évaluer des modifications de comportements liées au seul traitement et « toutes choses égales par ailleurs » alors que son existence même modifie les comportements évalués.

53L’étude de la phase de publication et d’usage des résultats invite également à revoir la définition de l’objectivité et sa contribution au pouvoir légitimant du chiffre pour orienter l’action publique. Suite aux bouleversements institutionnels importants connus par le service public de l’emploi, les résultats de l’évaluation ont un intérêt moindre pour les acteurs, ce qui confirme la nécessité d’analyser le contexte institutionnel pour comprendre la signification, la valeur et l’usage des résultats pour les acteurs. Cela souligne également le caractère contingent de l’intérêt des résultats produits par la randomisation. Depuis le lancement de l’évaluation, l’attente à l’égard d’une mesure chiffrée de l’efficacité était très forte et l’importante mobilisation des acteurs pour mener l’évaluation à bien témoigne de leur investissement pour ce résultat. Malgré cet investissement, ils prennent leur distance avec ces résultats pour des raisons politiques, mais ils n’argumentent jamais contre la méthodologie choisie et sa réalisation. L’usage faible et partiel des résultats montre qu’ils n’ont pas de pouvoir d’orientation de l’action publique en eux-mêmes s’ils ne sont pas reconnus et mobilisés par les acteurs et institutions susceptibles d’en user pour orienter l’action publique. Ce pouvoir de légitimation ne provient donc pas d’abord des caractéristiques des données produites mais il est conféré par les institutions commanditaires.