La gauche se dote, dans les années 1990, d’une doctrine de l’évaluation sur le modèle collaboratif/pluraliste

18Cette approche de l’évaluation se forge sous le gouvernement de Michel Rocard (mai 1988 - mai 1991) à partir du Rapport Viveret (1989) et de la pratique du Conseil scientifique de l’évaluation (CSE) créé en 1990 auprès du Premier ministre. Il en ressort que l’évaluation doit être : menée sous l’égide de l’exécutif, globale, avec une ambition d’exhaustivité ; collaborative/pluraliste (ceux qui effectuent le travail de collecte et d’analyse des données sont nommés « chargés d’évaluation » pour bien souligner qu’ils ne sont pas des évaluateurs de plein exercice et que le dernier mot appartient à une instance dans laquelle siègent les parties prenantes) ; plus procédurale que substantielle (l’organisation de la conduite de l’évaluation est plus importante que la méthodologie) ; universelle (les caractéristiques précédentes doivent s’appliquer de manière identique, qu’il s’agisse d’une politique régalienne de l’État ou d’une politique sociale d’une municipalité).

19 Cette conception spécifique est diffusée dans les administrations d’État, les collectivités territoriales et chez les consultants travaillant pour elles, à la fois par mimétisme institutionnel, par la voie règlementaire [5], par le guide édité par le CSE (1996). Après l’échec et la disparition du CSE et une éclipse pendant les deux premières années de la Présidence Chirac, cette conception de l’évaluation renaît sous le gouvernement de Lionel Jospin (juin 1997 - mai 2002) avec la création en 1998 du Conseil national de l’évaluation (CNE), qui va connaître rapidement le même sort que le CSE.

20 La diffusion de cette approche va être relayée par la Société française d’évaluation (SFE), créée en 1999, notamment par des anciens du CSE. Sa Charte de l’évaluation énonce dans son premier principe, dit de « pluralité », que les parties prenantes doivent être « associées » à l’évaluation (SFE, 2006), ce qui est réaffirmé dans ses Projets associatifs 2010-2013 et 2014-2017 (SFE, 2014) ; règle particulière héritée directement de « l’instance pluraliste » du « modèle CSE » qu’on ne retrouve pas dans les autres standards nationaux et internationaux en matière d’évaluation [6].

21 La démarche étant plus idéologique que pragmatique, la leçon des échecs du CSE et du CNE ne va pas être tirée. Après une nouvelle éclipse sous les gouvernements de droite (2002-2012), les mêmes principes vont être réactivés au niveau politique à la suite du « grand chelem » de 2012 qui voit la gauche contrôler l’exécutif, les deux assemblées et la plupart des collectivités locales. L’évaluation collaborative/pluraliste est alors de nouveau mise en avant, en particulier avec la mise en place d’un dispositif national d’évaluation rattaché au Premier ministre par le gouvernement de Jean-Marc Ayrault : le Secrétariat général pour la modernisation de l’action publique (SGMAP, 2012). L’ambition affichée est considérable : évaluer l’ensemble du champ des dépenses de l’État dans la durée du quinquennat. L’approche à suivre est explicite : l’évaluation doit être « partenariale », nouveau mot pour désigner l’évaluation collaborative/pluraliste, sous contrôle de l’exécutif, confiée aux ministres et aux inspections générales placées sous leur autorité, procédurale et uniforme.

22Ainsi la gauche s’est-elle dotée d’une doctrine quant à la façon de faire des évaluations, mais n’a pas créé des conditions permettant à l’évaluation de s’inscrire de façon durable dans le paysage institutionnel. Le constat est presque inverse pour la droite.

La droite, longtemps réticente, promeut le principe de l’évaluation externe à partir de 1995

23La droite a été longtemps réservée face à l’idée d’évaluation. En témoigne l’enterrement du premier rapport officiel sur le sujet (Deleau, Nioche, Penz, Poinsard, 1986), qui avait le défaut d’avoir été commandé par la gauche (Jacques Delors, ministre des finances et Michel Rocard, ministre du plan) et remis juste après le retour de la droite au gouvernement, lors de la première cohabitation.

24Les choses ont changé quand Jacques Chirac arrive au pouvoir en 1995. Le lendemain même de son élection le nouveau président annonce la création de deux instances d’évaluation à l’Assemblée nationale. Il inaugure ainsi une période nouvelle voyant la droite mener des réformes structurelles favorisant l’évaluation externe à l’administration. Cette première initiative va connaître plusieurs aléas avant de donner lieu à la création du Comité d’évaluation et de contrôle des politiques publiques de l’Assemblée nationale, après la réforme de la Constitution de 2008. Celle-ci constitue une novation majeure, car elle donne une base constitutionnelle à l’évaluation externe des politiques de l’État et un rôle spécifique en la matière au Parlement et à la Cour des comptes avec l’introduction de nouvelles dispositions selon lesquelles le Parlement contrôle l’action du gouvernement avec l’assistance de la Cour des comptes et qu’il évalue les politiques publiques. Moins spectaculaires, mais importante pour des raisons méthodologiques, deux lois vont faciliter le recours à l’expérimentation en affirmant qu’elle n’est pas contradictoire avec le principe d’égalité de tous devant la loi [7].

25Inversement, la plus visible des initiatives d’apparence évaluative mise en place sous la présidence de Nicolas Sarkozy, la Révision générale des politiques publiques (RGPP), n’a pas constitué un modèle porteur d’avenir. Les ambitions initiales, de type évaluatif, ont été abandonnées pour des raisons d’équilibre politique entre l’exécutif et la majorité parlementaire. La RGPP n’a pas été une politique de l’évaluation, mais une politique de rationalisation de l’organisation administrative de l’État (fusion de directions ou d’organismes, réorganisation de services, simplification de procédures, etc.) avec l’aide de cabinets de consultants.

26 La droite a donc été à l’origine de réformes structurelles en faveur de l’évaluation externe, mais sans avoir une doctrine quant à sa mise en œuvre, notamment sur la question de savoir si toute évaluation doit se conformer à un paradigme unique et, dans l’affirmative, lequel, ou si la variété des évaluations doit prévaloir, chaque institution devant pratiquer un, ou plusieurs, type(s) d’évaluation(s) conforme(s) à sa mission et à ses compétences.

L’évaluation par les preuves est minoritaire et peu soutenue politiquement

27 L’évaluation stratégique ou « par les preuves » est la démarche de référence dans la plupart des pays et chez les grands prescripteurs internationaux : Commission européenne, OCDE, Banque mondiale, FMI, PNUD, OMS, UNESCO, etc.

28 L’évaluation « par les preuves », notamment expérimentale, est née en France dans le domaine de l’épidémiologie et des politiques de santé publique (Schwartz, 1984), mais elle est restée longtemps méconnue des autres secteurs. Elle va être en revanche très développée à l’international sous le nom de Randomized Controlled Trial (RCT), en particulier à l’égard des politiques d’aide au développement, où certains économistes français jouent un rôle majeur (Duflo, 2009). Par ce détour international, ce type d’évaluation a trouvé un écho dans la communauté des économistes français en France, dont certains vont s’émerveiller de la « nouveauté » de la démarche… (L’Horty et Petit, 2011). Cet intérêt va se manifester à l’occasion du programme d’évaluations financé par le Fond d’expérimentation pour la jeunesse dirigé par Martin Hirsch sous la présidence de Nicolas Sarkozy. L’élan se prolonge dans des secteurs tels que le travail, les aides sociales, l’éducation, la fiscalité, le développement agricole, tout en restant limité par la faible demande politique et administrative pour ce type de travaux. Conduits par des économistes universitaires, ils sont rarement centrés sur le rendu de comptes financiers, mais la préoccupation de l’économie de la dépense publique y est centrale.

L’hybride étrange de l’évaluation pluraliste/collaborative avec la tradition du contrôle : la revanche des inspections générales

29 L’évaluation collaborative est généralement peu pratiquée au niveau des États. Elle est surtout développée au niveau local et dans des secteurs à forte dimension « sociale » tels que l’éducation, les politiques urbaines ou les aides sociales. Elle est plus répandue en France que dans d’autres pays et, par influence linguistique et mimétisme induit, plus présente au Québec qu’au Canada, en Wallonie qu’en Belgique, en Suisse romande qu’en Suisse.

30 En France, la victoire de la gauche en 2012 s’est traduite par une relance de l’évaluation collaborative, mais avec un élément nouveau, l’appui des inspections générales. En 1989, le rapport de Patrick Viveret prônait l’évaluation collaborative, qu’il nommait « démocratique », contre le « monopole de l’expertise légitime » des grands corps de l’État. Ce mot d’ordre n’avait fait que renforcer la méfiance des inspections générales vis-à-vis de l’idée d’évaluation, qu’elles connaissaient mal et qu’elles voyaient comme un concept rival de leur fonction. L’évaluation progressant néanmoins, cette résistance a parfois été camouflée sous un discours récupérateur, mais peu convaincant, laissant entendre que ces inspections faisaient de l’évaluation « depuis toujours ».

31 Le fait que les missions liées à la RGPP (2007-2012) aient été confiées à 90 % à des consultants a été vécu comme un désaveu et une humiliation par de nombreux membres des corps d’inspection. Avec le retour de la gauche au pouvoir et sa préférence pour une évaluation sous l’égide de l’exécutif, une nouvelle alliance se crée. Sur commande du nouveau gouvernement, deux rapports des trois inspections générales interministérielles vont dire tout le mal qu’il faut penser de la RGPP (IGA, IGF, IGAS, 2012 a), et formater administrativement une procédure d’évaluation, rebaptisée « partenariale » évoquée ci-dessus (IGA, IGF, IGAS, 2012 b). Une circulaire du Premier ministre du 7 janvier 2013 en reprend les termes, en précisant que l’évaluation doit « associer les parties prenantes » et que la « co-production » doit en être la règle.

32 Cette nouvelle donne se traduit par le fait que les évaluations conduites sous la houlette du SGMAP sont quasi-exclusivement confiées aux membres des inspections générales [8]. Ceux-ci se sont ainsi vus attribuer, d’un coup de baguette politique, une expertise en évaluation et un quasi-monopole dans l’« offre » d’évaluation au niveau de l’État, et alors même que les inspections ne sont pas indépendantes de l’exécutif ou, peut-être, pour cette raison. En l’attente d’une méta-évaluation des évaluations ainsi réalisées, la présentation faite par le SGMAP de ses propres travaux [9] laisse entrevoir un hybride étrange entre l’inspection à la française et l’évaluation collaborative, l’une et l’autre reposant pourtant sur des principes opposés.

33 Parmi les universitaires, ce sont les sociologues qui ont profité en priorité de l’orientation « collaborative » de la demande des exécutifs socialistes en matière d’évaluation, accompagnés par des politologues qui partagent avec eux tout ou partie des prémisses de cette forme d’évaluation : préférences pour la démocratie participative, la démarche constructiviste, les méthodes qualitatives, etc. (Lascoumes et Setbon, 1996 ; Kessler, Lascoumes, Setbon, Thoenig, 1998). Néanmoins la science politique française reste peu active dans le domaine de l’évaluation, produisant quelques recherches « sur » l’évaluation, prise comme objet, ses acteurs, son institutionnalisation, et très peu « en » évaluation, visant la réalisation effective d’évaluations ou le progrès des méthodes.

34 De leur côté, les consultants se sont d’autant plus volontiers adaptés à une demande d’évaluation collaborative que celle-ci est proche des méthodes de « gestion du changement » familières aux consultants en management et moins soumise à une régulation de la qualité que les deux autres paradigmes.

35 L’évaluation collaborative/pluraliste/partenariale, est ainsi devenue la doctrine officielle du gouvernement français, ce qui constitue, sans doute, une première mondiale au niveau des États nationaux, mais se traduit par une faiblesse notable pour ce qui est de sa capacité à être utilisée à des fins de reddition des comptes.

L’évaluation managériale et sa contribution potentielle à la reddition des comptes, sont délaissées par les institutions dont c’est la mission.

36L’évaluation managériale s’est développée dans les dernières décennies en parallèle avec la diffusion des systèmes budgétaires orientés vers les résultats (performance based budgeting) et celle du New Public Management, tout en s’appuyant sur la tradition très ancienne de l’audit, auquel elle a ouvert des perspectives nouvelles. Or, on n’observe pas, en France, les synergies constatées dans de nombreux pays entre ces instruments, au profit d’un renforcement de la reddition des comptes : d’une part la doctrine du New Public Management n’a eu qu’un impact limité, et d’autre part la réforme fondamentale de la LOLF n’a pas produit les effets attendus en matière d’évaluation de programmes ; les institutions chargées du contrôle des comptes ne s’étant pas saisies de l’occasion que la loi organique représentait pour structurer et renforcer leur activité nouvelle d’évaluation.

37 De nombreuses collectivités territoriales ont mis en place des systèmes budgétaires par programmes, dans le même esprit que la LOLF, et les ont complétés par des dispositifs de suivi-évaluation de type managérial (Baslé, 2008). L’État n’a pas accompagné la LOLF par de tels dispositifs. L’évaluation managériale n’a été politiquement soutenue ni par la droite ni par la gauche. Par voie de conséquences, elle n’a été prioritaire ni pour les administrations, ni pour les institutions indépendantes de l’exécutif (Parlement, Cour des comptes) qui ont pour mission de contrôler son action.

38 La mise en œuvre de la LOLF comporte en principe une phase évaluative, chacun des programmes qui la compose devant faire l’objet d’un rapport annuel de performance (RAP), préparé par Bercy et associé à la loi de règlement présentée au Parlement. La formulation des objectifs et le choix des indicateurs de résultats, faits par les services, ont fait l’objet de critiques accablantes, les objectifs étant souvent ambigus et les indicateurs peu représentatifs des phénomènes qu’ils sont supposés analyser (Brunetière, 2006, 2013 ; Benzerafa et Gibert, 2016). Les RAP apparaissent ainsi relever davantage d’une routine administrative que d’un véritable exercice de rendu de comptes. À cela s’ajoute le peu d’appétence des parlementaires pour l’examen de la loi de règlement et des RAP, malgré les modifications du règlement de l’Assemblée en faveur du temps consacré à cet exercice.

39 L’administration financière ne faisant pas une évaluation rigoureuse et utilisable pour la décision des programmes de la LOLF, on aurait pu imaginer que la création du SGMAP allait combler cette lacune. Sa mission étant d’évaluer, dans le cadre du quinquennat, les politiques correspondant à l’ensemble des dépenses de l’État, la LOLF lui offrait une nomenclature de programmes couvrant l’ensemble des dépenses publiques, sans omission ni double emploi, et un système d’information budgétaire donnant les bases d’une reddition des comptes, programme par programme. Ce n’est pas la voie qui a été suivie. Le SGMAP évalue des « politiques » définies au fil de l’eau, au périmètre mal délimité. Il n’est donc pas à l’abri de « comptages multiples des dépenses », c’est-à-dire d’englober la même dépense au titre de plusieurs politiques. De plus les politiques publiques évaluées de la sorte couvrant en général un champ plus limité que celui d’un programme LOLF, il est certain qu’avec 80 évaluations achevées à la fin du quinquennat (cf. site SGMAP avril 2017), l’objectif originel d’évaluation systématique des dépenses de l’État, (135 programmes dans la LOLF), n’a pas été atteint.

40 Le même constat du faible recours à l’évaluation managériale et de la sous-utilisation de la LOLF s’applique aux contrôleurs externes de la dépense publique. Ni la Cour des comptes, ni l’Assemblée nationale, n’ont choisi d’articuler, ne serait-ce qu’en partie, leur nouvelle activité d’évaluation avec les catégories de programmes de la LOLF.

41 La réforme constitutionnelle de 2008 a donné une responsabilité nouvelle à la Cour en matière d’évaluation de politique publique, qu’elle exerce pour partie de son propre chef, pour partie sur demande de l’Assemblée nationale (deux rapports par an). La réponse de la Cour à cette mission, pour l’instant limitée à un petit nombre d’évaluations, est pleine d’ambigüités.

42 À l’étranger, les institutions suprêmes d’audit qui se sont engagées dans l’évaluation ont suivi deux modèles principaux. Le premier est celui du performance audit dont le prototype est celui du National Audit Office anglais. Il correspond à une extension du concept d’audit, d’une logique organisationnelle à une logique de programme, et d’une analyse des résultats opérationnels à celle des effets dans la société. Il s’appuie, en les élargissant, sur les compétences des auditeurs. Un petit nombre d’entre elles, ont suivi l’exemple du Government Accountability Office aux États-Unis en créant, à côté de leur activité d’audit, une division chargée de l’évaluation stratégique/par les preuves mais, tirant toutes les conséquences de ce choix, en la dotant de compétences en recherche par le recrutement de docteurs en économie, statistiques, sociologie, management, etc. La Cour française n’a choisi aucune de ces voies cohérentes : ni de faire de l’audit de programme au sein des chambres d’audit ; ni de faire de l’évaluation par les preuves au sein d’une division dédiée, avec des ressources spécifiques. Elle a décidé que l’activité d’évaluation relevait de toutes ses chambres, tout en rejetant le concept d’audit de performance. Ainsi le Premier président affirme-t-il que « les revues de programme ou audits de performance sont parfois assimilé à tort, à des évaluations. Or, ces travaux sont réalisés à partir des indicateurs existants et de façon moins approfondie que ne l’est une évaluation et, surtout, sans impliquer l’ensemble des acteurs ». Il ajoute que l’évaluation doit être « globale et partenariale » (Migaud, 2013). Ces formulations expriment ainsi la vision étonnante d’une institution d’audit qui rejette le type d’évaluation le plus proche de ses compétences et de sa vocation, pour un mélange inédit d’une l’évaluation par les preuves, pour laquelle elle est peu équipée, avec une évaluation collaborative, qui n’est guère dans sa culture, mais qui correspond à la doctrine du gouvernement au pouvoir. La Cour n’a donc pas, pour l’instant, une politique cohérente, transparente et conforme à son indépendance en matière d’évaluation.

43 Le Comité d’évaluation et de contrôle des politiques publiques (CEC) de l’Assemblée nationale s’est engagé dans une autre ambigüité en confondant l’« évaluation de politique », qui tente de fonder un jugement évaluatif sur des faits, avec l’« évaluation politique », privilège des élus, qui consiste à porter un jugement sur une politique à partir de choix de valeurs. La première exige une distance méthodologique et une indépendance des évaluateurs, que ne respecte pas la pratique du Comité. Ainsi a-t-on vu des députés, en charge d’une évaluation, animer eux-mêmes des focus groups dans leur circonscription, plutôt que les confier à des professionnels et dans des zones choisies pour des raisons fondées en méthodologie. L’attitude de l’Assemblée vis-à-vis des rapports que lui remet, à sa demande, la Cour des comptes relève du même esprit. Inclure un rapport d’évaluation de la Cour comme un élément dans un rapport plus vaste signé des députés revient à traiter la Cour comme un prestataire « chargé d’enquête » et non comme l’institution indépendante qu’elle est. Le désir de contrôle de l’information par les responsables politiques est universel et prévisible. C’est pourquoi la plupart des démocraties ont dotés leur parlement de dispositifs d’évaluation évitant la confusion des genres et des rôles.