Une pratique expérimentale

Systématisation de l’évaluation : les contrats de ville

15 On ne trouve d’ailleurs aucune référence à ces travaux, dans le mandat de négociation adressé aux préfets en 1993 pour l’élaboration des contrats de ville du XI^e Plan, qui ont pris la suite des conventions de DSQ. Les leçons de l’échec de l’évaluation nationale ont, d’une certaine façon, été tirées, puisque la responsabilité de l’évaluation a été confiée aux signataires locaux des contrats de ville. L’incitation nationale à l’évaluation locale s’est appuyée sur une enveloppe financière conséquente (un droit de tirage sur les crédits contractualisés par l’État dans les contrats de plan, dont 6/10 000^e étaient réservés à l’évaluation) et sur la diffusion d’un Dossier-ressources pour l’évaluation des contrats de ville. Reprenant les recommandations du Conseil scientifique de l’évaluation, ce guide méthodologique établi par la Délégation interministérielle à la ville (DIV) insistait sur la nécessité d’un travail préalable de clarification des objectifs, au-delà de ce qui avait été fait dans la phase de négociation locale des contrats. Les conventions établies localement avaient – à de rares exceptions près – laissé dans le flou la stratégie retenue pour lutter contre les processus d’exclusion sociale et spatiale, se contentant d’un rappel des grands objectifs de la politique de la ville et des objectifs spécifiques des différents dispositifs qui la composent. L’évaluation est dès lors apparue comme un levier pour clarifier la stratégie poursuivie localement, en mobilisant les acteurs locaux dans un débat sur les enjeux traités, les objectifs poursuivis et les résultats attendus. Cette clarification devait se prolonger par l’élaboration de questionnements évaluatifs et l’élaboration d’indicateurs permettant d’y répondre. Pour faire émerger ce débat, le dossier-ressources incitait les acteurs locaux à considérer la politique de la ville comme la combinaison de « trois lignes stratégiques à la fois clairement distinctes et rarement isolables en tant que telles, puisque la plupart du temps mêlées dans les politiques locales :

• la première ligne se donne pour objectif la résorption de poches d’exclusion. Elle vise à réduire les handicaps liés à une concentration spatiale excessive de « cas difficiles ». Elle prend appui sur des politiques spécifiques, adaptées, dans une logique de discrimination positive, pour rétablir la norme de l’égalité sociale et de l’homogénéité spatiale ;
• la seconde ligne stratégique vise à prendre en compte l’existence de quartiers populaires. Elle cherche à valoriser les initiatives et les solidarités de voisinage qui permettent de dépasser les différences sociales et de la société locale. Pour ce faire, elle demande à l’action publique de soutenir les initiatives sociales, de favoriser la multiplication des innovations et des expérimentations locales ;
• la dernière ligne stratégique cherche avant tout à restaurer les liens sociaux et urbains qui fondent la cohésion urbaine. Elle insiste moins sur la réduction ou la valorisation de la marge que sur la recomposition de la norme : elle interpelle les données du fonctionnement urbain qui sont à l’origine des processus d’exclusion sociospatiale et s’attache principalement à la reformulation des politiques publiques sectorielles par une approche nouvelle de la question sociale (Délégation interministérielle à la ville, 1995).

16 Le renvoi de l’évaluation vers le local opéré au cours du XI^e Plan s’est donc conclu par un succès quantitatif (une centaine de contrats de ville ont fait l’objet d’une évaluation in itinere ou ex post), contrebalancé par un bilan nettement plus mitigé sur le plan qualitatif. Il a surtout contribué à l’émergence d’un marché de l’évaluation, sur lequel sont entrés de nouveaux intervenants. Les chercheurs en sciences sociales, qui étaient en première ligne dans la conduite des enquêtes évaluatives jusqu’au début des années 1990, ont été remplacés par des bureaux d’études et des cabinets d’audit plus habitués à apporter des réponses ou des solutions à leurs commanditaires qu’à reformuler les questions posées par ces derniers en les accompagnant dans un travail réflexif sur leurs intentions. Ceci explique, pour partie, le fait qu’une grande majorité des évaluations des contrats de ville a été conduite sans travail préalable de mise en débat des intentions de leurs signataires. La méthodologie unifiée promue par la DIV, a alors laissé place à une infinie fragmentation des dispositifs et des approches. La plupart des évaluations se sont réduites à des audits organisationnels, traitant exclusivement du volet institutionnel de la politique de la ville (organisation des dispositifs, fonctionnement des instances, relations entre les « partenaires »…) sans interroger ses finalités et ses réalisations.

17 Lorsque des travaux ont porté sur les réalisations de la politique de la ville, c’est au prix d’une occultation de ses objectifs généraux et de ses modes d’action, ce qui a singulièrement réduit la portée des analyses.

18 Enfin, les interrogations des maîtrises d’ouvrage locales relatives à l’impact du contrat de ville, ont suscité des enquêtes nombreuses et diversifiées (tableaux de bord d’indicateurs statistiques, sondages, panels d’habitants, groupes témoins…), mais celles-ci n’ont jamais apporté de réponses concluantes aux questions posées. Car les évaluateurs ont buté sur la difficulté d’identifier ce qui, dans les évolutions observées, pouvait être imputé en propre à une politique additionnelle dont les interventions viennent s’ajouter à celles développées par les différentes politiques sectorielles dans les mêmes territoires. Les évaluations n’ont donc qu’exceptionnellement abouti à des jugements argumentés sur la valeur de la politique menée. Symptomatiquement, de nombreux rapports se concluent par une critique du flou des objectifs poursuivis, lequel limiterait l’évaluabilité de la politique de la ville [9]. On trouve bien, dans certains rapports d’évaluation, des jugements relatifs à la pertinence, à la cohérence, à l’efficacité et à l’impact du contrat de ville. Mais ces avis aussi tranchés que faiblement étayés, ne reflètent que le point de vue de leurs rédacteurs (des bureaux d’études dont l’expertise apparaît très discutable) et non le résultat de la mise en débat de leurs enquêtes. Quant à l’exigence de publicité des rapports d’évaluation, elle semble avoir été systématiquement oubliée…

19 La mise en place d’une nouvelle génération de contrats de ville en 2000 s’est néanmoins accompagnée de la réaffirmation d’une forte ambition en matière d’évaluation, présentée comme « un impératif d’efficacité et une exigence démocratique » [10]. Un Comité national d’évaluation de la politique de la ville a été installé en janvier 2002 et un nouveau guide méthodologique de l’évaluation des contrats de ville a été diffusé par la DIV quelques mois plus tard. La déconvenue a été à la hauteur de l’ambition affichée. Le Comité national ne s’est réuni qu’à deux reprises et il n’a eu aucune production propre. S’agissant des évaluations locales, le bilan est comparable à celui du XI^e Plan. À mi-parcours, plus de la moitié des contrats de ville 2000-2006 avaient fait l’objet d’une évaluation. Mais ces évaluations locales reproduisaient les travers méthodologiques (et déontologiques) observés quelques années plus tôt, quand elles ne les amplifiaient pas (Epstein, Kirszbaum, 2005).

L’évaluation en échec ?

20 Quelques mois après avoir été nommé ministre délégué à la ville et à la rénovation urbaine dans le premier gouvernement de Jean-Pierre Raffarin, Jean-Louis Borloo a demandé à ses services d’établir une synthèse de ces évaluations à mi-parcours des contrats de ville 2000-2006. Après avoir réuni les rapports disponibles et tenté de les exploiter, la délégation interministérielle à la ville a dû reconnaître qu’elle était dans l’incapacité à répondre à la demande ministérielle. À son corps défendant, elle a ainsi validé l’analyse développée par les magistrats de la Cour des comptes dans le rapport particulier sur la politique de la ville qu’ils avaient publié en 2002 : cette politique serait marquée par des défauts de conception qui empêcheraient son évaluation. Pour rendre celle-ci possible, les Hauts Magistrats rappelaient les demandes qu’ils avaient déjà formulées dans leur rapport annuel en 1995 : clarification des objectifs de la politique de la ville ; déclinaison de ces objectifs dans des indicateurs de résultats ; identification plus précise des programmes y contribuant et des moyens qui leur sont consacrés ; amélioration des systèmes statistiques d’observation des quartiers. Autant de demandes auxquelles la loi Borloo du 1^er août 2003 a répondu.

21 Avant de considérer cette ambitieuse réforme de la politique de la ville et de son évaluation, tirons un bilan d’ensemble des expériences antérieures. Plus que toute autre politique publique, la politique de la ville a affiché de fortes ambitions en matière d’évaluation, sans toutefois aller jusqu’à engager de métaévaluation (évaluation des évaluations). Combler ce manque supposerait d’engager des démarches spécifiques. On peut néanmoins pointer l’écart qui sépare les évaluations de la politique de la ville de l’idéal évaluatif. À l’aune des critères métaévaluatifs utilisés pour apprécier la qualité des évaluations (utilité ; exactitude et caractère systémique des travaux ; compétence et intégrité des évaluateurs ; publicité accordée aux résultats, à la fois positifs et négatifs (Stufflebeam, 2001)), la quasi-totalité des évaluations qui ont pris pour objet la politique de la ville au cours du dernier quart de siècle doivent être considérées comme des échecs : aucune de ces démarches évaluatives n’est parvenue à répondre de façon satisfaisante aux principales questions qui ont justifié leur lancement [11], et les nombreuses réorientations qu’a connues cette politique ne se sont pas que rarement appuyées sur les recommandations issues des évaluations (Jacquier, 2004).

22 L’évaluation a néanmoins été utile pour la politique de la ville, assurant des fonctions diverses au fil de son histoire :

• elle a tout d’abord légitimé cette politique expérimentale portée par des acteurs marginaux dans le système politico-administratif, contribuant ainsi à sa pérennisation ;
• elle a ensuite servi de cadre à la théorisation de la politique de la ville, fournissant à ses porteurs nationaux et locaux des ressources cognitives et/ou discursives mobilisables vis-à-vis de leurs partenaires pour les inciter à s’engager dans une politique dont ils se tenaient souvent à l’écart ;
• enfin, le renvoi de l’évaluation vers le local a abouti, dans de nombreuses villes, à la constitution d’outils de suivi et d’observation qui ont pallié les carences d’un appareil statistique national structuré pour répondre aux besoins de connaissances de l’État et non à ceux des pouvoirs locaux (Desrosières, 1993) ;
• de manière plus exceptionnelle, l’évaluation a fait émerger des scènes de débat local sur la stratégie poursuivie, les réalisations, les effets de la politique de la ville, qui ont permis d’infléchir la politique menée [12].

Des avancées sensibles sur le plan cognitif

30 On notera tout d’abord que les travaux de l’ONZUS ont permis des avancées substantielles sur le plan de l’observation. Ses rapports annuels ont apporté des informations statistiques inédites sur les ZUS, ainsi que sur les ressources qui leur sont dévolues. Il en ressort notamment que la politique de la ville n’est pas parvenue à améliorer la situation socioéconomique de ces quartiers, où réside 8 % de la population française. Au contraire, la dynamique d’accroissement des écarts territoriaux s’est prolongée sans discontinuer, sous l’effet d’une concentration croissante des populations peu qualifiées, pauvres, précaires et issues de l’immigration. Le seul impact sensible de la politique de la ville relevé par l’ONZUS, concerne la dotation en équipements publics (infrastructures d’accueil pour les enfants, équipements sportifs et culturels, bureaux de poste, etc.), qui sont aussi, voire plus, nombreux dans les ZUS que dans les autres quartiers [14]. Mais cette présence n’est souvent pas à hauteur des besoins locaux, bien plus importants qu’ailleurs. Dans l’ensemble, l’implantation d’équipements collectifs dans les quartiers prioritaires ne s’est pas prolongée par une réduction des inégalités d’accès à l’offre publique, y compris sur les thématiques privilégiées par la politique de la ville : les pratiques sportives, culturelles et de loisirs des habitants des ZUS demeurent nettement plus limitées que celles de l’ensemble des citadins, y compris pour des activités socialement et culturellement peu marquées.

31 Ce constat doit cependant être nuancé. Comme le rappellent chaque année les rédacteurs du rapport de l’ONZUS, les statistiques qui y sont réunies, portent sur la situation moyenne des 751 ZUS françaises, marquées par des situations et des dynamiques hétérogènes. L’augmentation des écarts statistiques entre l’ensemble des ZUS et le reste du territoire français masque donc des évolutions plus favorables dans certaines villes. Il n’en demeure pas moins que l’objectif national de réduction des écarts défini par le législateur en 2003 n’a pas été atteint, ce qui s’explique, en grande partie, par l’importance des mobilités résidentielles des habitants des ZUS : l’analyse détaillée des profils des entrants et des sortants établie par l’ONZUS en 2005 montre que les populations les plus fragiles ont tendance à rester dans ces quartiers alors que les trajectoires sociales ascendantes s’accompagnent souvent d’un déménagement hors des ZUS. Selon la date d’observation, ce ne sont donc pas forcément les mêmes habitants qui y résident. La dégradation des indicateurs socioéconomiques de ces quartiers résulte donc avant tout des changements de population induits par la mobilité résidentielle, et ne renseigne pas nécessairement sur l’évolution des conditions de vie des populations présentes en début de période.

32 L’amélioration des systèmes d’observation à laquelle s’est attelé l’ONZUS, en lien avec l’ensemble des organismes de la statistique publique, a indéniablement fait progresser la connaissance des quartiers visés par la politique de la ville et de leurs dynamiques, ainsi que des moyens mobilisés par cette politique. Les progrès de l’observation ont, ainsi, ouvert la voie à des avancées substantielles de l’évaluation nationale de la politique de la ville, en rendant possible, par des analyses économétriques, la mesure de l’efficacité de ses différents programmes [15]. Si l’on adopte une conception technocratique de l’évaluation, considérant que l’exercice vise justement à reconnaître les effets propres d’une politique publique (Deleau et al., 1986), il convient de souligner la cohérence et le succès de la réforme opérée en 2003. En revanche, si l’on privilégie une conception plus démocratique de l’évaluation, lui conférant la charge « d’accroître la qualité de la vie démocratique » en formant un jugement collectif sur la valeur d’une politique publique afin de nourrir le débat public (Viveret, 1989), il faut convenir que les avancées sont bien maigres, comme l’illustre le programme national de rénovation urbaine (PNRU), pièce maîtresse de la loi Borloo.

Le PNRU sera-t-il évalué ?

33 Alors que des ressources considérables sont mobilisées pour conduire les opérations de rénovation urbaine, sans commune mesure avec celles dévolues aux autres procédures développées par la politique de la ville en direction des mêmes quartiers, ces opérations sont les seules pour lesquelles le niveau national n’exige pas la mise en place de dispositifs d’évaluation locale. Un an après le terme de l’ambitieux programme de rénovation urbaine dont le coût total est estimé à 42 milliards d’euros, le titre de l’article publié en 2005 par un membre du Comité d’évaluation et de suivi de l’ANRU demeure d’actualité : « L’ANRU, au risque de l’évaluation : Que va-t-on réellement évaluer et quand va-t-on s’y mettre ? » (Robert, 2005). On pourrait y ajouter une question supplémentaire : qui doit évaluer le PNRU ?

34 La répartition des rôles entre l’ONZUS et le Comité d’évaluation et de suivi de l’ANRU demeure peu claire. L’ONZUS est une structure d’observation, portée par le secrétariat général du comité interministériel des villes (ex?DIV), et non une instance d’évaluation. Ses rapports fournissent une matière indispensable à l’évaluation, mais ses responsables ont jusqu’à présent fait preuve d’une grande prudence, s’interdisant de formuler tout jugement sur la valeur du PNRU. Il en va différemment du Comité d’évaluation et de suivi de l’ANRU, qui a multiplié les critiques sur la conduite du programme. Mais ce comité n’est pas véritablement parvenu à s’imposer comme l’instance d’évaluation du PNRU. Faute de mandat formel définissant son rôle et en l’absence de démarches préliminaires qui lui auraient permis de se doter d’un référentiel d’évaluation structurant ses travaux dans la durée, le comité s’est positionné dans un rôle de commentateur chemin faisant de la mise en œuvre du programme plutôt que d’évaluateur : les hypothèses fondatrices de la rénovation urbaine, relatives aux effets sociaux de la mixité résidentielle et de la banalisation urbaine, n’ont jusqu’à présent pas été discutées dans ses rapports qui se concentrent sur les moyens dévolus à la rénovation urbaine ainsi que sur les conditions de pilotage du programme national et des opérations locales.

35 À décharge du comité, il faut souligner que celui-ci s’est heurté à l’absence d’informations cruciales, nécessaires pour juger de l’effectivité du programme et, a fortiori, pour juger de son efficacité. Les systèmes de suivi mis en place par l’ANRU ont été structurés dans une perspective de gestion financière, et non d’évaluation. S’ils rendent compte de l’avancement des opérations locales, c’est de façon très imparfaite, puisqu’ils ne permettent pas de distinguer précisément les opérations achevées, en cours et en préparation. Ne disposant pas de sources de données administratives fiables lui permettant de juger de la performance du PNRU – i. e. de son efficacité socioéconomique, de ses effets sur la qualité de vie dans les quartiers ou de l’efficience de la gestion de l’ANRU –, le comité d’évaluation s’est appuyé sur des informations disparates et parcellaires réunies par le biais de visites de terrain, d’auditions et d’études monographiques. Il a fallu attendre le début de l’année 2009 pour qu’il engage un programme d’études conséquent, susceptible d’aboutir à la constitution d’une vision plus générale de la mise en œuvre du PNRU et de ses effets.

36 L’absence des éléments nécessaires à la mise en débat public des résultats du PNRU est longtemps passée inaperçue, occultée par la publication par l’ANRU des données de suivi des opérations programmées, largement reprises par la presse. Mais cet état d’avancement ne fournissait aucune indication sur les réalisations effectives, renseignant simplement sur les réalisations programmées. Il a fallu attendre la fin de l’année 2007 pour que des premiers éléments chiffrés sur le nombre de logements démolis ou reconstruits soient rendus publics par l’ONZUS : à mi-parcours du PNRU, les opérations engagées s’élevaient tout juste à 10 % des objectifs définis par le législateur. À la fin 2006, la construction de 19 800 logements avait été engagée, pour 28 500 démolitions, soit un ratio de 70 % fort éloigné de l’objectif de reconstruction intégrale défini dans la loi. En outre, la typologie des logements reconstruits différait fortement de celle des logements démolis : les grands logements (T5 et plus) représentaient la moitié des démolitions (48 %), mais seulement un dixième des reconstructions. Ces dernières correspondent, dans deux tiers des cas (64 %), à des petits logements (du studio au T3), lesquels ne représentent qu’un quart des démolitions (24 %).

37 Les informations contenues dans le rapport 2007 de l’ONZUS ont ainsi confirmé les craintes exprimées au cours des années précédentes par quelques observateurs (Fondation Abbé-Pierre, 2006), qui n’avaient eu qu’un écho limité : la mise en œuvre du PNRU conduit à une réduction de l’offre de logement social, en particulier sur les segments du parc pour lesquels le déficit est déjà marqué, réduisant ainsi les possibilités de mobilité résidentielle des locataires HLM et plus encore les perspectives d’accès au logement social des mal-logés, en dépit de l’entrée en application d’un droit opposable au logement à la fin de l’année 2008. À cet égard, les premiers effets directs du PNRU apparaissent singulièrement contrastés : si de nombreux ménages déplacés à l’occasion des démolitions-reconstructions expriment leur satisfaction quant à leurs conditions de relogement (Lelévrier, 2008), ces opérations ont pu contribuer à l’approfondissement de la crise du logement dans certaines villes et elles ne sont pas encore parvenues à infléchir la dynamique de spécialisation sociale des quartiers visés (ONZUS, 2009 ; Comité d’évaluation et de suivi de l’ANRU, à paraître).

38 On peut créditer la loi Borloo d’avoir mis en place les instruments qui rendent possible une mesure précise de l’effectivité, de l’efficacité et de l’efficience des programmes de la politique de la ville, notamment de l’ambitieux programme de rénovation urbaine qui absorbe une part substantielle des ressources publiques dévolues à la politique de la ville et au logement social. Si le législateur a ainsi créé les conditions de l’évaluation, celles-ci ne sont cependant pas suffisantes pour que se développe une évaluation démocratique, au sens du rapport Viveret (cf. supra). Le constat s’était imposé au lendemain des émeutes de l’automne 2005, qui ont fait émerger un vaste débat sur la politique de la ville dont la rénovation urbaine a été tenue à l’écart. Depuis lors la mise en œuvre des opérations de rénovation urbaine s’est accélérée et les écarts entre les quartiers prioritaires de la politique de la ville et leur environnement se sont accrus sans discontinuer, sans que cela conduise à une amorce de mise en débat du PNRU, dont les avancées sont régulièrement célébrées par les responsables politiques nationaux et locaux. Force est donc de constater que si le PNRU est évaluable, il demeure encore difficilement discutable.

Une « révolution budgétaire »

39 Votée à l’initiative du Parlement le 1^er août 2001, la loi organique relative aux lois de finances est fréquemment présentée comme une « révolution budgétaire » dotant la France d’une « nouvelle constitution financière ». Succédant à une ordonnance de 1959 qui a régi pendant près d’un demi-siècle le droit budgétaire français, ce texte organique a introduit une nouvelle présentation du budget en loi de finances. Les charges budgétaires de l’État sont désormais regroupées par mission, chacune comprenant un ensemble de programmes réunissant « les crédits destinés à mettre en œuvre une action ou un ensemble cohérent d’actions relevant d’un même ministère et auquel sont associés des objectifs précis, définis en fonction de finalités d’intérêt général, ainsi que des résultats attendus et faisant l’objet d’une évaluation » (article 7). Les annexes explicatives jointes au projet de loi de finances comprennent les projets annuels de performance de chaque programme, qui présentent de façon extrêmement détaillée les finalités et le contenu de l’action publique conduite et financée par l’État : stratégie, objectifs et indicateurs de performance associés. Chaque responsable de programme (un haut fonctionnaire désigné par le ministre compétent pour piloter un programme donné) s’engage ainsi devant le Parlement, à l’occasion de l’examen de la loi de finances, sur des objectifs chiffrés pour l’année suivante. Il doit, ensuite, rendre compte des résultats obtenus et expliquer les écarts par rapport aux prévisions dans un rapport annuel de performances, joint au projet de loi de règlement rendant compte de l’exécution budgétaire de l’année passée.

40 Les promoteurs de la démarche au Parlement et dans l’administration insistent sur l’importance du volet performance de la loi organique. Celui-ci a vocation à introduire une plus grande transparence dans l’action de l’État et à améliorer le pilotage de ses politiques, puisque les objectifs et indicateurs de performance sont destinés à être déclinés tout au long des organisations administratives (Arkwright et al., 2007). Les améliorations de la gestion publique attendues de cette réforme budgétaire relèvent donc à la fois du registre démocratique et gestionnaire. Sur le plan démocratique, la nouvelle procédure budgétaire doit non seulement accroître la transparence et l’accountability, mais aussi restituer au Parlement une capacité d’arbitrage et de définition des programmes de l’État qu’il avait largement perdue (Siné, 2006). Sur le plan de l’efficience gestionnaire, des progrès sont attendus de l’introduction d’une culture managériale dans des administrations dont les agents n’étaient jusque-là pas responsables des résultats de leur action, dès lors qu’ils utilisaient les moyens conformément aux normes juridiques. Le changement concerne en premier chef les responsables de programme, qui bénéficient d’une plus grande autonomie dans la gestion de leurs moyens pour atteindre les objectifs votés par le Parlement. La globalisation et la fongibilité des crédits confèrent à ces managers une grande liberté pour redéployer les crédits au sein du programme dont ils sont responsables [16]. Cette liberté de gestion est la contrepartie d’un engagement sur des objectifs assortis d’indicateurs mesurant les résultats des actions menées, dont les responsables doivent rendre compte à leur ministre et au Parlement.

LOLF et évaluation

41 En clarifiant les objectifs poursuivis, en identifiant les moyens mobilisés et en mesurant les résultats obtenus, la nouvelle procédure budgétaire rend possible une réelle évaluation de l’efficacité et de l’efficience des programmes de l’État, en rupture avec une évaluation des politiques publiques trop souvent centrée sur les seules procédures formelles. Entrée en vigueur par étapes, la LOLF s’est pleinement appliquée à compter de la loi de finances pour 2006. Au terme des trois premiers exercices de ce nouveau régime budgétaire, les promesses évaluatives de la loi organique restent encore à concrétiser.

42 À l’heure actuelle, les objectifs et les indicateurs définis dans les projets annuels de performance « forment un ensemble à la fois pléthorique et carencé » (Maury, 2008), qui ne peut servir de base à une évaluation systématique des programmes de l’État : le projet de loi de finances pour 2007 comprenait 634 objectifs et 1295 indicateurs pour l’ensemble du budget ! Les valeurs-cibles associées à nombre de ces objectifs apparaissent totalement irréalistes, relevant plus directement de l’affichage d’un volontarisme politique que d’un souci pragmatique d’amélioration de la performance de l’action publique. À cela s’ajoutent les très nombreuses imperfections du système d’indicateurs mis en place : instabilité, non-disponibilité des données nécessaires pour les renseigner et surtout pertinence singulièrement limitée. Car ces indicateurs dits « de performance » informent souvent exclusivement sur l’activité et les moyens des administrations, ou fournissent un éclairage en trompe l’œil sur les résultats de leur action (Brunetière, 2006). C’est notamment le cas lorsque leur évolution ne peut être directement imputée à un programme étatique donné, parce que dépendant principalement ou partiellement du contexte, d’autres programmes ou d’autres acteurs.

43 On peut penser qu’il s’agit là de faiblesses temporaires, appelées à s’effacer avec le temps (Arthuis, 2005 ; Maury, 2008). On peut aussi penser qu’elles sont appelées à perdurer : près de quatre ans après la remise d’un rapport d’information dans lequel le sénateur Arthuis analysait précisément les limites des objectifs et des indicateurs retenus, leur nombre n’a diminué que de 8 % et leur qualité demeure très inégale. Le cas du PNRU, qui a basculé par anticipation dans le régime LOLF, conduit plus substantiellement à s’interroger sur les limites du système d’objectifs et d’indicateurs mis en place, du point de vue de l’évaluation : et si le problème n’était pas seulement technique, mais aussi d’ordre politique ?

Le cas du PNRU

44 La loi d’orientation et de programmation pour la ville et la rénovation urbaine a été élaborée dans la période d’entrée en application progressive de la LOLF votée deux ans plus tôt. Les principes et les procédures promus par le texte organique pour améliorer la performance et l’évaluabilité des politiques publiques, ont inspiré les rédacteurs de la loi Borloo, qui devaient alors faire face à une vague de critiques portant justement sur l’inefficacité de la politique de la ville antérieure et son déficit d’évaluation. Si la loi Borloo ne découle pas directement de la loi organique, cette dernière a pesé dans l’élaboration de la première qui a été façonnée de telle manière qu’elle se conforme, par anticipation, aux exigences de la « nouvelle constitution financière ». L’indéfinition nationale des objectifs de la politique de la ville, qui s’accompagnait d’une grande difficulté pour identifier ses ressources, a laissé place à des programmes pluriannuels structurés par des objectifs de résultats – auxquels sont associés des indicateurs quantitatifs suivis par un observatoire national –, dont la mise en œuvre ne dépend plus des contributions de divers ministères, mais s’appuie sur des lignes parfaitement identifiées dans le budget de l’État. Les options organisationnelles retenues pour le PNRU témoignent de ce souci de conformation anticipée à « l’esprit de la LOLF », avec la création d’une agence autonome responsable de la mise en œuvre du PNRU, bénéficiant d’une liberté managériale quasi-totale dans l’utilisation des ressources consacrées à ce programme par l’État et ses partenaires nationaux.

45 À bien des égards, la politique de rénovation urbaine correspond au modèle néomanagérial promu par la LOLF : ses objectifs ont été précisément définis par le législateur, dans une loi d’orientation et de programmation ; l’organisation administrative de la rénovation urbaine (ANRU) et l’architecture budgétaire de la LOLF (programme 202) se recoupent parfaitement ; les responsabilités de l’agence en charge du programme et de son administration de tutelle sont apparemment clairement distinguées. En dépit de cela, cinq ans après le lancement du PNRU, ce programme peine toujours à s’intégrer dans le processus d’évaluation de la LOLF.

46 Les objectifs et indicateurs qui figurent dans les projets annuels de performance du programme « rénovation urbaine » illustrent les imperfections mentionnées plus haut. Leur instabilité est spectaculaire : des trois objectifs et sept indicateurs réunis dans le projet annuel de performance du programme « rénovation urbaine » en 2006, seuls un objectif et deux indicateurs se retrouvent dans le projet de l’année suivante. Les changements ainsi apportés dans la batterie d’indicateurs limitent les possibilités de suivi pluriannuel, sans lequel l’appréhension des performances et de leur évolution dans le temps ne peut être réellement significative. L’incomplétude des objectifs et indicateurs qui figurent dans les projets annuels de performance de ce programme (et du programme « Équité sociale et territoriale et soutien », qui correspond au volet social de la politique de la ville) est tout aussi criante, puisqu’ils ne couvrent qu’une infime partie de ceux qui figurent dans la loi d’orientation et de programmation pour la politique de la ville et la rénovation urbaine. On peut même parler d’incohérence, en l’absence de liens entre l’objectif général et les indicateurs définis dans la loi et les critères d’appréciation de l’efficacité socioéconomique, de la qualité de service et de l’efficience de la gestion qui figurent dans les projets annuels de performance [17]. Dans le cas de la rénovation urbaine, l’ANRU a fortement pesé sur la formulation des objectifs et indicateurs présentés au Parlement, imposant sa conception de la performance. L’appréciation de cette dernière dans le cadre de la procédure budgétaire ne résulte donc pas seulement des finalités définies par le législateur ou des objectifs précisés par l’administration mais aussi de façon importante de la traduction qui en a été donnée par l’opérateur du programme. Soit une certaine inversion des rapports entre Parlement, administration et agence qui devaient découler du bel ordonnancement de la LOLF.

47 Plus encore, ce cas nous rappelle le caractère proprement politique de l’évaluation, qui ne peut se réduire aux seules dimensions organisationnelle, instrumentale et managériale. Toutes les conditions d’une évaluation du PNRU sur les registres de l’efficacité, de l’efficience et de l’impact sont réunies, mais ces conditions nécessaires ne sont visiblement pas suffisantes. Les cinq premières années de mise en œuvre de ce programme révèlent en effet des pratiques fort éloignées de celles que les discours des promoteurs de la LOLF pouvaient laisser espérer. Les transformations organisationnelles et procédurales inspirées par la loi organique ont assurément permis aux responsables de la rénovation urbaine de développer une communication performante ; les effets sont plus incertains sur le plan de la transparence et de l’efficience de l’action menée. L’évaluation du PNRU s’est continûment heurtée aux stratégies de protection des responsables politiques et administratifs en charge du programme, qui ont multiplié les initiatives relevant du blame avoidance (Weaver, 1986) pour neutraliser une évaluation susceptible de mettre en doute le succès annoncé du programme. Le cas de la rénovation urbaine prouve donc que les difficultés de l’évaluation des programmes de la LOLF ne sont pas simplement techniques et éphémères, correspondant à une phase d’apprentissage administratif. Elles sont aussi politiques, renvoyant à des dimensions plus structurelles de l’action publique, notamment aux besoins de légitimation des responsables politiques et administratifs soumis aux exigences de la compétition électorale pour les premiers, de la concurrence entre segments administratifs pour l’accès à des ressources de plus en plus rares pour les seconds.

48 ***

49 L’idée technocratique suivant laquelle il suffirait de parfaire le système d’objectifs et d’indicateurs de la LOLF pour accomplir le projet évaluatif du texte organique se heurte à des problèmes bien connus des sciences sociales. Il ne suffit pas de décliner les politiques publiques en programmes, assortis d’objectifs précis et d’indicateurs de résultats pour dépasser les blocages passés de l’évaluation. La littérature anglo-saxonne regorge d’exemples laissant penser que ce mode de conception et de pilotage des politiques publiques peut même aller à l’encontre de la transparence et de la performance recherchées (Beauvallet, 2009) : les systèmes articulant une profusion d’objectifs et d’indicateurs, des activités de reporting systématique et des procédures d’audits réguliers produisent d’importantes distorsions dans les politiques menées, incitant les opérateurs à se concentrer sur les activités les plus « rentables », car mesurables, et non vers des tâches plus qualitatives et plus complexes à mesurer ou simplement mal renseignées par les indicateurs définis par les bailleurs de fonds (Bevan, Hood, 2006). Le souci de performance peut même contrarier la réalisation des objectifs définis par les responsables politiques. C’est notamment le cas lorsque les indicateurs définis par des tiers (hauts fonctionnaires, experts et consultants) ne reflètent pas les impacts attendus (outcomes) mais les réalisations (outputs) [18], et qu’ils sont renseignés par les opérateurs eux-mêmes, ce qui ouvre la porte à toutes sortes de manipulation.

50 Il n’est donc pas certain que le basculement de l’objet évaluatif, des politiques publiques aux programmes, constitue une réelle avancée. Cette évolution marque le triomphe d’une conception technocratique de cet exercice, au détriment d’une conception à la fois démocratique et scientifique de l’évaluation. Sur ces derniers plans, tout laisse penser qu’on assiste actuellement à une régression évaluative, mettant fin au projet d’intégration des sciences sociales – au-delà de la seule science économique – dans la conduite de l’action publique qui sous-tendait l’évaluation des politiques publiques. Les espoirs placés dans cette dernière par les sociologues et les politistes, y compris les plus critiques (Corcuff, 1993), ont d’ailleurs laissé place à des dénonciations virulentes d’une évaluation systématisée [19] qui, au nom de la performance et de la transparence, fait peser une pression croissante sur les agents des services publics et leurs usagers. L’approche pluraliste qui caractérisait l’évaluation française correspondait à une forme de pari sur l’intelligence collective des acteurs publics, des usagers et des chercheurs. Elle serait remplacée par une tout autre approche, rabattant l’évaluation au rang d’instrument de contrôle, utilisé par des élites politiques et administratives qui ne cachent pas leur défiance à l’égard des bureaucraties et de leurs agents.

51 Ces critiques sont excessives, ne serait-ce que parce que l’évaluation des politiques publiques des années 1990 n’est jamais parvenue à réaliser, même partiellement, ses promesses. Mais elles ont le mérite de pointer, au-delà du décalage persistant entre la rhétorique et la pratique évaluative française, un changement d’importance : si l’évaluation ne rétroagit pas plus que par le passé sur les politiques publiques, les instruments introduits en son nom induisent de profondes transformations dans le contenu et la conduite de ces dernières.