L’évaluation des politiques publiques, une approche ancienne et une application « à la française »

9L’évaluation s’inscrit dans une perspective historique évoluant au gré des différents courants théoriques qui l’ont traversée et des modèles qui ont sous-tendu sa pratique [22, 23]. Depuis son origine, plusieurs générations d’évaluation se sont succédé faisant évoluer les approches théoriques, les méthodes et le rôle de l’évaluateur. Pour Alkin [24], l’évaluation, doublement enracinée dans la recherche en sciences sociales et dans la reddition de comptes s’est développée dans trois directions (méthode, valeur, utilisation). Ces divergences traduisent ainsi des positions théoriques qui rendent compte du clivage entre des deux traditions philosophiques radicalement différentes [25] ; pour les uns (positivistes), la connaissance est le produit d’un travail d’observation et d’analyse d’une réalité objective tandis que pour les autres (constructivistes), la réalité est le fruit d’une construction par l’homme. Le champ de l’évaluation est traversé de controverses entre les tenants des approches expertes versus les défenseurs d’approches plus participatives, les partisans des méthodes qualitatives versus ceux des méthodes quantitatives, incitant à choisir des formes d’évaluation différentes, voire radicalement opposées. Le débat sur la nature des méthodes, l’importance à accorder au contexte, la place des parties prenantes et le rôle de l’évaluateur reste vivace.

10L’histoire de l’évaluation des politiques publiques en France n’y échappe pas. Bien qu’ayant tenté des percées dès les années 1960, elle a pris son essor à la fin des années 1980 avec la parution d’un rapport commandé par le Gouvernement et qui va inspirer le décret qui l’institutionnalise [26]. Définie comme « un jugement sur la valeur » de politiques publiques, elle doit être le fruit de la confrontation d’une diversité de points de vue et génératrice d’un débat avec la société en vertu d’une triple exigence : méthodologique, démocratique et d’indépendance. Progressivement, l’évaluation s’est déployée au niveau national puis régional, stimulée par le double processus de décentralisation et d’intégration européenne [27]. Ce développement a été accompagné de guides et de standards, structurant progressivement les pratiques. À l’instar des autres pays, une société professionnelle a vu le jour en France en 1999, la Société française de l’évaluation [2] (SFE). Les acteurs de l’évaluation des politiques publiques relèvent de plusieurs origines, corps de contrôle et départements ministériels, collectivités territoriales, organismes privés et – plus rarement – organismes universitaires [28].

L’EIS, une émergence récente, à la confluence entre environnement et promotion de la santé

11L’histoire de l’EIS est plus récente. Si le consensus de Göteborg signe l’acte de naissance de l’EIS [10], les dix années précédentes ont préparé l’événement fondateur. Dès les années 1970, l’intérêt porté aux conséquences des politiques et projets sur l’environnement introduisait les évaluations environnementales. Progressivement, les préoccupations de santé ont été associées aux enjeux environnementaux, économiques et sociaux. Dans le même temps, la parution de la charte d’Ottawa [29] mettait en avant les conditions et facteurs qui influencent la santé, rehaussant le rôle de l’environnement, d’une part, et citait l’élaboration de politiques publiques saines parmi les cinq stratégies de promotion de la santé, d’autre part. Les conférences en faveur de la promotion de la santé organisées sous l’égide de l’OMS ont renouvelé des appels aux gouvernements en faveur de la création de politiques publiques se préoccupant de santé et d’équité et visant la création de milieux permettant aux gens de mener une vie saine. Les deux courants issus de la santé environnementale et de la promotion de la santé ont convergé aboutissant à la fameuse rencontre à Göteborg en 1999 qui a donné une définition et un cadre à la pratique de l’EIS [10]. L’OMS a permis l’émergence de la démarche et l’a inscrite au début des années 2000 dans le programme du Réseau européen des Villes-Santé [30]. L’EIS s’est développée à travers le monde avec une grande diversité dans les pratiques [31, 32]. Elle est aujourd’hui présente dans tous les continents, avec des degrés d’institutionnalisation variables, parfois autonome, parfois intégrée à d’autres évaluations d’impact [20]. En dépit de l’existence d’une communauté structurée adhérant aux principes de Göteborg, elle n’est pas exempte non plus de controverses, qu’il s’agisse d’une institutionnalisation plus affirmée, de son intégration aux autres évaluations d’impact, de la légitimité des méthodes utilisées pour l’estimation des impacts ou des postures épistémologiques.

12L’EIS a acquis droit de cité en France depuis bientôt dix ans et ne cesse de se développer au niveau local [33]. À l’image du monde international, les pratiques sont diversifiées et on relève une grande hétérogénéité parmi les travaux exécutés, certains n’étant pas toujours de nature évaluative. Cependant, les praticiens en EIS, encore peu nombreux, partagent expérience, outils et questionnements à l’occasion de colloques, ateliers de travail ou échanges plus informels. Une plateforme est à leur disposition pour diffuser leurs travaux ou lancer un débat.

Des temporalités différenciées

14Les deux démarches cherchent à révéler et à expliciter des effets [5] produits par l’objet évalué. Si l’EIS relève d’un exercice d’anticipation, donc toujours ex ante, l’EPP quant à elle s’inscrit dans plusieurs temporalités (ex ante, in itinere, ex post). Cependant, les deux dernières formes sont largement majoritaires.

La production d’un jugement reposant sur une argumentation

15Si les définitions de l’évaluation sont nombreuses, les auteurs s’accordent sur ce qui fait l’essence même de l’évaluation : une opération qui consiste à construire un jugement [34]. Bien que l’EIS ait été définie comme une « combinaison de méthodes et d’outils » [10], tant les principes qui accompagnent cette définition que les usages qui en sont faits démontrent qu’elle ne se résume pas à une simple dimension technique. EPP et EIS se concluent par un avis synthétisé, dans un cas (EPP) sous la forme d’une (ou de) réponse(s) à des questions explicitement formulées, dans l’autre (EIS) sur l’éventualité de survenue de risques ou bénéfices sur la santé d’une intervention. Dans les deux cas, le jugement est l’aboutissement d’un processus d’argumentation [35], reposant sur l’analyse croisée de données.

16Enfin, les deux activités sont définies comme des démarches, à savoir « une manière de conduire un raisonnement, de progresser vers un but par le cheminement de la pensée [3] » ou des méthodes [4]. Elles sont toutes deux structurées en plusieurs étapes dont plusieurs se recoupent mais elles se distinguent par le fait que l’EIS est plus complète, car elle débute avec examen de l’opportunité et de la faisabilité de la démarche, intègre le suivi des recommandations et s’achève avec l’évaluation.

Des postulats différents sur le sens des politiques

17Tant l’EIS que l’EPP sont fondés sur des principes définis par les sociétés professionnelles qui structurent l’exercice de la pratique [36-40]. En France, la SFE a élaboré une charte [5] en sept principes (pluralité, distanciation, compétence, respect des personnes, transparence, opportunité, responsabilité) qui signent l’engagement réciproque des commanditaires et les évaluateurs pour une évaluation de qualité. Pour autant, l’EPP ne porte pas de jugement sur le sens des politiques publiques et ne présage donc pas d’un objectif ou d’un effet « bon » ou « mauvais » en soi. À l’opposé, le but de l’EIS est de juger les politiques au prisme de la santé ; certaines étant jugées favorables, d’autres, dommageables.

Des valeurs éthiques mais des niveaux d’engagement différents

18L’EPP se doit de justifier de l’utilisation de l’argent public et de la capacité à atteindre des objectifs. Pour autant, elle tient au respect d’un certain nombre de principes. Le principe de pluralisme prévoit qu’il convient de « prendre en compte […] les différents intérêts en présence et recueillir la diversité des points de vue pertinents, qu’ils émanent d’acteurs, d’experts ou de toute autre personne concernée ». La formulation est toutefois restée prudente dans la mesure où les bénéficiaires ne sont pas explicitement cités et où cela est envisagé « chaque fois que possible » et « de façon raisonnée ». L’EIS promeut l’équité, la démocratie, le développement durable, l’utilisation éthique des connaissances (principe partagé avec l’EPP). Elle affiche une dimension plus militante et plus d’ambition dans le respect des valeurs. Par exemple, le principe de transparence prévoit de garantir à tous les acteurs, l’accès égal à l’information tout au long de la démarche quand l’EPP se borne à une présentation des résultats de l’évaluation « accompagnée d’un exposé clair de son objet, de ses finalités, de ses destinataires, des questions posées, des méthodes employées et de leurs limites, ainsi que des arguments et critères qui conduisent à ces résultats [41].

L’aide à la décision : une finalité commune

19Quel que soit le but qu’elle sert [15], l’EPP cherche à apporter les éléments de connaissance nécessaires pour une décision éclairée sur la poursuite ou non d’une politique ou sur son ajustement. Toutefois, c’est au décideur d’assumer la responsabilité de transformer les recommandations en plan d’action et d’en assurer le suivi.

20Il en est de même de l’EIS, même si cette dernière assume plus explicitement sa vocation transformatrice en inscrivant dans la démarche, la mise en œuvre d’un plan d’action et le suivi de la prise en compte des recommandations [19].

Un dénominateur commun parmi les angles d’analyse : l’impact

21L’EIS, par définition, s’intéresse à l’impact du projet contrairement à l’EPP, qui regarde son objet sous de multiples angles, en fonction des attentes du commanditaire. Ces angles de vue renvoient aux métacritères d’évaluation (pertinence, cohérence, efficience, efficacité, utilité, durabilité, transférabilité), lesquels interrogent différents segments de la politique [42]. En EPP, l’impact peut être appréhendé selon différents prismes (social, économique, sanitaire, environnemental…), tandis que l’EIS l’analyse toujours du point de vue de la santé et du bien-être.

22Les deux démarches cherchent à révéler et à expliciter des effets produits par l’objet évalué. Toutefois, en EPP, l’analyse des effets repose sur la constatation, la compréhension et l’explicitation des effets réels et recherchés du programme. À l’opposé, l’EIS parce qu’elle a vocation à inscrire la santé dans toutes les politiques, focalise davantage son attention sur l’inattendu (effets non recherchés) que l’EPP.

23Enfin, l’EIS intègre une prise en compte systématique de l’équité dans l’analyse des effets des projets, quels que soient les impacts retenus pour l’analyse.

Des approches évaluatives convergentes et des outils communs

24Les approches ou modèles théoriques en EPP renvoient à des cadres de référence plus ou moins normatifs précisant la façon dont une évaluation est réalisée [43]. S’agissant de l’analyse de l’impact, plusieurs approches coexistent, les unes ayant recours aux méthodes expérimentales qui reposent sur un scénario contre-factuel, les autres, « basées sur la théorie », s’attachant à expliciter la « boîte noire » entre une intervention et ses effets [44]. L’EIS s’intéresse également à la boîte noire, sous forme d’hypothèses sur la cascade d’effets possibles entre les actions d’un projet et la santé, hypothèses dont il s’agit de démontrer le degré de probabilité [6]. Cette communauté d’approche conduit à faire appel au même type d’outils. Le modèle causal (EIS) et le modèle logique (EPP) traduisent la même logique, mais l’EIS explore des liens de causalité possibles (l’extrémité de la chaîne étant la santé) tandis que l’EPP identifie les liens souhaitables (l’extrémité de la chaîne renvoyant à un domaine donné).

25Les deux formes d’évaluation s’appuient sur des données probantes, notion qui est objet de nombreux débats [45], celles-ci étant définies en fonction du but de l’évaluation, du point de vue de leur processus de production ou de leur capacité à faire sens et à être utiles au décideur [46]. Pour l’EIS, les informations recueillies, quelle qu’en soit la source, sont considérées d’égale importance ; ce n’est pas toujours le cas en EPP.

26Les techniques de collecte et d’analyse ne sont spécifiques ni de l’une ni de l’autre des démarches qui les empruntent à différentes disciplines. C’est le recours à tel ou tel type de technique qui fait la différence. Par exemple, les revues de littérature sont quasi systématiquement pratiquées en EIS pour étayer les hypothèses, plus rarement en EPP. Un évaluateur a besoin d’un cadre d’interprétation de ses données (référentiel en EPP, matrice d’impact pour l’EIS). Si leur forme diffère, le principe des deux outils est tout à fait similaire : ils structurent la réflexion ainsi que le protocole méthodologique, indiquant pour chaque hypothèse le type d’information à rechercher et la source d’information.

27Enfin, les deux démarches adoptent le principe de triangulation [47]. La matrice d’impact utilisée en EIS permet de confronter les données et les sources ; la plausibilité de survenue des impacts augmente avec le degré de convergence entre ces données. L’EPP utilise le référentiel ad hoc pour passer des constats au jugement.

Un processus plus ou moins participatif

28Les deux démarches sont pilotées avec le même type d’instances (comités de pilotage et technique). De principe, l’EIS prévoit d’y intégrer des citoyens tandis que l’EPP le recommande pour les bénéficiaires d’une politique publique. Cependant, s’agissant de l’EIS, l’observation des pratiques montre que ce principe est loin d’être respecté et qu’il existe plusieurs niveaux d’implication citoyenne [2, 13, 48].

29Les deux évaluations peuvent être conduites en interne ou en externe. Toutefois, l’équipe EIS a davantage vocation à être intégrée à l’équipe de conception et de mise en œuvre du projet que l’EPP, où une certaine distanciation avec le porteur de la politique est requise.