Notes
-
[1]
Il est bien entendu des exceptions, en France, par exemple J.P. Nioche dans Deleau et alii (1986).
-
[2]
Comme bon manuel de policy analysis : Parsons (1995). Pour un ouvrage récent sur l’évolution de la policy analysis : Radin (2000).
-
[3]
C’est là sans doute une vision restrictive du contrôle. Le fait que l’on puisse englober ce contrôle au sens restreint dans un contrôle plus large comme nous le faisons dans la figure 1 le montre. Cependant elle est très répandue dans les organisations publiques où l’assimilation du contrôle de gestion à des outils tels le tableau de bord ou une comptabilité analytique est fréquente. Il existe une ambiguïté en la matière dans la littérature, par exemple chez R. Simons qui écrit : « This book focuses on performance measurement and control systems, which are the formal, information-based routines and procedures managers use to maintain or alter patterns in organizational activities » (Simons, 2000). Cette définition est d’autant plus marquante que l’auteur adopte par ailleurs une conception très englobante du contrôle.
-
[4]
Dispositif qui semble, en 2003, en déshérence.
-
[5]
Sur cette notion de référentiels voir Jobert et Muller (1987).
-
[6]
La nouvelle loi organique portant réglementation des lois de finances (LOLF) pose ce principe puisque les crédits budgétaires seront désormais votés par programmes.
1L’évaluation ex post de politique ne fait pas partie de la panoplie classique des outils du gestionnaire praticien, elle n’est pas non plus souvent le centre d’intérêt des gestionnaires académiques. À cela deux bonnes raisons : elle est née dans la sphère du public et non dans celle des entreprises, elle est la résultante des efforts des économistes, des socio-logues, des politistes, etc. bien davantage que du travail des spécialistes de sciences de gestion [1]. L’évaluation ex post de politique est cependant intéressante pour le gestionnaire à cause de ses relations de proximité avec les concepts génériques de diagnostic et d’audit. Elle intéresse également le gestionnaire pour l’importance qu’elle accorde à la notion de mise en œuvre (implementation) d’une politique, laquelle notion renvoie à de très nombreux problèmes de gestion, aux problèmes de coordination, de transversalité, de révélation, par la pratique, de la contradiction d’objectifs présentés comme compatibles au niveau du discours…
2L’évaluation ex post de politique est susceptible d’intéresser plus particulièrement les spécialistes de contrôle de gestion en raison de la parenté de l’évaluation avec ce dernier.
3Dans le présent article nous présenteront brièvement les fondements ainsi que les composantes essentielles d’un modèle idéal type de l’évaluation de politique, nous en déduirons que cette évaluation là fait partie intégrante du contrôle de gestion, avant d’examiner les raisons tant pratiques qu’idéologiques qui font souvent apparaître l’évaluation davantage comme une forme de contrôle externe que comme un mode de contrôle de gestion interne.
I. – FONDEMENTS ET COMPOSANTES ESSENTIELLES D’UN MODÈLE IDÉAL TYPE DE L’ÉVALUATION
4L’évaluation de politiques n’est pas compatible avec n’importe quelle conception des politiques publiques.
5Une certaine sacralisation de l’État, une croyance dans le fait que l’action publique incarne systématiquement la poursuite de l’intérêt général, une confiance absolue dans les vertus qu’auraient les politiques du fait qu’elles sont l’émanation d’autorités légitimes proscrivent l’étude systématique des faits qu’est l’évaluation, car cette étude est nécessairement irrespectueuse, désacralisante, démythificatrice.
6À l’opposé un certain cynisme à l’égard des politiques publiques considérées comme des trompe-l’œil, comme purement symboliques, ou vues avec l’œil d’un zélote de la théorie du garbage can rend l’évaluation inutile.
7L’évaluation de politique ne se justifie que dans une position médiane à l’égard de l’action de l’État. Celle-ci n’est pas ce qu’en disent ses auteurs, elle n’est pas non plus dépourvue de toute rationalité au regard des objectifs qu’elle affiche. De fait, ce scepticisme tempéré qui est la seule attitude s’accommodant de l’évaluation ex post de politique paraît une position largement répandue dans toutes les couches de la société civile et au travers de la plupart des couleurs de l’échiquier politique.
1. Les fondements de l’évaluation
8Ces fondements, clarifiés depuis une quarantaine d’années dans les travaux de policy analysis [2] peuvent se résumer en quelques idées simples et complémentaires :
- Les politiques publiques sont des réponses (pertinentes ou non) à des problèmes, c’est-à-dire à des situations considérées comme insatisfaisantes par des individus ou des groupes. Des autorités publiques compétentes ont considéré, à tort ou à raison, qu’elles devaient s’efforcer de résoudre ces problèmes ou, pour le moins, de montrer leur bonne volonté en la matière (Elles les ont inscrits à leur « agenda »).
- Il en résulte que toute politique publique quel que soit le domaine sur lequel elle porte : santé, éducation, urbanisme, défense, etc.quelle que soit la nature de son dispositif : interdisant ou réglementant, distribuant des aides ou primes ou encore mettant à disposition des services… est une action de changement de certaines caractéristiques de la société. On dit pour simplifier de changement social ou sociétal.
- Sauf à faire l’hypothèse d’une complète irrationalité des autorités publiques, c’est-à-dire à penser que celles-ci mettent en rapport de façon entièrement aléatoire n’importe quelle solution avec n’importe quel problème –, encore dans ce cas, faudra-t-il justifier l’adoption de la solution retenue même de façon fallacieuse –, il existe une relation logique entre le changement social que l’on désire voir s’opérer et le dispositif de la politique retenue. Ce dispositif est supposé aboutir à un changement par une chaîne de relations de cause à effet plus ou moins complexe. C’est dans ce sens que l’on peut énoncer qu’à toute politique publique est associée une théorie du changement social – encore appelée « théorie d’action ». On peut également dire, pour faire plus simple, que toute politique publique est une théorie (simple ou complexe, explicite ou implicite, intuitive ou paradoxale… peu importe) du changement social.
-
Si les diverses organisations publiques,
État et collectivités territoriales en particulier, ont à concevoir et mettre en œuvre des
politiques, c’est qu’elles existent précisément pour cela. C’est parce qu’elles sont là
pour infléchir le cours spontané des choses.
Et cela que l’on considère que ce cours
spontané découle du fonctionnement du
marché, de la loi du plus fort ou de la
jungle, des accidents ou catastrophes pouvant frapper les individus ou les collectivités…
Les organisation publiques sont là pour modifier les caractéristiques de la société considérées comme insatisfaisantes ou pour préserver des caractéristiques de la société considérées comme satisfaisantes mais menacées.
Le changement social auquel elles visent doit donc être entendu dans un sens large car il peut inclure, et il inclut souvent, la préservation sociale.
En reformulant ces idées on dira que les organisations publiques ont une finalité externe puisque le résultat auquel elles visent n’est pas un résultat situé en elles-mêmes ou destiné à elles-mêmes mais un résultat qui leur est extérieur, situé dans la société. Ce changement social que l’on appelle dans le vocabulaire du management public « l’impact » (outcome chez les anglosaxons). - L’ensemble des considérations précédentes ne doit pas être pris pour une description de la réalité ou à l’inverse comme le fruit d’une orientation idéologique précise. Elles constituent un modèle idéal type reposant seulement sur quelques présupposés ayant trait à la nature et à la raison d’être des politiques et des organisations publiques. Ces présupposés sont peu nombreux et acceptables par de très larges franges de l’opinion. En d’autres termes, ils sont robustes par rapport aux idéologies politiques. Ce qui est davantage sujet à débat en effet, c’est l’énoncé, la formulation, l’identification des insatisfactions donc des problèmes ainsi que l’opportunité ou non de les mettre à l’agenda, autrement dit la façon dont on trace la limite entre la sphère du privé et celle du public.
- L’examen de la réalité révèle entre autres des écarts entre le fonctionnement et les orientations concrètes des organisations publiques d’une part, et le modèle idéal du type que l’on vient d’énoncer, d’autre part. Ces écarts n’altèrent pas la validité du modèle, ce n’est pas parce qu’il existe de nombreuses entreprises qui perdent de l’argent que l’on peut en déduire que l’entreprise est une organisation à but non lucratif. En particulier la finalité externe des organisations publiques ainsi que le caractère externe des objectifs finals des politiques publiques s’estompent ou passent fréquemment au second plan par rapport à la production d’actes de service, de biens matériels qui est érigée de facto en aspect central de la gestion des organisations publiques. C’est en effet souvent sur le volume de ces produits directs, immédiats de leur action appelés réalisations (output), ainsi que sur le ratio entre ce volume et les moyens consommés (efficience interne) que les organisations publiques sont jugées.
- C’est là que l’évaluation de politique réapparaît. Plus exactement elle aurait dû apparaître dès lors que nous avions admis qu’une politique publique est une théorie du changement social. Une théorie en effet « ça marche ou ça ne marche pas ». Il vaut mieux vérifier dans quelle mesure cela a marché et pourquoi. En d’autres termes, l’évaluation de politique découle de l’idée que la réussite ou l’échec d’une politique publique sont des formes de validation ou d’invalidation des théories qui les sous-ten-dent. Évaluer ex post une politique publique c’est partir de l’observation des faits, de l’estimation des résultats qui lui sont imputables, pour en inférer le degré de validité de la théorie qu’elle a incarnée, c’est-à-dire de la chaîne de relations hypothétiques de cause à effet qui la sous tendent. L’évaluation de politique est le dernier maillon du modèle idéal type.
2. Le contenu de l’évaluation
9Le travail à effectuer pour l’évaluation ex post est proportionné à l’ambition du propos. Il ne s’agit pas moins que de comparer les résultats attribuables à la politique aux objectifs qu’on lui a assignés, repérer les effets que celle-ci a pu produire par ailleurs dans la société, (effets non recherchés), identifier les objectifs que les auteurs de la politique auraient omis – volontairement ou non – d’expliciter et repérer parmi ceux-ci aussi bien que parmi les objectifs premiers ceux qui relèvent du symbolique plutôt que de la recherche d’effets concrets, de résultats tangibles.
10À ces premiers travaux, à ranger, pour l’essentiel, dans « l’évaluation de résultats » se rajoutent ceux que suppose « l’évaluation de processus ». Celle-ci intègre d’abord le rappel ou l’explicitation, en cas de besoin, de l’identification/diagnostic, opéré par les auteurs de la politique, du problème auquel ils se sont attaqués. Elle comprend également l’explicitation de la théorie d’action ou du changement social, c’est-à-dire de la rationalité des auteurs de la politique, sous tendant cette dernière.
11L’évaluation de processus suppose encore la présentation du système d’action au sens de sous-ensemble de la société que la politique a visé à perturber pour la bonne cause – c’est-à-dire en vue des objectifs affichés. Elle requiert également l’étude de la mise en œuvre de la politique par les organisations publiques compétentes, ainsi que l’étude des comportements au regard de cette mise en œuvre des acteurs de la société civile concernés, ou qui estiment l’être, par la politique.
12Cette évaluation de processus qui nécessite des talents de sociologue, de politiste, de gestionnaire – en particulier dans l’étude des problèmes de mise en œuvre – est bien différenciée de l’évaluation de résultats qui nécessite des compétences économiques, statistiques et économétriques de façon à imputer à une politique ce qui lui revient dans l’évolution des états de choses. Elle en est en même temps complémentaire voire indissociable puisque c’est l’analyse de la réalité du processus déclenché par la perturbation, par la politique publique, du système d’action qui peut expliquer les résultats de celle-ci et leurs divergences d’avec les effets attendus. C’est l’analyse de processus qui peut faire remettre en cause la suite de relations hypothétiques de cause à effet que constitue la théorie d’action sous-tendant la politique et par conséquent amener l’évaluateur aussi bien à comprendre l’écart entre attentes à l’égard d’une politique et effets réels de celle-ci qu’à imaginer des correctifs à apporter à cette théorie. Car après le temps de l’analyse vient celui des recommandations. L’évaluateur ayant constaté un échec partiel ou total d’une politique est amené à proposer, à partir des analyses opérées dans les évaluations de résultat et de processus, ses solutions pour un traitement, plus efficace du problème posé. Ses recommandations peuvent porter sur les systèmes d’information nécessaires pour affermir les diagnostics –, identifications des problèmes –, comme pour aider au suivi des résultats des politiques, sur des changements à opérer dans les méthodes de mise en œuvre, sur la théorie d’action elle-même voire sur le caractère plus ou moins illusoire des objectifs affichés par la politique.
II. – L’ÉVALUATION COMME SOUS-ENSEMBLE DU CONTRÔLE DE GESTION
13En nous fondant sur ce modèle idéal type nous avions (Gibert et Andrault, 1984) avancé une double proposition : l’évaluation de politiques est un mode de contrôle de gestion de l’action publique mais, en même temps, elle diffère, assez fortement, sur le plan méthodologique, des systèmes traditionnels de contrôle de gestion implantés dans les organisations publiques. En d’autres termes nous avions conclu à la fois à une identité de préoccupations et à une différence d’approche entre évaluation et systèmes de contrôle.
14Pour souligner l’identité de préoccupation, il n’est besoin que de recourir à la notion de maîtrise. Dans le cas d’un système de contrôle de gestion on se préoccupe de savoir si le fonctionnement d’une organisation a été à peu près conforme à ce que l’on en attendait. Dans le cas d’une évaluation de politique le projet de départ est bien de comparer les résultats aux ambitions. Dans les deux cas la tâche de l’analyste (« contrôleur de gestion » dans un cas, « évaluateur » dans l’autre ) ne s’arrête pas au constat qu’il existe des écarts entre ce que l’on avait voulu et la réalité. L’identification des causes de l’écart est primordiale. Cette identification requiert en particulier une « analyse des écarts » dans les systèmes classiques de contrôle de gestion, elle demande des travaux que l’on a regroupés sous l’expression « analyse de la perturbation » dans l’évaluation de politique.
15Pour marquer la différence, il suffit de noter que les systèmes traditionnels de contrôle de gestion se fondent sur des système d’information à sortie d’états périodiques qui renseignent sur le fonctionnement d’une organisation ou d’un service pendant une période de temps – le mois, le trimestre, l’année – déterminée. Ces systèmes de contrôle supposent également une exploitation systématique et régulière de l’information produite sous forme de séances d’analyse, de compte rendu des mesures correctives décidées [3] … alors que l’évaluation ex post de politique est une investigation en profondeur mais ponctuelle.
16L’évaluation de politique est, dans la matrice de la figure 1 qui reprend les deux dimensions de la différenciation, diagonalement opposée à un système traditionnel de contrôle puisqu’elle se matérialise par une étude ponctuelle ayant pour objet de décortiquer un processus, de rendre compte de ce qui s’est passé réellement pendant une action de changement.
17Les deux autres cellules de notre matrice jouent leurs rôles dans les relations de parenté – différenciation entre le contrôle et l’évaluation.
18Il est en effet des études qui se rapprochent davantage des systèmes de contrôle traditionnel en ce sens qu’elles analysent le fonctionnement d’une organisation mais à un moment donné du temps. Jadis on les dénommait « diagnostics », naguère on les appelait audit général ou opérationnel, aujourd’hui on a tendance à les dénommer évaluations. Pour les différencier des évaluations de politique nous les appellerons évaluations de structure. C’est le genre d’évaluation qu’opère, par exemple, le Conseil national d’évaluation des établissements publics à caractère scientifique, culturel et professionnel. Les principes d’action qu’il affiche sont sans ambiguïté : « Le comité évalue chaque établissement comme un ensemble organisé. Mettant en relief ses forces et faiblesses, il apprécie la politique de l’établissement au regard des contraintes existantes et des objectifs visés, dans le cadre des missions de service public de l’enseignement supérieur. Pour chaque établissement il analyse l’ensemble des activités et des moyens… » L’objet est bien, donc, la cohérence de gestion de l’organisation que constitue une université ou un grand établissement d’enseignement, non l’efficacité de telle ou telle politique de l’enseignement supérieur ou même de l’établissement évalué. L’objet étudié est une organisation et non une action de changement ou de préservation sociale.
19L’évaluation d’une structure est une activité très importante qui peut être un palliatif à l’absence d’un véritable système de contrôle ou bien l’interrogation préliminaire à la rénovation ou à la mise sur pied d’un tel système ou encore le complément aux informations et analyses du système périodique de contrôle.
20Reste enfin le cas des systèmes d’information qui portent sur des actions de changement, des processus.
LE POSITIONNEMENT DE L’ÉVALUATION EX POST DE POLITIQUE
LE POSITIONNEMENT DE L’ÉVALUATION EX POST DE POLITIQUE
21L’exemple le plus connu en est le contrôle (de gestion) de projets qui se focalise généralement sur le respect des délais assigné aux différentes étapes du projet, sur le suivi du parallélisme entre la constatation des coûts et la constatation du degré d’avancement du projet…
22Chez certains tenants de l’évaluation on pressent un souhait d’en arriver à de tels systèmes lorsque ces personnes évoquent, par un désir de rapprocher la notion de politique de celle de projet, l’opportunité qu’il y aurait à renouveler les évaluations, au fur et à mesure de la mise en œuvre de la politique, évaluations dites, selon les auteurs et leurs systèmes de références favoris « concomitantes », « on going » ou « in itinere ».
23Une autre forme de ce vœu consiste à invoquer la nécessité de rendre les politiques évaluables (Deleau et alii, 1986) ou encore de monter dès le début de la mise en œuvre d’une politique un système d’évaluations et de recueil des données.
24Le principe n’est pas en lui-même contestable mais sa mise en application soulève des difficultés.
25La première surgit dans la version lourde de la proposition ; rendre les politique évaluables c’est les doter de quelque chose ressemblant à des objectifs au sens d’ambitions précises c’est-à-dire aller à l’encontre de la propension naturelle du management public à l’ambiguïté (Gibert, 1989).
26La deuxième difficulté tient au fait que si, à l’avance, une batterie d’indicateurs était définie pour l’évaluation d’une politique, les metteurs en œuvre de cette politique pourraient être incités à « jouer le chiffre » c’est-à-dire à essayer d’obtenir des bons résultats au regard des ces indicateurs au risque de perdre de vue l’esprit, la logique, les finalités de la politique. Le phénomène est bien connu dans les systèmes traditionnels de contrôle de gestion. Seule une batterie complète d’indicateurs ne laissant de côté aucun des effets recherchés ou craints de la politique permettrait d’éviter cet écueil.
27La troisième difficulté a trait plus particulièrement à la volonté de suivre, sinon en continu, du moins à intervalles réguliers ce que donne une politique publique pour pouvoir en faire paraître périodiquement une sorte de tableaux de bord. L’impact ne s’observe pas, ne se constate pas, c’est le fruit d’une reconstitution intellectuelle puisqu’il revient à comparer une situation observable, à un moment donné du temps après la mise en œuvre d’une politique à la situation qui eut été observable si cette politique n’avait pas été décidée et mise en œuvre. C’est donc la différence entre une situation observable et une situation par définition hypothétique puisque la politique a été mise en œuvre. On ne peut à intervalles réguliers afficher l’état d’un impact par les seules vertus d’un recueil d’informations ; à chaque fois un travail parallèle s’imposerait de reconstitution de la situation à laquelle on aurait assisté si la politique n’avait pas été mise en œuvre. C’est, de beaucoup, plus délicat, pas obligatoirement possible et le jeu, pour la plupart des politiques, n’en vaut sans doute pas la chandelle.
28Ajoutons que l’esprit de l’évaluation expost est de partir des faits et que prédéterminer trop fortement les effets mis sous contrôle peut être contre-productif car aboutir à laisser dans l’ombre des effets contre intuitifs, à proscrire tout travail sur les objectifs latents, etc.
29En définitive l’évaluation in itinere est un vœu pieu et nombre d’organisations internationales, grandes consommatrices d’évaluation préfèrent parler de monitorage (monitoring) pour qualifier le suivi en continu de la mise en œuvre des programmes qu’elles aident et réserver le terme d’évaluation à l’étude lourde ex post.
30En tout état de cause l’évaluation ex post fait partie de la grande famille du contrôle de gestion, de cet ensemble d’éléments qui permettent aux dirigeants d’une organisation de s’assurer que les stratégies de celle-ci ont été mises en œuvre de façon efficace et efficiente. On peut même énoncer que l’évaluation de politique recentre le contrôle lato sensude l’action publique sur ce qui légitime celle-ci à savoir les impacts recherchés (Hogwood et Gunn, 1984) alors que les systèmes conventionnels de contrôle de gestion qui ont une inclinaison naturelle à mettre l’accent sur les moyens, les activités et les réalisations peuvent se révéler un facteur de perte de vue de la finalité externe, un élément d’internalisation de la gestion publique.
31L’évaluation de politique, par rapport aux systèmes classiques de contrôle de gestion réhabilite le raisonnement qualitatif car le contrôle de gestion apparaît habituellement, dans les organisations publiques, comme une volonté systématique de compter, de mesurer ce qui jusque là était appréhendé de façon qualitative (Laufer et Paradeise, 1982).
32L’évaluation exige une indépendance de l’évaluateur – peu facile à assurer dans la pratique – en raison de l’objectivité qu’elle requiert alors que le contrôle de gestion exige d’abord une familiarité du contrôleur. L’évaluation présente, par rapport au rôle habituellement reconnu au contrôle, la faiblesse politique de ne pouvoir raisonnablement être considérée comme un élément d’aide au pilotage, de correction du tir, de feedback. Elle ne peut intervenir qu’une fois que la politique a eu le temps de faire sentir ses effets et de surcroît sa conduite même prend du temps (plusieurs mois voire plusieurs années), par conséquent ses résultats risquent de n’être disponibles qu’à une époque où la politique examinée aura cessé d’être d’actualité. C’est dire qu’ils ne pourront profiter qu’aux actions publiques futures qui seront entreprises dans le même domaine. La fonction de rétroaction de l’évaluation restera dans la plupart des cas toute théorique.
33En revanche, on peut attendre que cette investigation contribue à une meilleure mémoire de l’action publique, en fournissant aux dirigeants des organisations publiques les éléments de capitalisation des leçons des politiques publiques. Plus précisément, l’évaluation ex post peut être considérée comme un outil de renforcement de l’effet d’apprentissage au profit des auteurs et des metteurs en œuvre d’une politique publique pour tout ce qui touche à la théorie du changement, aux anticipations de comportement des personnes touchées par la politique (ou contribuant à déterminer ses résultats), aux risques réels d’effets pervers…
34Que les dirigeants des organisations publiques aient le désir de tenir compte de la mémoire ainsi créée est un autre problème !
III. – L’ÉVALUATION COMME OUTIL DE CONTRÔLE EXTERNE
35L’intégration que nous venons de présenter de l’évaluation ex post de politique au contrôle de gestion se heurte en fait à des conceptions alternatives de l’évaluation d’un côté, à de nombreuses pratiques évaluatives – au sein de ce que l’on a pu appeler l’évaluation à la française, de l’autre, si bien que dans le meilleur des cas l’évaluation apparaît davantage comme un outil de contrôle externe que comme un véritable outil de contrôle de gestion (interne).
1. Des conceptions alternatives de l’évaluation ?
36Selon certains, trois écoles d’évaluation existeraient en France dont les conceptions respectives auraient été initialement présentées dans les trois ouvrages que constituent le rapport Deleau (Deleau et alii, 1986) champion de l’évaluation managériale, le rapport Viveret (Viveret, 1989) porte drapeau de l’évaluation démocratique et l’ouvrage de Monnier (Monnier, 1993) incarnation de l’évaluation pluraliste.
37L’évaluation managériale correspondrait grosso modo au modèle idéal type que l’on a évoqué plus haut.
L’évaluation « démocratique »
38Le rapport Viveret demandé par le premier ministre de l’époque, Michel Rocard, sur l’évaluation a longuement insisté sur le rôle que celle-ci pourrait jouer dans l’amélioration du débat public. Il posait en particulier que « L’évaluation des politiques publiques est d’abord une fonction et un enjeu démocratiques. ». L’évaluation démocratique est d’abord un élément de contrôle social, dont l’utilité pour les gestionnaires public n’est pas niée mais paraît en quelque sorte seconde : « Une tension dynamique doit s’instaurer entre la logique démocratique – dont le but ultime est l’accroissement de la possibilité de débat et d’intervention des citoyens dans le champ des politiques publiques – et la logique de l’efficacité décisionnelle qui cherche à optimiser du point de vue du décideur l’efficacité de son action ». (Opus cité)
39En première analyse la proposition est forte. L’évaluation ex post est centrée sur la connaissance de la réalité, de ce qu’a été et a donné une politique, elle compare des résultats avec des ambitions affichées par les gouvernants, elle semble s’apparenter à un bilan, un rapport d’activité des pouvoirs publics, politique par politique, et établi de façon non complaisante.
40Comme jusqu’à présent le débat public s’alimente plutôt d’arguments d’autorité, d’affirmations péremptoires et, jusqu’à récemment, d’un goût marqué pour les idéologies et leur explications simplistes, comme les controverses sur les effets attendus ou réels d’une politique usent et abusent de raisonnements purement qualitatifs et pour cela difficilement validables ou invalidables, comme les détenteurs du pouvoir proclament encore trop souvent qu’ils savent résoudre les problèmes puisqu’ils ont été « élus pour cela », on voit tout ce que, dans l’idéal, l’évaluation pourrait apporter comme valeur ajoutée à un débat public relativement pauvre.
41Cependant comme toutes les (bonnes) intentions celle-ci n’est pas sans effet pervers. Le principal d’entre eux est le danger que la mise en avant de la proposition : « l’évaluation est un outil au service de la démocratie » fait courir au développement même des évaluations. La véritable question est de savoir pourquoi un pouvoir ferait évaluer ses principales politiques au grand jour, prenant ainsi le risque que soient étalés au grand jour les faux semblants, les contradictions, les limites ou l’inefficacité de celles-ci, « Je ne crois pas du tout que le gouvernement va se mettre demain à publier toute évaluation même gênante ; il essaiera de retenir pour lui toute évaluation dont la publication lui paraîtra inopportune » a pu affirmer un premier président de la Cour des comptes, ancien ministre de surcroît (Chandernagor, Club Cambon, 1990).
L’évaluation « pluraliste »
42Monnier entend par évaluation pluraliste « une démarche d’évaluation qui associe deux catégories d’acteurs : les destinataires de l’évaluation, c’est-à-dire souvent les décideurs d’une politique publique […] mais aussi les acteurs affectés par la mise en œuvre de l’action qu’ils y aient participé activement (« les opérateurs ») ou passivement (bénéficiaires ou assujettis). » « L’évaluation ne peut qu’être conduite à reproduire la dimension collective propre à l’élaboration de toute politique et à s’attacher à la mise en place d’une démarche formalisée d’apprentissage collectif qui fait du dispositif d’évaluation un lieu de négociation itératif et interactif. » (Monnier 1993). « L’évaluation n’apparaît plus seulement comme un simple « moment » du déroulement d’une politique publique elle y est d’une certaine façon intégrée. »
43Les tenants de l’évaluation pluraliste, participative ou dynamique attribuent trois catégories de tâches ou rôles aux évaluateurs : produire des connaissances par le recueil, l’analyse et la synthèse d’informations sur le processus que constitue la politique évaluée, jouer un rôle de médiation entre les acteurs partie prenantes à la politique et de maïeuticien (ou d’accoucheur) pour « aider les acteurs à découvrir les problèmes… en vue d’élaborer des démarches pour les résoudre » (Bonetti et alii, 1996). Les auteurs considérés reconnaissent eux-mêmes que la pratique révèle la difficulté qu’il y a à tenir de façon satisfaisante et équilibrée ces trois rôles.
44Il y aurait beaucoup à dire du discours des tenants de ces deux écoles alternatives, mais leur mise en exergue a le mérite de laisser comprendre que derrière le drapeau de l’évaluation, chacun consciemment ou non peut être tenté de reproduire ses paradigmes, ses modes de raisonnement voire ses routines habituels. Elle a pour corollaire incontestable le fait qu’il ne suffit pas de dire on va faire une évaluation pour définir le genre que l’on va pratiquer. Soulignant la pluralité de finalités et de démarches possibles d’une évaluation la typologie pousse à conclure à la nécessité d’un projet d’évaluation comme instrument de dépassement du caractère polysémique de l’évaluation et moyen d’éviter de graves malentendus entre commanditaires, évaluateurs et le cas échéant participants à l’évaluation. Elle souligne, en tout état de cause une appétence pour l’utilisation de l’outil « évaluation » comme instrument de contrôle externe, ou partagé de l’action publique.
2. Le rôle des pratiques d’évaluation
45Tant par la nature des dispositifs mis en place que par l’objet des évaluations effectuées les pratique d’évaluation ont, elles aussi, contribué à déplacer l’évaluation du côté du contrôle externe
Les dispositifs
46Il n’existe pas en matière d’évaluation de forme organique obligée en dehors de laquelle le qualificatif d’évaluation serait usurpé. Une évaluation peut très bien être engagée proprio motu par un laboratoire de recherche ou commanditée par une administration contractant par le biais d’un marché avec un évaluateur extérieur, dans des conditions définies par le cahier des charges englobant le projet d’évaluation qui définit les limites de l’ambition de l’évaluation ainsi que sa méthodologie.
47Cependant l’évaluation à la française s’est caractérisée par une institutionnalisation originellement limitée au dispositif interministériel créé par le décret de 1990 mais qui s’est diffusé ensuite par imitation, à un certain nombre d’évaluations internes à des ministères ou réalisées à l’initiative de collectivités territoriales. Cette institutionnalisation a d’ailleurs été érigée en doctrine du conseil scientifique de l’évaluation, gardien du temple jusqu’au remplacement du dispositif Rocard par l’actuel dispositif Jospin [4].
48Cette doctrine peut être rapidement caractérisée par la volonté de faire de l’évaluation une activité rigoureuse, tout en concédant à la fibre démocratique par la publication des travaux, et en donnant sa place à un pluralisme contrôlé dans la composition de l’organe central.
49L’évaluation est le fruit d’un travail collectif d’un organe appelé « instance d’évaluation ». Cette instance souvent présidée, pour les évaluations interministérielles, par le membre d’un corps de contrôle, rassemble le plus souvent des représentants des administrations concernées ainsi que des collectivités territoriales. Elle peut comprendre également des représentants des parties prenantes extérieures au secteur public. Quelle que soit leur origine, les membres de l’instance sont supposés participer de façon neutre à l’œuvre collective et ne pas se comporter en représentants des intérêts des organisations dont ils sont issus.
50L’instance ne comprenant pas obligatoirement des spécialistes de sciences sociales – ou les intégrant en petit nombre seulement – et ne disposant que d’une force marginale de travail, celui qu’elle peut demander à ses rapporteurs, n’a pas la possibilité d’effectuer les travaux d’investigations que l’évaluation requiert. Elle sous-traite donc ces travaux à des « chargés d’évaluation » ou « opérateurs » d’origines diverses : corps de contrôle de l’administration – en particulier inspections générales – centres de recherches, cabinets de conseils, etc.
51Sur la base des travaux des « chargés d’évaluation », travaux pouvant être méthodologiquement très divers : études statistiques, synthèses de la littérature, monographies réalisées par entretiens en profondeur, etc., l’instance effectue une synthèse et sur la base et dans le prolongement de cette synthèse propose des recommandations.
52Le troisième type de rôle est tenu par « l’organe de régulation » – le conseil scientifique puis le conseil national de l’évaluation dans le cas des dispositifs interministériels successifs. Cet organe donne un avis a priori sur le projet d’évaluation jugeant de son ambition (champ), de sa méthodologie et de l’adéquation entre ces éléments et les moyens effectivement prévus pour la réalisation de l’évaluation. Une fois l’évaluation terminée, l’organe d’évaluation donne son avis sur la qualité de l’évaluation réalisée.
53L’agencement de ces rôles est complété par le principe de la publication de l’évaluation jouxtée des avis a priori et ex post de l’organe de régulation. De fait toute les évaluations interministérielles ont été publiées à la documentation française, et les plus récentes ont fait l’objet d’une publication intégrale sur internet.
54Le dispositif a sa logique, il est supposé à la fois protéger l’indépendance des chargés d’évaluation retenus par l’instance et non par le commanditaire de l’évaluation, permettre l’expression d’une pluralité de vues voire de référentiels [5], laisser l’instance libre de ses travaux mais la dissuader de démarches biaisées ou peu rigoureuses du fait de la menace d’un avis ex post dévalorisant son travail. Il offre au grand public, c’est-à-dire au citoyen, le résultat complet du travail effectué ainsi qu’une indication de ses limites.
Les objets de l’évaluation
55Un certain nombre d’auteurs suivant la tradition anglo-saxonne et celle des organisations internationales, en traitant de l’évaluation ex post, parlent plus volontiers d’« évaluation de programme » que d’« évaluation de politique ».
56La distinction est de fait pertinente à condition de s’en tenir à une conception rigoureuse du programme par opposition à une vision plus lâche de la politique. Cette conception peut se résumer de la façon suivante.
57Un programme d’action public se caractérise par l’énoncé a priori de buts relativement clairs – sinon d’objectifs quantifiés à atteindre dans un délai déterminé –, il incorpore un dispositif c’est-à-dire une série de mesure législatives ou réglementaires bien délimitée. Il est doté de moyens spécifiques distincts – d’un point de vue budgétaire – des moyens généraux des administrations chargées de le mettre en œuvre.
58La présence simultanée de buts, d’un dispositif et de moyens spécifiques explicités ex ante laisse augurer dans la plupart des cas d’une théorie du changement social assez claire puisque l’explicitation des fins, la détermination de la logique de l’action et l’attribution de moyens sont contemporains et, à la limite, présentés dans un même document.
59Les personnes qui sont chargées de l’évaluation ex post de tels programmes se trouvent face à un objet qui préexiste à l’évaluation et n’ont donc pas trop à se poser de questions sur le champ de leur travail.
60À l’opposé de cette situation, l’évaluation de politique peut porter sur les actions que l’État ou une collectivité territoriale a pu mener sur une certaine période de temps dans un champ plus ou moins bien déterminé ; ainsi en fut-il pour « l’évaluation de la politique d’informatisation de l’administration ». Ces actions peuvent avoir eu des buts, pas forcément très clairs,fluctuants, se révélant contradictoires dans le temps. Les responsables successifs de la « politique » considérée ont pu légitimement imposer inflexions et ruptures, s’appuyer sur des dispositifs ad hoc comme sur des dispositifs préexistants ou conçus pour d’autres politiques, – faute de moyens spécifiques, en particulier en personnel – puiser dans les moyens généraux des administrations chargées de la mise en œuvre, s’inspirer de théories du changement multiples, diverses voire contradictoires.
61Dans un tel cas l’objet à évaluer a des contours vagues et l’on peut soutenir qu’il est en fait défini à l’occasion de l’évaluation. En ne forçant que modérément le trait on peut énoncer que dans certains de ces cas, c’est l’évaluation qui fait la politique. Ce genre de situation rend d’autant plus nécessaire la rédaction et l’adoption d’un projet d’évaluation – encore dénommé protocole d’évaluation – précisant et limitant les ambitions des évaluateurs. En tout état de cause ce cas de figure obère par avance la possibilité pour l’évaluateur de réaliser un travail exploitant toute les potentialités de la démarche d’évaluation.
62Le modèle idéal type de l’évaluation repose donc plus ou moins clairement sur l’hypothèse d’une organisation de l’action publique par « programmes » ou en tout cas d’un centrage des évaluations ex post sur les domaines de l’action publique couverts par des actions de changement ressemblant à peu près à des programmes [6]. Or l’expérience révèle que tel n’est pas forcément le cas dans la pratique française où souvent ont été évaluées des politiques au sens flou du terme. On a même assisté à des inversions de rôles : interrogé par l’auteur de cet article sur sa motivation à avoir fait évaluer une politique dans son département, un président de conseil général a répondu « parce que nous n’avions pas de politique en la matière et parce que je voulais convaincre mes collègues élus ainsi que les fonctionnaires du département qu’ils nous en fallait une ». En d’autres termes, la mise en exergue et l’examen des conséquences néfastes d’actions disparates, diverses, anachroniques, etc. de l’intervention d’une collectivité publique dans un domaine deviendrait une façon d’identifier le problème, d’effectuer un diagnostic, préalablement à la confection d’une « vraie » politique. L’évaluation ex post au lieu de situer plutôt à la fin du cycle de vie d’une politique, prendrait sa place au début de celle-ci !
CONCLUSION
63Dès que l’évaluation de politique a été à l’agenda en France, des voix se sont élevées pour affirmer « nous faisions comme M. Jourdain de la prose, de l’évaluation de politiques sans le savoir ». Cette assertion est vraie et fausse à la fois.
64Vraie si l’on caractérise l’évaluation ex post par son caractère de jugement d’une action publique. Depuis longtemps, en effet, les corps de contrôle de l’administration : Cour des comptes et inspections générales des différents ministères ont produit des travaux émettant, assez souvent avec sévérité, des jugements sur la façon dont une loi était appliquée, sur l’opportunité d’un programme, voire sur les contradictions entre différentes politiques.
65Fausse si l’on retient d’abord de l’évaluation son présupposé fondamental « toute politique publique est une théorie du changement social » ainsi que ses attributs méthodologiques, ses liens étroits avec les sciences sociales. Les apports de ces dernières ont, de façon générale, peu imprégné les travaux de l’administration française, au sein de laquelle on dénonce volontiers leurs aspects théoriques, jargonnesques et où l’on n’est pas toujours convaincu qu’elles sont le vecteur de l’action publique, trop soucieux que l’on est parfois de maintenir au droit public ce rôle. Il en résulte que les jugement portés sur les politiques par les corps de contrôle ont un statut méthodologique disparate : relevé précis de faits au niveau de la mise en œuvre, extrapolation de certains incidents, considérations d’honnête homme, énoncé « d’opinions évaluatives » c’est-à-dire évaluations non étayées par insuffisance de démonstration.
66Dans leur jurisprudence le Conseil scientifique de l’évaluation puis le Conseil national de l’évaluation ont justement mis l’accent sur deux critères essentiels de qualité des rapports d’évaluation. Le premier est celui de la cohérence entre le rapport de l’instance d’évaluation et les études et travaux sur lesquels l’instance s’appuie pour réaliser son rapport. Le second est celui de la cohérence entre les prescriptions contenues dans le rapport et l’analyse qu’il contient. Cette insistance tien au fait que ces deux vertus qui semblent pourtant aller de soi n’ont pas toujours été respectées dans les premières évaluations réalisées dans le cadre du dispositif interministériel.
67Plus généralement les standards de qualité mise en avant par le Conseil ne sont jamais que la traduction d’une démarche scientifique à laquelle ne prétendaient pas les travaux traditionnels des corps de contrôle. Quant on énonce que la fiabilité des données, la généralisation possible de ce qui a été observé… sont des principes à respecter dans toute évaluation c’est le monde du savoir qui vient interférer avec celui du pouvoir, même quand ce monde est rappelé à des exigences plus terre à terre ou aux servitudes des sciences de l’action avec des obligations de pertinence et d’utilité.
68Seulement l’interférence du savoir et du pouvoir ne se fait pas sans heurts. L’évaluateur, même autorisé voire fortement incité par un projet d’évaluation à limiter ses ambitions, n’arrivera jamais au bout de son travail. Les effets possibles d’une politiques sont tellement nombreux, tellement difficiles à démontrer, les carences de la mise en œuvre tellement liées à des modes de fonctionnement des administrations qui trouvent leur fondement et leur rationalité dans toute autre chose que la politique évaluée, la théorie du changement social si facile à critiquer mais si difficile à amender … que les développements de l’évaluateur seront toujours contestables. Exerçant pour le compte d’autrui un contrôle externe, il est lui même en permanence en position d’être contesté. À la limite c’est sa légitimité même qui est en cause parce qu’il n’est pas le « mouton à cinq pattes » qui serait nécessaire mais aussi par ce que dans le monde politique certains raisonnent comme si seul le pouvoir pouvait juger le pouvoir. Malgré tous les tourments dans lesquels se trouvent la profession, la révision comptable, le commissariat au compte sont des modèles de contrôle acceptés au regard du contrôle de l’évaluateur de politique !
Bibliographie
BIBLIOGRAPHIE
- M. Bonetti et al., L’évaluation et son double : conceptions de l’action publique, conduites de l’évaluation, Rapport pour le Commissariat général au plan, Paris, 1996.
- Club Cambon, « Compte rendu de la journée d’études sur l’évaluation des politiques publiques, principe opératoire ? », Revue politique et management public, vol. 8, n° 1, mars 1990, p. 95-147.
- M. Deleau et alii, Évaluer les politiques publiques, Rapport du groupe de travail « Méthodes d’évaluation des politiques publiques » auprès du Commissariat général du plan, La documentation française, Paris, 1986.
- P. Gibert, « L’analyse de politique », Revue d’économie politique, 99e année, n°2, mars-avril 1989, p. 355-392.
- P. Gibert et M. Andrault, « Contrôler la gestion ou évaluer les politiques », Revue politique et management public, vol. 2, n° 2, printemps 1984, p. 123-131.
- B. Jobert et P. Muller, L’État en action, politiques publiques et corporatismes, PUF, Paris, 1987.
- R. Laufer R et C. Paradeise, Le prince bureaucrate – Machiavel au Pays du Marketing, Flammarion, Paris, 1982.
- E. Monnier, Évaluations de l’action des pouvoirs publics, 2e édition, Economica, Paris, 1993.
- W. Parsons, Public policy; an introduction to the theory and practice of policy analysis, Edward Elgar, Cheltenham, 1995.
- B. Radin, Beyond Machiavelli, policy analysis comes of ages, Georgetown University Press, Georgetown, Washington D.C, 2000.
- R. Simons, Performance measurement and control systems for implementing strategy, Prentice Hall, Upper Saddle River, N.J., 2000.
- P. Viveret, L’évaluation des politiques et des actions publiques. Rapport au Premier Ministre, La documentation française, Paris, 1989.
Notes
-
[1]
Il est bien entendu des exceptions, en France, par exemple J.P. Nioche dans Deleau et alii (1986).
-
[2]
Comme bon manuel de policy analysis : Parsons (1995). Pour un ouvrage récent sur l’évolution de la policy analysis : Radin (2000).
-
[3]
C’est là sans doute une vision restrictive du contrôle. Le fait que l’on puisse englober ce contrôle au sens restreint dans un contrôle plus large comme nous le faisons dans la figure 1 le montre. Cependant elle est très répandue dans les organisations publiques où l’assimilation du contrôle de gestion à des outils tels le tableau de bord ou une comptabilité analytique est fréquente. Il existe une ambiguïté en la matière dans la littérature, par exemple chez R. Simons qui écrit : « This book focuses on performance measurement and control systems, which are the formal, information-based routines and procedures managers use to maintain or alter patterns in organizational activities » (Simons, 2000). Cette définition est d’autant plus marquante que l’auteur adopte par ailleurs une conception très englobante du contrôle.
-
[4]
Dispositif qui semble, en 2003, en déshérence.
-
[5]
Sur cette notion de référentiels voir Jobert et Muller (1987).
-
[6]
La nouvelle loi organique portant réglementation des lois de finances (LOLF) pose ce principe puisque les crédits budgétaires seront désormais votés par programmes.
