Couverture de RFAS_101

Article de revue

Contrôle et évaluation, au-delà des querelles sémantiques, parenté et facteurs de différences

Pages 71 à 88

Notes

  • [*]
    Professeur à l’université de Paris-Ouest Nanterre-La Défense.
  • [1]
    Ainsi pour le contrôle de gestion : « Le contrôle de gestion est le processus par lequel les dirigeants influencent les autres membres d’une organisation pour mettre en œuvre les stratégies de celle-ci. » (Anthony, Dearden, Govindarajan, 1992.)
  • [2]
    On a déjà suffisamment souligné que l’arborescence mission, programme, action, qui constitue le squelette de la LOLF se comprend fort bien d’un point de vue budgétaire, mais entre en contradiction avec l’idée que les politiques publiques peuvent être transversales par rapport à de nombreuses entités structurelles : directions, opérateurs, ministères… et ne sont pas mutuellement exclusives en ce sens que deux ou plusieurs d’entre elles peuvent s’appuyer sur des ressources voire des dispositifs communs. La mise sur pied des documents de politiques transversales (DPT), en particulier dans des domaines d’action présentés dans les discours gouvernementaux comme prioritaires (sécurité routière, enseignement supérieur…) n’est rien d’autre que la reconnaissance de cet état des choses.
  • [3]
    En ce qui concerne l’évaluation, nous nous centrerons sur les évaluations que l’on peut qualifier d’instrumentales c’est-à-dire visant à effectuer le bilan le plus objectif, le plus rigoureux et le plus complet possible d’une action publique dans un domaine déterminé afin de trouver des voies d’amélioration de la politique considérée pour la rendre plus efficace et/ou efficiente, diminuer ses éventuels effets pervers et ajuster, si besoin est, ses effets distributifs. Ces recommandations peuvent être utiles à une nouvelle politique remplaçant la politique évaluée dans le domaine d’action considéré.
    Dans d’autres conceptions de l’évaluation, celle-ci sert à essayer de faire partager par les différentes parties prenantes un référentiel commun, voire à la formation de ces parties prenantes, à débattre sur le sens de la politique … Toutes ces conceptions ont leur raison d’être mais la comparaison entre ces modes d’évaluation et le contrôle de gestion n’a guère d’intérêt tant ceux-là sont éloignés de celui-ci.
  • [4]
    Ainsi un audit organisationnel peut, en effet, être vu plus comme un moyen de fournir à son commanditaire des informations qu’un bon système périodique de contrôle. Il en constitue dans ce cas un substitut. Mais un audit organisationnel peut être également vu comme un moyen d’étudier en profondeur des problèmes perceptibles à la lecture des états du système formel de contrôle ; il en est alors un prolongement, un complément.
  • [5]
    Ces points de vue peuvent être beaucoup plus nombreux (cf. Gibert, Andrault, 1984).
  • [6]
    Certains se référent à ce problème lorsqu’ils évoquent ce qui est pour eux la nécessité de rendre les politiques « évaluables ».
  • [7]
    Parmi de très nombreux exemples, citons la remarque de l’instance chargée d’évaluer la politique en matière d’eau potable. Cette instance a « constaté que la préservation de la ressource en eau destinée à la consommation humaine n’avait pas fait l’objet d’une politique unique entreprise à un moment déterminé avec des objectifs explicitement fixés, des moyens précisément définis et des indicateurs de résultats. L’action publique pour la préservation de la ressource en eau destinée à la consommation humaine est plutôt constituée d’un ensemble d’actions mettant en œuvre divers instruments à différentes échelles de temps et d’espace ».
  • [8]
    Dans la vision de certains responsables administratifs la différenciation évaluation de politique / étude organisationnelle peut même les faire opposer radicalement. Lors de l’évaluation d’une politique économique effectuée pour le compte d’un département de la région parisienne, l’auteur a été amené à s’interroger sur le fonctionnement du service qui assurait l’essentiel de la mise en œuvre de cette politique. Il s’est trouvé alors en butte à la direction générale qui estimait que c’était là de l’audit et non de l’évaluation et il a fallu remonter à l’arbitrage du politique pour dénouer ce blocage effectué au nom de la séparation des genres.
  • [9]
    Exemple bien connu : pour évaluer sérieusement les effets de la loi sur le prix unique du livre qui veut protéger les librairies, il faudrait pouvoir suivre l’évolution du nombre de celles-ci or dans les statistiques de l’INSEE elles n’apparaissent pas individualisées mais mélangées aux maisons de la presse et aux papeteries. Ce qui explique l’aimable fantaisie qui règne sur le chiffrage du nombre de librairies en France.
  • [10]
    Il faut admettre qu’une politique peut échouer en dépit de la qualité de sa théorie d’action si sa mise en œuvre est défectueuse. Cependant une défectuosité supposée de mise en œuvre peut être elle-même révélatrice de l’irréalisme de la théorie d’action ainsi que l’ont souligné les partisans de la vision ascendante (backward mapping) de la mise en œuvre des politiques publiques. Cf. par exemple, Vinzant, Crothers, 1998.

1Essayer de situer contrôle et évaluation l’un par rapport à l’autre n’est pas aisé même lorsqu’on réduit le champ de la réflexion au fonctionnement des organisations publiques et à leur action. Le flou dans la vulgate des concepts comme le caractère polysémique des deux mots constituent une cause essentielle de difficulté. Essayons donc de limiter celle-ci en nous cantonnant, d’une part, au contrôle de gestion et, d’autre part, à l’évaluation ex post, ou a posteriori, des politiques publiques. Nous excluons ainsi du champ comparatif, d’une part, les contrôles de régularité et tout le contrôle interne (si nous assimilons celui-ci à l’évitement des risques), d’autre part, les évaluations (ou audits opérationnels) d’un service ainsi que l’évaluation du personnel.

2Même ainsi délimités les deux objets à comparer ne se prêtent pas à une identification évidente.

Les raisons qui expliquent la difficulté du positionnement de l’évaluation et du contrôle

3Les définitions du contrôle de gestion par les auteurs sont multiples, les pratiques du contrôle sont souvent déphasées par rapport à ces définitions et varient de façon très significative, d’une organisation (entreprise aussi bien qu’administration ou collectivité locale) à une autre. La distinction entre le système formel de contrôle de gestion (celui que l’on veut ou qui est présenté comme tel) et le système réel (qui peut comprendre le système formel mais aussi bien d’autres éléments) s’impose dans toute analyse un peu réaliste de la situation des grandes et moyennes organisations et rend plus délicate encore l’identification de l’objet « contrôle de gestion ».

4En matière d’évaluation de politique, les variantes d’interprétation sont aussi grandes. La distinction entre les évaluations managériales ou technocratiques ou scientifiques (ce qui est déjà un flottement sémantique très significatif), d’une part, démocratiques, d’autre part, et pluralistes ou participatives enfin, chère à certains auteurs est contestable dans ses critères de segmentation, elle a du moins le mérite de mettre l’accent sur les énormes différences méthodologiques et épistémologiques que l’on constate au sein de l’ensemble des études baptisées, par leurs auteurs ou leurs commanditaires, évaluations. L’analyse des évaluations menées, en France comme à l’étranger montre également des différences significatives entre l’évaluation de politique telle qu’elle peut être vue par les tenants de la recherche évaluative et l’évaluation de politique telle qu’elle est préconisée par les tenants de l’école des politiques publiques ou « policy analysis ».

5Pour dépasser ces incertitudes il peut être tentant de s’appuyer sur les définitions « officielles ». En matière de contrôle de gestion, la circulaire du 21 juin 2001 cosignée par le ministère de l’Économie, des Finances et de l’Industrie et par celui de la Fonction publique chargé de la réforme de l’État pose que « le contrôle de gestion est un système de pilotage mis en œuvre par un responsable dans son champ d’attribution en vue d’améliorer le rapport entre les moyens engagés – y compris les ressources humaines – et soit l’activité développée, soit les résultats obtenus dans le cadre déterminé par une démarche stratégique préalable ayant fixé des orientations. Il permet d’assurer, tout à la fois, le pilotage des services sur la base d’objectifs et d’engagements de services et la connaissance des coûts, des activités et des résultats ».

6En matière d’évaluation de politique, le décret du 22 janvier 1990 qui avait instauré le dispositif d’évaluations interministériel – dit Rocard – disposait « l’évaluation d’une politique publique au sens du présent décret a pour objet de rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont assignés ». Le décret 98-1048 du 18 novembre 1998 rénovant le dispositif interministériel, indiquait pour sa part : « L’évaluation d’une politique publique […] a pour objet d’apprécier, dans un cadre interministériel, l’efficacité de cette politique en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre. » Ces définitions sont plus ou moins en phase avec celles qui prédominent dans la littérature [1]. Elles se signalent par l’accent mis (sauf dans le décret Rocard) sur l’efficience (rapport des résultats aux moyens), et leur comparaison montre qu’elles se différencient d’abord par l’objet visé : une organisation ou un service dans la définition du contrôle, un programme d’action publique dans la définition de l’évaluation. L’arrivée de la loi organique relative aux lois de finances (LOLF) est venue embrouiller cette distinction simple en posant « un programme qui regroupe les crédits destinés à mettre en œuvre une action ou un ensemble cohérent d’actions relevant d’un même ministère et auquel sont associés des objectifs précis, définis en fonction de finalités d’intérêt général, ainsi que des résultats attendus et faisant l’objet d’une évaluation ». Si l’évaluation de programme est, chez les Anglo-Saxons, pratiquement un synonyme de l’évaluation de politique, l’évaluation de programme définie par la LOLF est un objet qui reste à identifier : le programme étant par nécessité un compromis entre des considérations structurelles (les responsables de programmes sont nécessairement situés dans les organigrammes administratifs) et le découpage de l’action de l’État entre différentes politiques [2].

Le rapprochement à partir de la finalité des deux outils

7Laissons donc de côté les définitions officielles (qui en tout état de cause ne s’imposent absolument pas aux collectivités territoriales) et appuyons-nous sur « l’état de l’art » et les « bonnes pratiques » [3].

8Pour souligner la parenté d’approche entre contrôle de gestion et évaluation de politique, il n’est besoin que de recourir à la notion de maîtrise. Dans le cas d’un système de contrôle de gestion, on se préoccupe de savoir si le fonctionnement d’une organisation a été à peu près conforme à ce que l’on en attendait. Dans le cas d’une évaluation de politique, le projet de départ est bien de comparer les résultats aux ambitions. Dans les deux cas la tâche de l’analyste (contrôleur de gestion ou évaluateur) ne s’arrête pas au constat qu’il existe des écarts entre ce que l’on avait voulu et la réalité. L’identification des causes de l’écart est primordiale. Cette identification requiert en particulier une « analyse des écarts » dans les systèmes classiques de contrôle de gestion, elle demande des travaux que l’on a regroupés sous l’expression « analyse de la perturbation » dans l’évaluation de politique.

9Dans les deux cas de figure, le constat, l’analyse n’ont pas une finalité essentiellement rétrospective, ne visent pas fondamentalement à distribuer des « bons ou des mauvais points », à cerner des responsabilités d’individus ou de groupes mais à permettre une meilleure, ou moins mauvaise, maîtrise des choses dans l’avenir.

10Systèmes de contrôle de gestion comme études d’évaluation ont une fonction essentielle de rétroaction, reste à essayer d’en préciser la nature et les modalités.

La différenciation à partir des objets mis sous contrôle et des technologies utilisées

11La première façon pour essayer de différencier nos deux méthodes, est de partir d’une segmentation de la nébuleuse évaluation-contrôle en utilisant deux critères de segmentation de ce que l’on peut considérer comme des modes particuliers relevant de ce genre global. Le premier critère a trait à l’objet mis sous contrôle, le second à la technologie utilisée.

12Au prix d’une certaine schématisation, on peut considérer que deux types assez distincts d’objets peuvent faire l’objet d’un contrôle-évaluation :

  • le premier est le fonctionnement d’une organisation ou d’une de ses composantes (direction, département, service), dans ce cas c’est l’ensemble de l’activité de l’organisation ou de sa subdivision qui fait l’objet de l’évaluation-contrôle ou du moins les aspects les plus importants de son fonctionnement ;
  • le second type d’objet est constitué par tout ce que l’on peut faire rentrer dans la catégorie générique des actions de changement. Les projets (chantiers de BTP, campagnes publicitaires…) rentrent dans cette catégorie, y rentrent aussi les programmes d’action publique et toutes les politiques publiques dans la mesure où elles visent à modifier certaines caractéristiques de la société considérées comme insatisfaisantes ou à préserver des caractéristiques sociales considérées comme satisfaisantes mais menacées.
Le fait que les projets aient par définition une durée de vie limitée alors que les politiques publiques sont pour la plupart à durée indéterminée est relativement secondaire pour le problème ici examiné.

13Le premier type de technologie possible au service du contrôle-évaluation est l’utilisation d’un système d’information apte à fournir à intervalles réguliers, des données significatives sur l’état de l’objet mis sous contrôle : il peut s’agir d’indicateurs de nature diverse (efficacité ou efficience, portant sur les consommations de moyens, les activités menées à bien, les produits élaborés voire l’impact des activités et réalisations).

14Le second type de technologie est l’investigation ponctuelle, réalisée à un moment donné du temps par une personne ou un groupe de personnes, le fait de dénommer cette investigation diagnostic, étude, audit, ou évaluation est également assez secondaire et largement déterminé par les modes en cours à une époque donnée.

15Le croisement des deux types d’objets pouvant faire l’objet du contrôle évaluation et des deux types de technologie utilisables nous donne une segmentation en quatre grands ensembles de la nébuleuse évaluation-contrôle (cf. schéma n° 1).

Schéma n° 1

Quatre ensembles au sein de la nébuleuse évaluation-contrôle

Schéma n° 1

Quatre ensembles au sein de la nébuleuse évaluation-contrôle

16Le premier ensemble a trait à l’utilisation de la technologie des systèmes d’information périodiques pour la mise sous contrôle d’une organisation ou de l’un de ses sous-ensembles. On a affaire là aux instruments les plus classiques de ce que l’on considère, dans la littérature, comme le contrôle de gestion actuel. « Les systèmes de contrôle de gestion sont constitués des procédures et outils formels fondés sur des informations que les managers utilisent pour maintenir ou modifier les façons de faire dans les activités de l’organisation » (Simons, 1997).

17Le second ensemble est constitué par l’utilisation des systèmes d’information périodique pour la mise sous action d’une action de changement. Dans le cadre de projets, on parle traditionnellement de contrôle de projet et l’on sait que le contrôle d’un projet est en particulier orienté sur le suivi de l’état d’avancement de celui-ci, ainsi que de l’accumulation des coûts au cours du temps. En matière de politiques, l’équivalent en est constitué par le monitoring de la mise en œuvre d’une politique, souvent demandé par les financeurs inter ou supranationaux ou par les évaluations dites concomitantes qui, en réalité, sont le plus souvent des suivis de la réalité de la mise en œuvre (implementation) d’une politique.

18Le troisième ensemble regroupe l’utilisation d’investigations d’études ponctuelles pour donner une image du fonctionnement d’une organisation (ou de l’un de ses sous-ensembles) à un moment donné du temps. Nombres de travaux d’inspections générales, d’audits demandés à des cabinets de conseils, voire d’investigations labellisées évaluations (en particulier dans le cadre universitaire (agence d’évaluation de la recherche et de l’enseignement supérieur par exemple) relèvent de cette catégorie. La relation entre le premier ensemble et le troisième est d’ailleurs relativement complexe [4].

19Le quatrième ensemble, enfin, a trait aux investigations portant sur ce qu’a donné une action de changement terminée ou suffisamment mûre pour avoir pu faire sentir la grande majorité de ses effets aussi bien recherchés que non recherchés ; en matière d’action publique, il s’agit là des évaluations ex post ; en matière d’entreprises, il peut s’agir de l’étude a posteriori des conséquences d’une décision d’investissement réalisée quelques années auparavant (même si ce type d’études semble, dans la pratique, assez rare).

20On peut donc soutenir que les systèmes de contrôle de gestion tels qu’ils sont le plus généralement entendus et l’évaluation ex post de politiques se différencient l’un de l’autre doublement, aussi bien quant à l’objet sur lesquels ils portent, que quant à la technologie sur lesquels ils reposent.

21Aller plus loin demande une vision des modèles idéaux-type, du contrôle d’un côté, de l’évaluation de politiques de l’autre ou de quitter le champ des systèmes idéaux pour celui du constat des caractéristiques les plus usuellement observées du contrôle de gestion comme de l’évaluation de politiques.

La différenciation à partir des traits généralement observés

22Essayons-nous à ce constat et comparons les traits principaux des systèmes formels de contrôle de gestion tels qu’on peut les repérer dans les administrations d’État ou les collectivités territoriales avec ceux des évaluations de politiques couramment pratiquées.

23Limitons cette comparaison à six points de vue[5] : le centrage de l’investigation, la nature de la rationalité supposée sous-jacente à l’action, le format de l’approche, la nature des informations, l’intérêt ou la finalité de l’analyse et le facteur clé de succès de l’analyste.

Le centrage de l’analyse

24En ce qui concerne le centrage de l’analyse la différenciation paraît double.

25D’une part, les systèmes de contrôle de gestion sont, de façon quasi exclusive, centrés sur la mesure des moyens utilisés, des activités menées et des réalisations (output) produites par l’organisation ou le service mis sous contrôle ainsi que sur les relations (réalisations sur moyens, coût des activités…) qui peuvent exister entre ces éléments lesquels appartiennent tous à ce que nous avons désigné comme la fonction de production n° 1 des organisations publiques (cf. schéma n° 2).

Schéma n° 2

La métaphore de la double fonction de production

Schéma n° 2

La métaphore de la double fonction de production

26L’impact de l’action des organisations publiques mises sous contrôle n’est très généralement pas suivi, non par désintérêt ou volonté d’internaliser les buts de l’organisation (goal displacement) – encore que celle-ci est toujours possible – mais parce que l’impact est une caractéristique de la société et non de l’organisation dont l’action l’induit, qu’il demande tout à la fois une explicitation précise du ou des buts finals poursuivis et un recueil, la plupart du temps difficile, d’informations externes sur la situation que l’on désire modifier. En outre, l’impact est par définition un différentiel, une imputation de ce qui, dans l’évolution de l’état d’une situation, est dû à l’action de l’organisation considérée par opposition à ce qui est dû au reste du monde. L’estimation de l’impact nécessite que soient vérifiées trois conditions cumulatives trop difficiles à réunir pour que l’on puisse sortir des chiffres d’impact avec la périodicité (mois, trimestre ou même semestre) qui est celle des états du contrôle de gestion.

27Pour leur part, les évaluations de politiques doivent idéalement déterminer d’abord si la politique examinée a été efficace, c’est-à-dire si elle a atteint ses objectifs. Cette finalité suppose une comparaison des impacts réellement obtenus avec les impacts atteints. Dans la pratique française, cette évaluation de l’impact est rarement présente parce qu’elle suppose d’abord que les objectifs d’impacts aient été définis d’une façon suffisamment précise (condition de finalisation suffisante) [6], que les données sur l’évolution des phénomènes dont on recherche la modification soient disponibles (condition de disponibilité d’information) et finalement que l’imputation, d’une part, de l’évolution constatée des phénomènes à modifier à l’action publique évaluée soit possible (condition d’imputabilité). Le problème est, pour l’évaluateur, en principe moindre que pour un système de contrôle puisque l’investigationad hoc peut être l’occasion d’un rassemblement exceptionnel de données qui ne pourraient être réitéré de façon régulière et d’études économétriques difficilement renouvelables à brefs intervalles. Il n’en demeure pas moins important et le lecteur d’une évaluation reste souvent sur sa faim en ce qui concerne le chiffrage de l’efficacité d’une politique publique ou même, à défaut, le chiffrage des impacts effectifs de celle-ci.

28Le second élément de différenciation du centrage des systèmes de contrôle de gestion et des évaluations de politiques réside dans la dualité résultat / processus. Un système formel de contrôle de gestion produit un chiffrage de résultats qui doivent être appréciés par rapport à des objectifs, des prévisions ou des résultats d’entités semblables. Le processus par lequel on est arrivé au résultat n’est pas, en règle générale, décortiqué par le système de contrôle, il peut être, cependant, objet d’analyse pour s’expliquer par exemple des écarts trop défavorables entre objectifs et prévisions. L’analyse de processus est, à l’inverse, partie intégrante de la plupart des évaluations de politiques. L’étude de la façon dont la politique a été mise en œuvre par les administrations ou, le cas échéant, les opérateurs publics et privés qui en ont la charge, l’étude de la façon dont les différentes parties prenantes ont réagi, se sont adaptées, ont profité des incitations, réglementations, interdictions… instaurées par la politique, l’analyse du déroulement de la perturbation volontairement créée par la politique, font l’objet de soins attentifs de la part de tous les évaluateurs qui n’assimilent pas l’évaluation de politiques à la seule évaluation de résultats, et ceux-ci sont très nombreux en France. Cette analyse de processus est même le noyau dur de beaucoup d’évaluations dans le cas fréquent où l’évaluation d’impact est jugée trop problématique et où l’évaluateur s’est vu interdire par un cahier des charges restrictif de s’aventurer sur le terrain des recommandations.

La rationalité sous-jacente à l’action

29Dans un système formel de contrôle de gestion, on ne peut contrôler, période après période, que ce que l’on a décidé de mettre sous contrôle. Dans un système conçu en suivant les bonnes pratiques, cela suppose que l’on soit parti des objectifs poursuivis et que l’on ait mis en exergue les leviers déterminants pour assurer l’atteinte de ces objectifs, les facteurs clés de succès ou, pour faire plus moderne, les « inducteurs de performance ». Cette explicitation des relations de cause à effet entre objectifs finals poursuivis et objectifs instrumentaux supposés être déterminants dans l’atteinte de ces objectifs finals est centrale dans la Balanced Scorecard (tableau de bord prospectif) et s’y trouve formalisée par une carte stratégique. Elle est présente, sous des formes plus ou moins proches, dans les méthodes alternatives d’identification des indicateurs dont la présence est souhaitable dans un tableau de bord ou des états de reporting. À défaut, l’information produite périodiquement par le système de contrôle, risque de se révéler peu pertinente, marginale, périphérique par rapport au « cœur de métier » du service ou de l’organisation considérée et le système de contrôle risque, par voie de conséquence, de se trouver rapidement décrédibilisé et marginalisé (Gibert, 2009). Il n’y a rien là qu’une conséquence concrète du fait que le contrôle est au service de la stratégie, que celle –ci est une théorie au sens de suite hypothétique de relations de cause à effet et que l’élaboration d’un système de contrôle est l’occasion privilégiée d’expliciter, d’affermir, de clarifier la stratégie régnante dans l’organisation ainsi que la théorie qui lui est sous-jacente. Dans un système de contrôle, la rationalité est donc, en principe, explicitée a priori, même si dans la réalité du contrôle administratif, ceci n’est pas toujours vérifié.

30En matière d’évaluation de politique, l’exigence n’est pas tout à fait la même. Certes, en principe, une politique publique repose sur une théorie d’action (ou théorie du changement social) ; certes, un des intérêts majeurs de l’évaluation est de permettre la validation ou l’invalidation de cette théorie par l’analyse de la réalité. Mais l’évaluation de politique ne porte pas toujours sur une politique répondant aux canons d’un programme ou d’un dispositif que l’on pourrait caractériser par des objectifs clairs, une théorie d’action bien spécifiée et des moyens qui lui sont, pour une part importante, dédiés. L’évaluation ne porte pas toujours sur un objet aux contours relativement bien cernables et qui lui préexiste. Assez souvent, la politique se définit par un champ d’action possible de l’État ou d’une collectivité territoriale et l’objet évalué rassemble l’ensemble des mesures que l’État ou la collectivité ont édicté dans le champ considéré, parfois à des moments du temps très différents et sans qu’il y ait une théorie d’action commune aux différentes mesures ainsi rassemblées ex post. En d’autres termes, dans ces cas c’est l’évaluation qui crée l’objet évalué [7]. C’est, bien entendu, très ennuyeux pour la validation d’une inexistante théorie d’action d’ensemble, cela dénature quelque peu l’évaluation mais ne la rend pas nécessairement impossible, peu pertinente ou marginale. L’évaluateur peut, en effet, toujours se rabattre sur une analyse de la cohérence (ou de l’incohérence) des mesures rassemblées. Quand la politique évaluée s’apparente davantage au modèle canonique sans en présenter toutes les caractéristiques idéales, parce que certains objectifs ne sont pas très spécifiques, parce que d’autres sont tus… l’évaluateur a, cependant, matière à des développements pertinents sur les effets réellement observés, sur le caractère pervers de certains d’entre eux, sur l’existence d’objectifs latents (tout se passe comme si…). Autrement dit, s’il reste préférable en termes d’apprentissage (cf. infra) d’évaluer une politique canonique qu’une politique floue, l’évaluateur n’a pas besoin à strictement parler d’avoir un objet dont la rationalité est exprimée a priori pour faire une partie très importante de son travail.

31La deuxième façon de différencier contrôle et évaluation en matière de rationalité, tient à la conception implicite de la réalité que l’on peut associer à l’un et à l’autre. Les systèmes formels de contrôle de gestion ont généralement connu leur forme la plus achevée en milieu industriel, là où les processus de production reliant moyens et produits sont les plus stabilisés (où la fonction de production est la mieux établie), et très longtemps, l’archétype du contrôle a été la notion d’écart entre un coût constaté de fabrication d’un produit et le coût standard, c’est-à-dire normal, normatif de celui-ci. L’écart n’est pratiquement jamais neutre, il est favorable ou défavorable. L’écart défavorable est une anomalie : on a consommé trop de moyens parce qu’il y eu trop de déchets, trop de gaspillage, des détournements éventuels… Pour certains contrôleurs de gestion, en forçant quelque peu le trait, on pourrait dire que tout écart est haïssable, même celui qui est favorable parce qu’il traduit le fait que les standards n’étaient pas assez rigoureux, les objectifs pas assez ambitieux… en d’autres termes et même si la littérature moderne de contrôle de gestion a pris de considérables distances avec cette vision des choses, les systèmes formels de contrôles de gestion reposent pour une bonne part sur une conception mécanique ou balistique de la réalité et l’approche qui y domine, en particulier quand le contrôle des coûts et de l’efficience est prépondérant, est une approche technico-économique. Technique parce que ce sont les processus de production formalisés qui déterminent les coûts normaux. Économique parce que le chiffrage des coûts n’est rien d’autre que l’opérationnalisation du concept économique de consommation de ressources et qu’il en est de même d’ailleurs du résultat financier.

32L’évaluation de politique lorsqu’elle part, comme c’est majoritairement le cas, de l’idée qu’une politique est une théorie d’action, qu’elle vise à modifier des comportements de certains acteurs (il convient que les chefs d’entreprise embauchent davantage de jeunes, que les conducteurs conduisent moins vite, que l’activité des différents acteurs économiques émettent moins d’oxyde de carbone…) afin de résoudre les problèmes inscrits à l’agenda des autorités publiques, est fondée sur un présupposé tout autre. La fonction de production n° 2, celle qui fait passer des réalisations (output) aux impacts (outcome) est, en général, tout sauf prédéterminée, stabilisée, bien prédictible parce que les comportements sont résistants, parce que la perturbation déclenchée par la politique peut déclencher des effets non recherchés, contre-intuitifs, parce que ce qui est vrai dans une conjoncture, ne l’est plus dans une autre… Finalement c’est une série d’ajustements en chaîne des différentes parties prenantes qui décidera du succès ou de l’échec d’une politique. On est, par conséquent, dans une vision interactionniste de la réalité. Cette vision interactionniste se manifeste au plus haut point quand pour relativiser l’importance que peuvent avoir les actions volontaristes des autorités publiques dans les évolutions des sociétés, on parle d’action publique à laquelle concourent une pluralité d’acteurs publics mais tout aussi bien une pluralité voire une multitude d’acteurs privés (Duran, 1999). Dès lors l’approche d’analyse de la politique est naturellement fondée sur les sciences sociales susceptibles d’expliquer la nature des comportements et ajustements observés et leur différence avec ceux qu’anticipait la théorie d’action de la politique.

Les formats des deux approches

33Le contrôle de gestion est, généralement, une approche doublement systématique. On veut dire d’abord que, s’agissant du contrôle de gestion mis en place dans une organisation publique, celui-ci vise à donner une représentation de l’ensemble de l’activité de cette organisation, de l’atteinte de ses objectifs, de ses coûts… Bien sûr, le caractère synthétique de certains états du contrôle, tels les tableaux de bord, ne permet pas de rendre compte de tout, mais l’essentiel est mis sous contrôle et aucun secteur, aucun pan d’action n’est en principe volontairement laissé de côté. Ensuite, le côté systématique du contrôle apparaît dans la sortie périodique des états (tableaux de bord, reporting, comptabilité analytique…) qui en constituent la manifestation la plus visible et dans les éventuelles réunions d’exploitation-analyse organisées périodiquement autour de ces états.

34En comparaison, les évaluations de politiques sont, en général, doublement ponctuelles. Privilégiant comme objet une action de changement, elles ne s’intéressent qu’à une partie de l’activité de l’organisation ou des organisations qui en sont les metteurs en œuvre. L’organisation et ses subdivisions ne disparaissent pas mais elles ne sont pas l’entrée de l’investigation et ne sont sujet d’études que pour ce qui concerne la politique examinée [8].

35L’évaluation de politique est également ponctuelle en ce sens qu’elle est, en général, effectuée à un moment donné du temps et non à intervalles réguliers, ce que justifient la lourdeur et le coût de l’investigation qu’elle constitue. Cela, même si des financeurs comme l’Union européenne (au travers des fonds structurels) s’efforcent de promouvoir une pluralité d’évaluation sur un même objet en prônant des évaluations concomitantes, des évaluations à mi-parcours et des évaluations terminales.

Schéma 3

Les deux approches

Schéma 3
Contrôle de gestion Évaluation de politique Objets d’études Moyens, activités, réalisations. Résultats. Idem mais aussi impacts. Résultats mais aussi processus. Rationalité sous-jacente à l’action Spécifiée et identifiée a priori : conception mécaniste de la réalité. Prédominance d’une approche technico-économique. Déterminée pour partie chemin faisant, et identifiée pour partie a posteriori : conception interactionniste. Approche sciences sociales forte. Formats de l’approche Investigation doublement systématique. Investigation doublement ponctuelle. Les informations Essentiellement internes, labellisées. Externes, diverses, hétérogènes. Intérêt de l’analyse Rétroaction (effet à court terme) et apprentissage en simple boucle. Apprentissage en simple et double boucle (effet à long terme). L’analyste (contrôleur de gestion ou évaluateur) Interne. Indépendant.

Les deux approches

Les informations

36Dans les systèmes formels de contrôles de gestion, ceux que R. Simons qualifie de « contrôle diagnostic », la plupart des données nécessaires à l’alimentation du système : charges, volumes d’activité, volume de réalisations, délais de traitement… sont internes à l’organisation considérée. Cela ne veut pas dire qu’elles préexistent à la mise en place du système de contrôles, qu’elles sont initialement « disponibles », qu’elles sont appréhendées correctement, on veut dire conformément, par exemple, à ce qui est nécessaire pour répondre aux besoins des indicateurs que l’on désire sortir. Le recueil des informations de base peut donc poser problème mais se fait en respectant des définitions rigoureuses des variables opérationnalisées. À défaut, l’on ne dispose pas du système d’information de gestion nécessaire au système de contrôle. Quant aux informations produites par le système de contrôle, elles sont calibrées, labellisées par les fiches d’indicateurs par exemple.

37En matière d’évaluation de politique, le fait que l’on s’intéresse à la seconde fonction de production fait que les informations souhaitables peuvent relever d’un grand nombre d’acteurs qui, le cas échéant, produisent ces informations pour des finalités qui n’ont rien à voir avec l’évaluation. L’information disponible n’est, en général, pas calibrée pour les besoins de l’évaluation [9], elle est hétérogène, sa signification peut varier à travers le temps… tous problèmes que nombre d’évaluateurs soulignent à l’envie.

Les fonctions de l’outil

38Un système formel de contrôle de gestion produit des informations périodiques qui permettent en principe aux managers concernés de « corriger le tir ». Cette métaphore balistique met l’accent sur les mesures correctives sur lesquelles doivent déboucher les constats d’écarts entre objectifs (au sens d’ambitions quantifiées) et les résultats constatés. Cette fonction du contrôle encore appelée de rétroaction ou feedback, peut se faire sans apprentissage (exemple : on n’a pas assez mis de moyens pour traiter les dossiers dans les délais voulus, mettons-les et le problème sera résolu) ou traduire la mise en œuvre de l’apprentissage à boucle simple qui caractérise le fait de s’attacher aux erreurs commises dans la recherche de l’atteinte de l’objectif sans remettre en cause celui-ci (Argyris, 1977) (ex. : modifions la procédure de traitement des dossiers pour pouvoir respecter le délai de traitement). Le contrôle est classiquement un instrument au service de la stratégie, non de remise en cause de celle-ci. Ce qui ne veut pas dire qu’un autre type de contrôle n’est pas possible, ce type appelé souvent « contrôle stratégique », est dénommé par R. Simons, en raison de la procédure participative qu’il préconise pour sa mise en œuvre, « contrôle interactif ». Ce contrôle vise à s’intéresser à tous les signaux susceptibles d’invalider la pertinence de la stratégie poursuivie par une organisation à un moment donné, à estimer la durabilité de cette stratégie ou son obsolescence et à aider, le cas échéant, à la mise en place d’une stratégie nouvelle. Le type de préoccupation qui est au cœur du contrôle stratégique, met l’accent sur les mécanismes d’apprentissage à double boucle, mécanismes qui aboutissent à la mise en cause des objectifs.

39Des pionniers de l’évaluation de politique ont présenté celle-ci comme un outil d’apprentissage à double boucle en tirant les conséquences du fait que toute politique publique est fondée sur une théorie d’action. La mise en œuvre d’une politique et son évaluation permettent de voir si cette théorie marche ou non et donc de modifier ou de changer la théorie d’action sous-jacente à la politique en mettant en cause les objectifs instrumentaux, voire de souligner le caractère impossible de la politique et de remettre en cause par là même ses objectifs finals [10]. C’est pour cela que dans un modèle idéal type de l’évaluation, on a pu indiquer que les recommandations ayant trait aux amendements à opérer à la théorie d’action aussi bien qu’à la contestation éventuelle de la faisabilité des objectifs devaient figurer au même titre que les recommandations toujours utiles quant à la mise en œuvre ou les litanies (faciles) sur la nécessité d’effectuer des études complémentaires ou d’améliorer les systèmes d’information existants. Cette idée de faire jouer à l’évaluation son rôle de vecteur de l’apprentissage à double boucle, se heurte malheureusement souvent à la faible propension des commanditaires à demander aux évaluateurs ce genre de recommandations, voire à les laisser s’aventurer sur ce terrain.

40Le parallélisme est d’ailleurs assez parlant entre les obstacles existant à l’apprentissage à double boucle dans les organisations et l’apprentissage à double boucle en matière de politique publique. Traitant du premier, Argyris (1977) a signalé, parmi ces obstacles, le fait que des normes organisationnelles prohibent la remise en cause des objectifs et politiques de supérieurs ou encore que les théories d’action que professent les responsables ne sont pas celles qu’ils mettent en œuvre et dont ils sont parfois inconscients. Il a également noté que dès lors que chaque groupe a tendance à celer les informations qui constituent une menace pour lui ou d’autres groupes qui lui sont alliés, le caractère participatif d’une réflexion ouverte à différentes parties prenantes peut renforcer les difficultés de l’apprentissage en double boucle en renforçant les réflexes qui s’opposent à celui-ci. Il en va globalement de même en matière d’évaluation.

41En d’autres termes, les systèmes formels classiques de contrôle de gestion sont orientés essentiellement vers un apprentissage à simple boucle ce qui les différencie du modèle idéal type de l’évaluation de politique qui fait toute sa place à l’apprentissage à double boucle. Cependant toute évaluation concrète de politique ne débouchera pas sur un apprentissage à double boucle ; le protocole d’évaluation, la composition du groupe d’évaluateurs ou de l’instance d’évaluation le favorisent ou au contraire y font obstacle. À l’inverse des systèmes de contrôle interactifs – sous réserve d’un climat favorable : acceptation de la remise en cause des hypothèses en particulier causales, des normes et des objectifs… – peuvent déboucher sur un apprentissage à double boucle. L’opposition entre les deux outils, évaluation et contrôle, est donc loin d’être absolue dans les faits.

Les qualités-clés de l’analyste

42Le contrôleur de gestion est nécessairement interne à l’organisation : chargé de veiller à la sortie d’états périodiques de gestion, il doit pouvoir s’assurer de l’alimentation effective du système en données de base et se trouver à même d’effectuer des relances efficaces auprès des services ou individus retardataires. Chargé d’analyser et de commenter les résultats il doit pouvoir se trouver auprès du patron ou du chef de centre de responsabilité concerné et l’assister dans les réunions d’exploitation des états périodiques… Certes, son rôle réel est souvent éloigné de celui de conseiller de la ligne hiérarchique que recommandent nombre de manuels – souvent parce que son statut organisationnel est trop faible –, ce rôle un peu idéalisé n’en reste pas moins souhaitable dès lors que le contrôleur de gestion est un expert dans l’art de faire parler (correctement) les chiffres.

43L’évaluateur de politique, pour sa part, n’a à être ni interne ni externe mais indépendant pour que l’évaluation ne se transforme pas en exercice de légitimation, ou d’autojustification et puisse déboucher sur les deux types d’apprentissages précités. L’évaluation constitue alors une mémoire qui ne suffit pas à rendre l’appropriation de l’apprentissage effective pour des raisons qui peuvent être multiples : idéologiques, refus de reconnaître ses erreurs, arrivée de nouveaux responsables politiques qui veulent davantage se distinguer de leurs prédécesseurs qu’élaborer et mettre en œuvre des politiques publiques fondées sur les faits (evidence-based)… la référence à la mémoire est l’exception.

44Assurer l’indépendance de l’évaluateur n’est pas chose facile, l’extranéité de l’évaluateur ne l’assure pas si celui-ci est le fournisseur d’un client, le commanditaire, dont il souhaite – humainement – s’assurer la fidélité. Un évaluateur indépendant hors marché (Cour des comptes, organismes relevant du Parlement…) supprime l’éventualité de ce biais mais transforme l’évaluation en instrument de contrôle externe (Gibert, 2003) ce qui n’est pas la meilleure façon de surmonter les obstacles à l’apprentissage. Les dispositifs sophistiqués distinguant, à la suite de feu le Conseil scientifique de l’évaluation, l’instance d’évaluation et les chargés d’évaluation censés préserver l’indépendance de ces derniers, ne font que déplacer le problème vers la réalité du comportement des membres de l’instance et risque fort de favoriser la « logique de représentation des intérêts » dans le travail évaluatif et donc de le dénaturer…

En guise de conclusion

45Évaluation de politique et contrôle de gestion sont à la fois parents et dotés de personnalités assez distinctes. La comparaison des pratiques conduit à des conclusions, sur ce qui les distingue, plus nuancée que la comparaison d’idéaux-types, par ailleurs discutés et évolutifs. Il serait trop optimiste, en 2009, de penser que les points forts de l’un permettent de pallier les points faibles ou les lacunes de l’autre. Les limites que présentent les systèmes formels de contrôle de gestion (absence de suivi de l’impact, faible propension à l’apprentissage à double boucle…) ne sont pas par enchantement surmontés par le recours à des évaluations de politiques. Symétriquement, les difficultés des évaluations (flou ou ambiguïté des objectifs, carence et limite des informations quantitatives…) ne sont pas surmontées comme par miracle dans les systèmes formels de contrôle. Cependant l’idée d’une assez bonne complémentarité entre ces deux instruments, de ce que nous avons dénommé la nébuleuse contrôle-évaluation, demeure. Les évaluations peuvent par exemple, par le caractère généralement très varié des effets qu’elles prennent en compte, par l’importance qu’elles peuvent accorder à des développements qualitatifs mais rigoureux, éviter une trop grande polarisation sur des visions réductrices, voire parfois simplistes, de la performance que peuvent donner des systèmes de contrôle mal ou imparfaitement conçus. À l’inverse, les systèmes de contrôle par le chiffrage systématique qu’ils opèrent, peuvent rappeler qu’on ne gère que ce que l’on mesure même si l’on peut faire beaucoup de choses sans mesures.

Bibliographie

Bibliographie

  • ANTHONY R. N., DEARDEN J., GOVINDARAJAN V. (1992), Management control systems, Irwin, Boston.
  • ARGYRIS C. (1977), « Double loop learning in organizations », Harvard Business Review, sept.-oct. p. 115-124.
  • CHEN H. T. (2005), Practical program evaluation, Sage publications.
  • DAHLER-LARSEN P. (2005), « Evaluation and public management », in Ferlie E., Lynn L. E. Jr., Pollit C. (eds), The oxford handbook of public management, Oxford University Press, p. 615-637.
  • DURAN P. (1999), Penser l’action publique, LGDJ.
  • GIBERT P. (2003), « L’évaluation de politique : contrôle externe de la gestion publique ? », Revue française de gestion, n° 147.
  • GIBERT P. (2009), Les tableaux de bord des organisations publiques, Dunod.
  • GIBERT P., ANDRAULT M. (1984), « Contrôler la gestion ou évaluer les politiques », Politique et management public, vol. 2, n° 2 printemps.
  • LEVITT B., MARCH J. G. (1988), « Organizational Learning », Annual Review of Sociology, vol. 14., p. 319-340.
  • PERRET B. (2007), Évaluation des politiques publiques, La Découverte (nouvelle édition).
  • SIMONS R. (1997), Levers of Control, Harvard Business School Press.
  • VINZANT J. C., CROTHERS L. (1998), Street level leadership: discretion and legitimacy in front line public service, Georgetown University Press.

Date de mise en ligne : 12/07/2010.

https://doi.org/10.3917/rfas.101.0071

Notes

  • [*]
    Professeur à l’université de Paris-Ouest Nanterre-La Défense.
  • [1]
    Ainsi pour le contrôle de gestion : « Le contrôle de gestion est le processus par lequel les dirigeants influencent les autres membres d’une organisation pour mettre en œuvre les stratégies de celle-ci. » (Anthony, Dearden, Govindarajan, 1992.)
  • [2]
    On a déjà suffisamment souligné que l’arborescence mission, programme, action, qui constitue le squelette de la LOLF se comprend fort bien d’un point de vue budgétaire, mais entre en contradiction avec l’idée que les politiques publiques peuvent être transversales par rapport à de nombreuses entités structurelles : directions, opérateurs, ministères… et ne sont pas mutuellement exclusives en ce sens que deux ou plusieurs d’entre elles peuvent s’appuyer sur des ressources voire des dispositifs communs. La mise sur pied des documents de politiques transversales (DPT), en particulier dans des domaines d’action présentés dans les discours gouvernementaux comme prioritaires (sécurité routière, enseignement supérieur…) n’est rien d’autre que la reconnaissance de cet état des choses.
  • [3]
    En ce qui concerne l’évaluation, nous nous centrerons sur les évaluations que l’on peut qualifier d’instrumentales c’est-à-dire visant à effectuer le bilan le plus objectif, le plus rigoureux et le plus complet possible d’une action publique dans un domaine déterminé afin de trouver des voies d’amélioration de la politique considérée pour la rendre plus efficace et/ou efficiente, diminuer ses éventuels effets pervers et ajuster, si besoin est, ses effets distributifs. Ces recommandations peuvent être utiles à une nouvelle politique remplaçant la politique évaluée dans le domaine d’action considéré.
    Dans d’autres conceptions de l’évaluation, celle-ci sert à essayer de faire partager par les différentes parties prenantes un référentiel commun, voire à la formation de ces parties prenantes, à débattre sur le sens de la politique … Toutes ces conceptions ont leur raison d’être mais la comparaison entre ces modes d’évaluation et le contrôle de gestion n’a guère d’intérêt tant ceux-là sont éloignés de celui-ci.
  • [4]
    Ainsi un audit organisationnel peut, en effet, être vu plus comme un moyen de fournir à son commanditaire des informations qu’un bon système périodique de contrôle. Il en constitue dans ce cas un substitut. Mais un audit organisationnel peut être également vu comme un moyen d’étudier en profondeur des problèmes perceptibles à la lecture des états du système formel de contrôle ; il en est alors un prolongement, un complément.
  • [5]
    Ces points de vue peuvent être beaucoup plus nombreux (cf. Gibert, Andrault, 1984).
  • [6]
    Certains se référent à ce problème lorsqu’ils évoquent ce qui est pour eux la nécessité de rendre les politiques « évaluables ».
  • [7]
    Parmi de très nombreux exemples, citons la remarque de l’instance chargée d’évaluer la politique en matière d’eau potable. Cette instance a « constaté que la préservation de la ressource en eau destinée à la consommation humaine n’avait pas fait l’objet d’une politique unique entreprise à un moment déterminé avec des objectifs explicitement fixés, des moyens précisément définis et des indicateurs de résultats. L’action publique pour la préservation de la ressource en eau destinée à la consommation humaine est plutôt constituée d’un ensemble d’actions mettant en œuvre divers instruments à différentes échelles de temps et d’espace ».
  • [8]
    Dans la vision de certains responsables administratifs la différenciation évaluation de politique / étude organisationnelle peut même les faire opposer radicalement. Lors de l’évaluation d’une politique économique effectuée pour le compte d’un département de la région parisienne, l’auteur a été amené à s’interroger sur le fonctionnement du service qui assurait l’essentiel de la mise en œuvre de cette politique. Il s’est trouvé alors en butte à la direction générale qui estimait que c’était là de l’audit et non de l’évaluation et il a fallu remonter à l’arbitrage du politique pour dénouer ce blocage effectué au nom de la séparation des genres.
  • [9]
    Exemple bien connu : pour évaluer sérieusement les effets de la loi sur le prix unique du livre qui veut protéger les librairies, il faudrait pouvoir suivre l’évolution du nombre de celles-ci or dans les statistiques de l’INSEE elles n’apparaissent pas individualisées mais mélangées aux maisons de la presse et aux papeteries. Ce qui explique l’aimable fantaisie qui règne sur le chiffrage du nombre de librairies en France.
  • [10]
    Il faut admettre qu’une politique peut échouer en dépit de la qualité de sa théorie d’action si sa mise en œuvre est défectueuse. Cependant une défectuosité supposée de mise en œuvre peut être elle-même révélatrice de l’irréalisme de la théorie d’action ainsi que l’ont souligné les partisans de la vision ascendante (backward mapping) de la mise en œuvre des politiques publiques. Cf. par exemple, Vinzant, Crothers, 1998.
bb.footer.alt.logo.cairn

Cairn.info, plateforme de référence pour les publications scientifiques francophones, vise à favoriser la découverte d’une recherche de qualité tout en cultivant l’indépendance et la diversité des acteurs de l’écosystème du savoir.

Avec le soutien de

Retrouvez Cairn.info sur

18.97.9.168

Accès institutions

Rechercher

Toutes les institutions