Le centrage de l’analyse

24En ce qui concerne le centrage de l’analyse la différenciation paraît double.

25D’une part, les systèmes de contrôle de gestion sont, de façon quasi exclusive, centrés sur la mesure des moyens utilisés, des activités menées et des réalisations (output) produites par l’organisation ou le service mis sous contrôle ainsi que sur les relations (réalisations sur moyens, coût des activités…) qui peuvent exister entre ces éléments lesquels appartiennent tous à ce que nous avons désigné comme la fonction de production n° 1 des organisations publiques (cf. schéma n° 2).

Schéma n° 2

La métaphore de la double fonction de production

La métaphore de la double fonction de production

26L’impact de l’action des organisations publiques mises sous contrôle n’est très généralement pas suivi, non par désintérêt ou volonté d’internaliser les buts de l’organisation (goal displacement) – encore que celle-ci est toujours possible – mais parce que l’impact est une caractéristique de la société et non de l’organisation dont l’action l’induit, qu’il demande tout à la fois une explicitation précise du ou des buts finals poursuivis et un recueil, la plupart du temps difficile, d’informations externes sur la situation que l’on désire modifier. En outre, l’impact est par définition un différentiel, une imputation de ce qui, dans l’évolution de l’état d’une situation, est dû à l’action de l’organisation considérée par opposition à ce qui est dû au reste du monde. L’estimation de l’impact nécessite que soient vérifiées trois conditions cumulatives trop difficiles à réunir pour que l’on puisse sortir des chiffres d’impact avec la périodicité (mois, trimestre ou même semestre) qui est celle des états du contrôle de gestion.

27Pour leur part, les évaluations de politiques doivent idéalement déterminer d’abord si la politique examinée a été efficace, c’est-à-dire si elle a atteint ses objectifs. Cette finalité suppose une comparaison des impacts réellement obtenus avec les impacts atteints. Dans la pratique française, cette évaluation de l’impact est rarement présente parce qu’elle suppose d’abord que les objectifs d’impacts aient été définis d’une façon suffisamment précise (condition de finalisation suffisante) [6], que les données sur l’évolution des phénomènes dont on recherche la modification soient disponibles (condition de disponibilité d’information) et finalement que l’imputation, d’une part, de l’évolution constatée des phénomènes à modifier à l’action publique évaluée soit possible (condition d’imputabilité). Le problème est, pour l’évaluateur, en principe moindre que pour un système de contrôle puisque l’investigationad hoc peut être l’occasion d’un rassemblement exceptionnel de données qui ne pourraient être réitéré de façon régulière et d’études économétriques difficilement renouvelables à brefs intervalles. Il n’en demeure pas moins important et le lecteur d’une évaluation reste souvent sur sa faim en ce qui concerne le chiffrage de l’efficacité d’une politique publique ou même, à défaut, le chiffrage des impacts effectifs de celle-ci.

28Le second élément de différenciation du centrage des systèmes de contrôle de gestion et des évaluations de politiques réside dans la dualité résultat / processus. Un système formel de contrôle de gestion produit un chiffrage de résultats qui doivent être appréciés par rapport à des objectifs, des prévisions ou des résultats d’entités semblables. Le processus par lequel on est arrivé au résultat n’est pas, en règle générale, décortiqué par le système de contrôle, il peut être, cependant, objet d’analyse pour s’expliquer par exemple des écarts trop défavorables entre objectifs et prévisions. L’analyse de processus est, à l’inverse, partie intégrante de la plupart des évaluations de politiques. L’étude de la façon dont la politique a été mise en œuvre par les administrations ou, le cas échéant, les opérateurs publics et privés qui en ont la charge, l’étude de la façon dont les différentes parties prenantes ont réagi, se sont adaptées, ont profité des incitations, réglementations, interdictions… instaurées par la politique, l’analyse du déroulement de la perturbation volontairement créée par la politique, font l’objet de soins attentifs de la part de tous les évaluateurs qui n’assimilent pas l’évaluation de politiques à la seule évaluation de résultats, et ceux-ci sont très nombreux en France. Cette analyse de processus est même le noyau dur de beaucoup d’évaluations dans le cas fréquent où l’évaluation d’impact est jugée trop problématique et où l’évaluateur s’est vu interdire par un cahier des charges restrictif de s’aventurer sur le terrain des recommandations.

La rationalité sous-jacente à l’action

29Dans un système formel de contrôle de gestion, on ne peut contrôler, période après période, que ce que l’on a décidé de mettre sous contrôle. Dans un système conçu en suivant les bonnes pratiques, cela suppose que l’on soit parti des objectifs poursuivis et que l’on ait mis en exergue les leviers déterminants pour assurer l’atteinte de ces objectifs, les facteurs clés de succès ou, pour faire plus moderne, les « inducteurs de performance ». Cette explicitation des relations de cause à effet entre objectifs finals poursuivis et objectifs instrumentaux supposés être déterminants dans l’atteinte de ces objectifs finals est centrale dans la Balanced Scorecard (tableau de bord prospectif) et s’y trouve formalisée par une carte stratégique. Elle est présente, sous des formes plus ou moins proches, dans les méthodes alternatives d’identification des indicateurs dont la présence est souhaitable dans un tableau de bord ou des états de reporting. À défaut, l’information produite périodiquement par le système de contrôle, risque de se révéler peu pertinente, marginale, périphérique par rapport au « cœur de métier » du service ou de l’organisation considérée et le système de contrôle risque, par voie de conséquence, de se trouver rapidement décrédibilisé et marginalisé (Gibert, 2009). Il n’y a rien là qu’une conséquence concrète du fait que le contrôle est au service de la stratégie, que celle –ci est une théorie au sens de suite hypothétique de relations de cause à effet et que l’élaboration d’un système de contrôle est l’occasion privilégiée d’expliciter, d’affermir, de clarifier la stratégie régnante dans l’organisation ainsi que la théorie qui lui est sous-jacente. Dans un système de contrôle, la rationalité est donc, en principe, explicitée a priori, même si dans la réalité du contrôle administratif, ceci n’est pas toujours vérifié.

30En matière d’évaluation de politique, l’exigence n’est pas tout à fait la même. Certes, en principe, une politique publique repose sur une théorie d’action (ou théorie du changement social) ; certes, un des intérêts majeurs de l’évaluation est de permettre la validation ou l’invalidation de cette théorie par l’analyse de la réalité. Mais l’évaluation de politique ne porte pas toujours sur une politique répondant aux canons d’un programme ou d’un dispositif que l’on pourrait caractériser par des objectifs clairs, une théorie d’action bien spécifiée et des moyens qui lui sont, pour une part importante, dédiés. L’évaluation ne porte pas toujours sur un objet aux contours relativement bien cernables et qui lui préexiste. Assez souvent, la politique se définit par un champ d’action possible de l’État ou d’une collectivité territoriale et l’objet évalué rassemble l’ensemble des mesures que l’État ou la collectivité ont édicté dans le champ considéré, parfois à des moments du temps très différents et sans qu’il y ait une théorie d’action commune aux différentes mesures ainsi rassemblées ex post. En d’autres termes, dans ces cas c’est l’évaluation qui crée l’objet évalué [7]. C’est, bien entendu, très ennuyeux pour la validation d’une inexistante théorie d’action d’ensemble, cela dénature quelque peu l’évaluation mais ne la rend pas nécessairement impossible, peu pertinente ou marginale. L’évaluateur peut, en effet, toujours se rabattre sur une analyse de la cohérence (ou de l’incohérence) des mesures rassemblées. Quand la politique évaluée s’apparente davantage au modèle canonique sans en présenter toutes les caractéristiques idéales, parce que certains objectifs ne sont pas très spécifiques, parce que d’autres sont tus… l’évaluateur a, cependant, matière à des développements pertinents sur les effets réellement observés, sur le caractère pervers de certains d’entre eux, sur l’existence d’objectifs latents (tout se passe comme si…). Autrement dit, s’il reste préférable en termes d’apprentissage (cf. infra) d’évaluer une politique canonique qu’une politique floue, l’évaluateur n’a pas besoin à strictement parler d’avoir un objet dont la rationalité est exprimée a priori pour faire une partie très importante de son travail.

31La deuxième façon de différencier contrôle et évaluation en matière de rationalité, tient à la conception implicite de la réalité que l’on peut associer à l’un et à l’autre. Les systèmes formels de contrôle de gestion ont généralement connu leur forme la plus achevée en milieu industriel, là où les processus de production reliant moyens et produits sont les plus stabilisés (où la fonction de production est la mieux établie), et très longtemps, l’archétype du contrôle a été la notion d’écart entre un coût constaté de fabrication d’un produit et le coût standard, c’est-à-dire normal, normatif de celui-ci. L’écart n’est pratiquement jamais neutre, il est favorable ou défavorable. L’écart défavorable est une anomalie : on a consommé trop de moyens parce qu’il y eu trop de déchets, trop de gaspillage, des détournements éventuels… Pour certains contrôleurs de gestion, en forçant quelque peu le trait, on pourrait dire que tout écart est haïssable, même celui qui est favorable parce qu’il traduit le fait que les standards n’étaient pas assez rigoureux, les objectifs pas assez ambitieux… en d’autres termes et même si la littérature moderne de contrôle de gestion a pris de considérables distances avec cette vision des choses, les systèmes formels de contrôles de gestion reposent pour une bonne part sur une conception mécanique ou balistique de la réalité et l’approche qui y domine, en particulier quand le contrôle des coûts et de l’efficience est prépondérant, est une approche technico-économique. Technique parce que ce sont les processus de production formalisés qui déterminent les coûts normaux. Économique parce que le chiffrage des coûts n’est rien d’autre que l’opérationnalisation du concept économique de consommation de ressources et qu’il en est de même d’ailleurs du résultat financier.

32L’évaluation de politique lorsqu’elle part, comme c’est majoritairement le cas, de l’idée qu’une politique est une théorie d’action, qu’elle vise à modifier des comportements de certains acteurs (il convient que les chefs d’entreprise embauchent davantage de jeunes, que les conducteurs conduisent moins vite, que l’activité des différents acteurs économiques émettent moins d’oxyde de carbone…) afin de résoudre les problèmes inscrits à l’agenda des autorités publiques, est fondée sur un présupposé tout autre. La fonction de production n° 2, celle qui fait passer des réalisations (output) aux impacts (outcome) est, en général, tout sauf prédéterminée, stabilisée, bien prédictible parce que les comportements sont résistants, parce que la perturbation déclenchée par la politique peut déclencher des effets non recherchés, contre-intuitifs, parce que ce qui est vrai dans une conjoncture, ne l’est plus dans une autre… Finalement c’est une série d’ajustements en chaîne des différentes parties prenantes qui décidera du succès ou de l’échec d’une politique. On est, par conséquent, dans une vision interactionniste de la réalité. Cette vision interactionniste se manifeste au plus haut point quand pour relativiser l’importance que peuvent avoir les actions volontaristes des autorités publiques dans les évolutions des sociétés, on parle d’action publique à laquelle concourent une pluralité d’acteurs publics mais tout aussi bien une pluralité voire une multitude d’acteurs privés (Duran, 1999). Dès lors l’approche d’analyse de la politique est naturellement fondée sur les sciences sociales susceptibles d’expliquer la nature des comportements et ajustements observés et leur différence avec ceux qu’anticipait la théorie d’action de la politique.

Les formats des deux approches

33Le contrôle de gestion est, généralement, une approche doublement systématique. On veut dire d’abord que, s’agissant du contrôle de gestion mis en place dans une organisation publique, celui-ci vise à donner une représentation de l’ensemble de l’activité de cette organisation, de l’atteinte de ses objectifs, de ses coûts… Bien sûr, le caractère synthétique de certains états du contrôle, tels les tableaux de bord, ne permet pas de rendre compte de tout, mais l’essentiel est mis sous contrôle et aucun secteur, aucun pan d’action n’est en principe volontairement laissé de côté. Ensuite, le côté systématique du contrôle apparaît dans la sortie périodique des états (tableaux de bord, reporting, comptabilité analytique…) qui en constituent la manifestation la plus visible et dans les éventuelles réunions d’exploitation-analyse organisées périodiquement autour de ces états.

34En comparaison, les évaluations de politiques sont, en général, doublement ponctuelles. Privilégiant comme objet une action de changement, elles ne s’intéressent qu’à une partie de l’activité de l’organisation ou des organisations qui en sont les metteurs en œuvre. L’organisation et ses subdivisions ne disparaissent pas mais elles ne sont pas l’entrée de l’investigation et ne sont sujet d’études que pour ce qui concerne la politique examinée [8].

35L’évaluation de politique est également ponctuelle en ce sens qu’elle est, en général, effectuée à un moment donné du temps et non à intervalles réguliers, ce que justifient la lourdeur et le coût de l’investigation qu’elle constitue. Cela, même si des financeurs comme l’Union européenne (au travers des fonds structurels) s’efforcent de promouvoir une pluralité d’évaluation sur un même objet en prônant des évaluations concomitantes, des évaluations à mi-parcours et des évaluations terminales.

Schéma 3

Les deux approches

Contrôle de gestion Évaluation de politique Objets d’études Moyens, activités, réalisations. Résultats. Idem mais aussi impacts. Résultats mais aussi processus. Rationalité sous-jacente à l’action Spécifiée et identifiée a priori : conception mécaniste de la réalité. Prédominance d’une approche technico-économique. Déterminée pour partie chemin faisant, et identifiée pour partie a posteriori : conception interactionniste. Approche sciences sociales forte. Formats de l’approche Investigation doublement systématique. Investigation doublement ponctuelle. Les informations Essentiellement internes, labellisées. Externes, diverses, hétérogènes. Intérêt de l’analyse Rétroaction (effet à court terme) et apprentissage en simple boucle. Apprentissage en simple et double boucle (effet à long terme). L’analyste (contrôleur de gestion ou évaluateur) Interne. Indépendant.

Les deux approches

Les informations

36Dans les systèmes formels de contrôles de gestion, ceux que R. Simons qualifie de « contrôle diagnostic », la plupart des données nécessaires à l’alimentation du système : charges, volumes d’activité, volume de réalisations, délais de traitement… sont internes à l’organisation considérée. Cela ne veut pas dire qu’elles préexistent à la mise en place du système de contrôles, qu’elles sont initialement « disponibles », qu’elles sont appréhendées correctement, on veut dire conformément, par exemple, à ce qui est nécessaire pour répondre aux besoins des indicateurs que l’on désire sortir. Le recueil des informations de base peut donc poser problème mais se fait en respectant des définitions rigoureuses des variables opérationnalisées. À défaut, l’on ne dispose pas du système d’information de gestion nécessaire au système de contrôle. Quant aux informations produites par le système de contrôle, elles sont calibrées, labellisées par les fiches d’indicateurs par exemple.

37En matière d’évaluation de politique, le fait que l’on s’intéresse à la seconde fonction de production fait que les informations souhaitables peuvent relever d’un grand nombre d’acteurs qui, le cas échéant, produisent ces informations pour des finalités qui n’ont rien à voir avec l’évaluation. L’information disponible n’est, en général, pas calibrée pour les besoins de l’évaluation [9], elle est hétérogène, sa signification peut varier à travers le temps… tous problèmes que nombre d’évaluateurs soulignent à l’envie.

Les fonctions de l’outil

38Un système formel de contrôle de gestion produit des informations périodiques qui permettent en principe aux managers concernés de « corriger le tir ». Cette métaphore balistique met l’accent sur les mesures correctives sur lesquelles doivent déboucher les constats d’écarts entre objectifs (au sens d’ambitions quantifiées) et les résultats constatés. Cette fonction du contrôle encore appelée de rétroaction ou feedback, peut se faire sans apprentissage (exemple : on n’a pas assez mis de moyens pour traiter les dossiers dans les délais voulus, mettons-les et le problème sera résolu) ou traduire la mise en œuvre de l’apprentissage à boucle simple qui caractérise le fait de s’attacher aux erreurs commises dans la recherche de l’atteinte de l’objectif sans remettre en cause celui-ci (Argyris, 1977) (ex. : modifions la procédure de traitement des dossiers pour pouvoir respecter le délai de traitement). Le contrôle est classiquement un instrument au service de la stratégie, non de remise en cause de celle-ci. Ce qui ne veut pas dire qu’un autre type de contrôle n’est pas possible, ce type appelé souvent « contrôle stratégique », est dénommé par R. Simons, en raison de la procédure participative qu’il préconise pour sa mise en œuvre, « contrôle interactif ». Ce contrôle vise à s’intéresser à tous les signaux susceptibles d’invalider la pertinence de la stratégie poursuivie par une organisation à un moment donné, à estimer la durabilité de cette stratégie ou son obsolescence et à aider, le cas échéant, à la mise en place d’une stratégie nouvelle. Le type de préoccupation qui est au cœur du contrôle stratégique, met l’accent sur les mécanismes d’apprentissage à double boucle, mécanismes qui aboutissent à la mise en cause des objectifs.

39Des pionniers de l’évaluation de politique ont présenté celle-ci comme un outil d’apprentissage à double boucle en tirant les conséquences du fait que toute politique publique est fondée sur une théorie d’action. La mise en œuvre d’une politique et son évaluation permettent de voir si cette théorie marche ou non et donc de modifier ou de changer la théorie d’action sous-jacente à la politique en mettant en cause les objectifs instrumentaux, voire de souligner le caractère impossible de la politique et de remettre en cause par là même ses objectifs finals [10]. C’est pour cela que dans un modèle idéal type de l’évaluation, on a pu indiquer que les recommandations ayant trait aux amendements à opérer à la théorie d’action aussi bien qu’à la contestation éventuelle de la faisabilité des objectifs devaient figurer au même titre que les recommandations toujours utiles quant à la mise en œuvre ou les litanies (faciles) sur la nécessité d’effectuer des études complémentaires ou d’améliorer les systèmes d’information existants. Cette idée de faire jouer à l’évaluation son rôle de vecteur de l’apprentissage à double boucle, se heurte malheureusement souvent à la faible propension des commanditaires à demander aux évaluateurs ce genre de recommandations, voire à les laisser s’aventurer sur ce terrain.

40Le parallélisme est d’ailleurs assez parlant entre les obstacles existant à l’apprentissage à double boucle dans les organisations et l’apprentissage à double boucle en matière de politique publique. Traitant du premier, Argyris (1977) a signalé, parmi ces obstacles, le fait que des normes organisationnelles prohibent la remise en cause des objectifs et politiques de supérieurs ou encore que les théories d’action que professent les responsables ne sont pas celles qu’ils mettent en œuvre et dont ils sont parfois inconscients. Il a également noté que dès lors que chaque groupe a tendance à celer les informations qui constituent une menace pour lui ou d’autres groupes qui lui sont alliés, le caractère participatif d’une réflexion ouverte à différentes parties prenantes peut renforcer les difficultés de l’apprentissage en double boucle en renforçant les réflexes qui s’opposent à celui-ci. Il en va globalement de même en matière d’évaluation.

41En d’autres termes, les systèmes formels classiques de contrôle de gestion sont orientés essentiellement vers un apprentissage à simple boucle ce qui les différencie du modèle idéal type de l’évaluation de politique qui fait toute sa place à l’apprentissage à double boucle. Cependant toute évaluation concrète de politique ne débouchera pas sur un apprentissage à double boucle ; le protocole d’évaluation, la composition du groupe d’évaluateurs ou de l’instance d’évaluation le favorisent ou au contraire y font obstacle. À l’inverse des systèmes de contrôle interactifs – sous réserve d’un climat favorable : acceptation de la remise en cause des hypothèses en particulier causales, des normes et des objectifs… – peuvent déboucher sur un apprentissage à double boucle. L’opposition entre les deux outils, évaluation et contrôle, est donc loin d’être absolue dans les faits.

Les qualités-clés de l’analyste

42Le contrôleur de gestion est nécessairement interne à l’organisation : chargé de veiller à la sortie d’états périodiques de gestion, il doit pouvoir s’assurer de l’alimentation effective du système en données de base et se trouver à même d’effectuer des relances efficaces auprès des services ou individus retardataires. Chargé d’analyser et de commenter les résultats il doit pouvoir se trouver auprès du patron ou du chef de centre de responsabilité concerné et l’assister dans les réunions d’exploitation des états périodiques… Certes, son rôle réel est souvent éloigné de celui de conseiller de la ligne hiérarchique que recommandent nombre de manuels – souvent parce que son statut organisationnel est trop faible –, ce rôle un peu idéalisé n’en reste pas moins souhaitable dès lors que le contrôleur de gestion est un expert dans l’art de faire parler (correctement) les chiffres.

43L’évaluateur de politique, pour sa part, n’a à être ni interne ni externe mais indépendant pour que l’évaluation ne se transforme pas en exercice de légitimation, ou d’autojustification et puisse déboucher sur les deux types d’apprentissages précités. L’évaluation constitue alors une mémoire qui ne suffit pas à rendre l’appropriation de l’apprentissage effective pour des raisons qui peuvent être multiples : idéologiques, refus de reconnaître ses erreurs, arrivée de nouveaux responsables politiques qui veulent davantage se distinguer de leurs prédécesseurs qu’élaborer et mettre en œuvre des politiques publiques fondées sur les faits (evidence-based)… la référence à la mémoire est l’exception.

44Assurer l’indépendance de l’évaluateur n’est pas chose facile, l’extranéité de l’évaluateur ne l’assure pas si celui-ci est le fournisseur d’un client, le commanditaire, dont il souhaite – humainement – s’assurer la fidélité. Un évaluateur indépendant hors marché (Cour des comptes, organismes relevant du Parlement…) supprime l’éventualité de ce biais mais transforme l’évaluation en instrument de contrôle externe (Gibert, 2003) ce qui n’est pas la meilleure façon de surmonter les obstacles à l’apprentissage. Les dispositifs sophistiqués distinguant, à la suite de feu le Conseil scientifique de l’évaluation, l’instance d’évaluation et les chargés d’évaluation censés préserver l’indépendance de ces derniers, ne font que déplacer le problème vers la réalité du comportement des membres de l’instance et risque fort de favoriser la « logique de représentation des intérêts » dans le travail évaluatif et donc de le dénaturer…