1 Depuis plusieurs années, le normalisateur comptable français (ANC, Autorité des normes comptables), à l’instar du normalisateur international (IASB, International Accounting Standards Board) a initié une démarche enrichissant la réflexion normative (De Cambourg, 2019) en ouvrant les débats aux académiques (Bricard et Boucher 2021). Or, le déploiement de certaines normes (notamment internationales, comme IFRS 16) est conséquent pour les préparateurs de comptes, pour les analystes et autres parties utilisatrices, mais aussi, indirectement, pour l’intérêt public. La question des études d’impact (EI) qui peuvent l’accompagner est alors prépondérante pour cerner leurs enjeux. Pour l’OCDE (1997), l’EI est « une méthode consistant à examiner systématiquement et de manière constante les impacts potentiels sélectionnés découlant de l’action [-] et à communiquer les informations aux décideurs ».

2 Le normalisateur français ne semble pas s’être encore doté de protocoles clairs en la matière alors qu’il est conscient des enjeux, à la fois pour étayer ses choix normatifs, mais aussi pour justifier sa position dans les échanges avec l’IASB. Or, l’ANC doit asseoir sa légitimité professionnelle (Bouquet 2014) par la dimension procédurale de l’EI dans un contexte où celle-ci apparaît comme un élément de la gouvernance de la norme (Lianos et Karliuk, 2014). Ce travail s’inscrit dans un projet de recherche financé par l’ANC sur la méthodologie des EI. L’appel à projets de l’ANC (2020) développe les objectifs suivants : « … faire état des méthodologies permettant d’évaluer les coûts de la mise en œuvre d’une nouvelle règlementation comptable et les gains associés à celle-ci, et… améliorer les modèles d’évaluation existants ».

3 Pour enrichir notre réflexion sur la normalisation comptable, cette étude se veut d’abord exploratoire et envisage différents domaines d’utilisation des EI bien établis (Picavet et Victoria 2023), en raison d’une grande variété soulignée notamment par Loomis et Dziedzic (2018) et Lianos et Fazekas (2014). Ces domaines sont les suivants : la normalisation comptable, les EI juridiques et les évaluations des politiques publiques, et le champ environnemental et social. Cette hétérogénéité est soulevée unanimement par la littérature sans que celle-ci ait dégagé de synthèse car les domaines et contextes d’application des EI sont très contingents. De plus, Stievenart et Pache (2023) considèrent que l’un des obstacles majeurs à la généralisation des pratiques d’EI tient à leur complexité. Nous posons donc la question de recherche suivante : Dans quelle mesure la compréhension de l’hétérogénéité des EI permet-elle d’appréhender leur complexité pour un usage du normalisateur comptable ?

4 Cette recherche mobilise une approche qualitative et des entretiens semi-directifs auprès des différents acteurs d’une EI. Elle s’appuie sur une trame d’analyse structurée autour de différentes dimensions (finalités, parties prenantes, chronologie, ressources, approches ex ante et ex post, méthodologie, usages et limites). Les premiers résultats sont descriptifs. Ils identifient les principaux axes de l’hétérogénéité des EI au regard du contexte dans lequel elles s’inscrivent : conception, usages et ressources. Les seconds résultats sont managériaux et font ressortir les points de vigilance à l’usage du normalisateur comptable par axe d’hétérogénéité. La discussion enfin permet de faire le lien entre les axes d’hétérogénéité et la complexité des EI pour aboutir à la formulation de deux orientations logiques pour le normalisateur comptable.

5 La première partie développe une revue de littérature structurée par domaines et contextualise ainsi les usages et limites de l’EI. La méthodologie est présentée en deuxième partie. La troisième partie est dédiée aux résultats organisés en axes analytiques et ouvre sur une discussion portant sur la complexité de l’EI en dernière partie.

1. L’étude d’impact : définitions, champs d’application et revue de littérature

6 Les EI ont été diffusées et standardisées sur la scène internationale par l’OCDE (1997). L’OCDE (2002a) définit les impacts comme « les effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non » ; l’effet étant, toujours selon l’OCDE (2002b), « un changement escompté ou non, attribuable directement ou indirectement à une action ». Présentées comme des protocoles d’analyse, basées sur des approches rigoureuses et scientifiques ou s’en inspirant, les EI visent à comprendre les incidences d’une décision sur un système (économique, sociologique, écologique, psychologique, etc.). Elles devraient logiquement couvrir la courbe de vie d’une décision et de ses incidences en proposant une représentation fine et aboutie du système affecté par la décision. Les EI présentent donc un contenu vaste traitant des incidences environnementales, économiques et sociales. Elles doivent justifier leur stratégie de consultation et les résultats obtenus (Morel-A-L’huissier et Petit 2018) auprès des parties prenantes concernées.

7 Les EI s’intéressent essentiellement à l’estimation des impacts ex ante (par simulation, consultation) puis aux conséquences ex post (par mesures, enquêtes, etc.). Une EI ex ante vise alors à « éclairer la prise de décision, permet un arbitrage entre les différentes options et fournit des données probantes sur les effets anticipés des décisions possibles » (Marchand et Brunet 2019). Les EI ex post permettent plutôt la mesure de l’efficacité et l’analyse des changements. Démarches prévisionnelles ou confirmatoires, ces études doivent aussi s’inscrire dans un processus d’amélioration critique. Elles permettent ainsi de mettre en évidence les éventuelles faiblesses de la connaissance scientifique du système concerné (écologique, économique et social, inclus dans le périmètre de l’EI). Elles portent enfin sur un objet de recherche qu’il convient de définir, délimiter et contextualiser. Pour cette revue de littérature préalable, le choix a été fait de privilégier les EI issues du domaine normatif comptable, du champ juridique (études nécessaires à l’adoption d’une loi), du management public (les évaluations de politiques publiques majoritairement) et enfin, issues du domaine environnemental et social.

8 Dans le domaine comptable, ce qui se rapproche le plus de l’EI est le due process de l’IASB. Ses étapes sont parties intégrantes du processus normatif par leur caractère consultatif, itératif et par les amendements qui en découlent. Il repose sur un cadre très détaillé (IFRS Foundation 2020) et dispose d’un organe de contrôle, le DPOC (Due Process Oversight Committee). Il mobilise des protocoles de consultation ciblant différents groupes d’acteurs (préparateurs de comptes, analystes, autorité des marchés financiers, utilisateurs divers, associations comptables, etc.). Il couvre des étapes bien identifiées : Discussion Paper, Exposure Draft, Standard implementation puis Post Implementation Review  [1] (PIR). Par exemple, la PIR IFRS 10, 11, 12 [2] constitue une EI ex post en sondant les effets du déploiement de l’application de trois normes sur les utilisateurs des états financiers, les préparateurs de comptes et les auditeurs. L’étude s’appuie sur l’analyse de multiples documents publiés après la publication des normes, sur des appels à commentaires, différentes réunions de consultation, ainsi que l’analyse de la recherche académique sur le sujet. En amont, une Effect Analysis  [3] (étude statistique et technique) décrit les effets attendus des nouveaux textes sur les comptes et l’information. Elle expose des données économiques soulignant l’importance du contexte de la norme. Par exemple, l’Effect Analysis IFRS 16 précise sur 104 pages les effets mesurés de la norme sur les locations dans les comptes de l’échantillon testé. Dans le cas d’IFRS 11, l’Effect Analysis présente l’évolution de l’économie des joint-ventures pour justifier l’utilité et le faible impact de la norme. Le normalisateur intègre éventuellement des études académiques pour cautionner leur argumentaire bien que les impacts normatifs (au sens strict) soient peu traités dans la littérature. Celle-ci présente trois axes. Le premier anticipe les effets mécaniques sur les comptes liés à l’avènement d’une norme, comme Mohr (1988), Alexander et al. (2012), Demerens et al. (2014). Le deuxième repose sur des approches « value-relevance », telles Lantin et al. (2018) ou Pourtier et al. (2023), et aborde une partie des impacts sur les marchés financiers. Le troisième est constitué d’études plus sociologiques axées sur l’analyse de la légitimité (Masatsugu 2020) et notamment sur le rôle et la qualité du due process (Le Manh 2012). L’IASB intègre désormais systématiquement les travaux académiques dans ses étapes de consultation, bien que la représentativité des articles mobilisés puisse paraître discutable dans certains cas [4].

9 Dans le domaine juridique, l’EI permet une évaluation préalable des textes pour en mesurer les conséquences en vertu de critères prédéterminés (Hutier 2015 ; Du Marais et Mennery 2020). Introduite dans les années 1970 en France, exclusivement dans le domaine environnemental (Bétaille 2010 ; Naim-Gesbert 2015 ; Cabrespine 2019), l’EI s’est ensuite élargie à d’autres domaines. Depuis la loi organique de 2009, elle est une étape obligatoire pour tout projet de loi : on parle alors d’EI de loi (Combrade 2018). Si on élargit sa contextualisation au champ du management public, l’EI est appliquée au processus d’élaboration et au contenu des politiques publiques. Il s’agit alors d’évaluer celles-ci en cherchant à intégrer de façon cohérente les multiples impacts d’une intervention gouvernementale. Par exemple, les EI peuvent porter sur les investissements des collectivités territoriales et leur impact sur les dépenses de fonctionnement [5], ou encore sur l’impact des différentes lois (Loi de Finances 2008 « Crédit d’impôt en faveur de la recherche », Loi du 17 août 2015 relative à la transition énergétique pour la croissance verte…) [6].

10 Dans le domaine environnemental et social, les EI ont pour objectif de définir et d’évaluer les risques sociaux et environnementaux d’un projet. Les EI environnementales visent notamment à mesurer les conséquences d’un projet sur les émissions de gaz à effet de serre, la biodiversité, la pollution ou encore sur l’extraction de ressources rares. Elles nécessitent de définir l’état initial du site avant la mise en œuvre d’un projet pour mettre en évidence ses impacts et les limiter (Naim-Gesbert 2015). Par exemple, l’étude de l’ADEME écrite par Aiouch et al. (2022) évalue l’impact environnemental du numérique en France [7]. De leur côté, Broche et al. (2005) définissent l’EI sociale comme « l’action qui consiste à étudier et à anticiper les conséquences sociales, économiques et culturelles potentielles négatives ou positives sur les populations, engendrées par un changement social planifié ou non, résultant d’une politique, d’un plan, d’un programme ou d’un projet ». La mesure d’impact social vise à apporter la preuve de l’utilité́ des actions mises en œuvre et à démontrer les changements provoqués, souvent pour favoriser de nouveaux financements. De plus, les EI sociales analysent les processus à l’œuvre pour améliorer les pratiques opérationnelles.

11 En synthèse, à partir d’une revue de littérature des EI sur les domaines comptable, management public et juridique et enfin le domaine environnemental et social, nous proposons dans le tableau suivant un état de l’art synthétique visant à faire ressortir les points clés des EI sur les enjeux, limites, usages, mais également les débats les plus fréquemment traités dans la littérature.

Tableau 1 : Synthèse de la littérature sur les EI

Tableau 1 : Synthèse de la littérature sur les EI

12 L’ensemble de la littérature mobilisée met en exergue de nombreux points clés récurrents qui ont trait au caractère politique des EI et aux biais qui les accompagnent : un souci de validation des projets plus que d’amélioration, une recherche de légitimité des acteurs, une partialité des conclusions ou un manque de représentativité des parties prenantes qui sont souvent concentrées sur des experts proches du cercle du commanditaire (Pelger et Sipeß 2017 ; Cabrespine 2019) ou déséquilibrées par le poids ou la nature de certains répondants (Burlaud et Colasse 2010). Les études soulignent aussi un point important : les coûts attachés aux projets sont faiblement documentés et souvent abordés de manière qualitative, voire éludés, au profit d’un discours sur les avantages ou gains du projet (notamment dans les études IASB).

13 Cependant, les EI auraient un effet éducatif à deux niveaux : elles responsabilisent les acteurs du projet en les obligeant à en analyser les mécanismes et incidences et, plus globalement, elles contribuent à un mouvement de sensibilisation sociétale qui, à long terme, éduque l’ensemble des parties. Les EI restent pour autant marquées par les difficultés inhérentes à l’appréhension de multiples dimensions et à la profusion des méthodes de mesure qui les accompagnent.

14 Enfin, si cette revue montre une collection de points clés, elle ne nous a pas permis de dégager clairement un schéma structuré permettant de comprendre la complexité des EI dans leur ensemble. Par ailleurs, les études recensées s’échelonnent sur plus de 15 ans alors que dans certains domaines (comptable notamment), la culture des EI va croissante et que le poids des points saillants relevés peut avoir changé. Nous avons donc initié une enquête de terrain par entretiens semi-directifs auprès d’un panel d’acteurs clés couvrant les champs significatifs pour actualiser les enseignements de la revue de littérature et dégager des axes forts de résultats par une analyse de contenu.

2. Méthodologie

15 Pour compléter l’analyse de la littérature des EI (articles et rapports), nous avons mis en place une démarche qualitative à partir de l’analyse d’entretiens réalisés auprès de différents acteurs impliqués dans la réalisation ou l’utilisation des EI.

16 Le guide d’entretien a été construit de manière itérative en utilisant les rubriques issues de la revue de littérature (cf. tableau 1), puis en les développant et en les complétant lors des premiers entretiens. Le guide est alors structuré autour des questions portant sur les points suivants :

17 La collecte de données a été réalisée avec des entretiens semi-directifs auprès d’acteurs spécialistes de la normalisation comptable et de champs d’application bien établis (Picavet et Victoria 2023) : les EI juridiques, les évaluations des politiques publiques et les EI issues du champ environnemental et social.

18 Cette collecte de données (15 entretiens) permet également de prendre en compte les différentes parties prenantes identifiées dans la littérature comme étant les acteurs clés des EI (cf. annexe A) :

20 L’analyse des données est réalisée par un traitement qualitatif via des grilles catégorielles visant à faire ressortir les éléments homogènes et les particularités de chaque contexte et/ou des parties prenantes. L’analyse de contenu au sens de Miles et Huberman (2003) et plus spécifiquement l’analyse thématique (Negura 2006) permettent une reformulation du contenu sous forme condensée et formelle en repérant les idées significatives et en les catégorisant.

21 Les données collectées ont ensuite été triangulées et mises en perspective avec les données issues de la littérature et des rapports d’EI. Enfin, pour donner du sens et dégager des axes de résultats, une analyse des retranscriptions a été mise en place en se concentrant sur trois champs :

23 L’analyse a été travaillée par binômes sur ces trois champs pour identifier d’une part, les points saillants ressortant des entretiens et d’autre part, les regrouper par thèmes. Les résultats ont ensuite été organisés pour faire ressortir l’hétérogénéité des EI autour de trois axes : la conception, les usages et les ressources. Ils sont présentés dans la section suivante.

3. Résultats : mise en évidence de l’hétérogénéité des études d’impact

24 Les résultats issus des entretiens tous champs confondus font émerger trois axes qui sont chacun synthétisés puis transposés au cas du normalisateur sous forme de conseils (cf. les encadrés). Ces trois axes, la conception, les usages et les ressources de l’EI, permettent d’analyser le caractère hétérogène des EI relevé par la littérature en l’illustrant avec les champs d’application sélectionnés.

4. Discussion et conclusion autour de la complexité de l’étude d’impact

54 Notre étude exploratoire confirme une partie des éléments issus de la revue de littérature sur les divergences de définitions, de périmètres, de mesures sociétales, de temporalité et panels d’acteurs. Elle souligne la grande hétérogénéité de conception, d’usages et de ressources tout en mettant en exergue deux choses importantes : elles sont de manière intrinsèque soumises à la variété des contextes, ressources mobilisables, postures et arbitrages des acteurs. Ces éléments contingents expliquent que les EI soient comprises et utilisées de manière très différente par l’ensemble des parties prenantes. De manière inhérente, l’hétérogénéité des EI est donc une source de complexité que les administrateurs des EI doivent appréhender puis manager. Ce terme de complexité renvoie aux travaux du sociologue Edgar Morin. Ce dernier préconise la prise en compte des phénomènes étudiés de façon multidimensionnelle tout en intégrant le système dans lesquels ils s’insèrent. Pour définir la complexité, Morin (1990) précise : « à première vue, c’est un phénomène quantitatif, l’extrême quantité d’interactions et d’interférences entre un très grand nombre d’unités ». En tant qu’objet d’étude complexe, l’analyse des EI nécessite donc d’intégrer les multiples dimensions et les nombreuses interactions entre ces dimensions.

55 En prenant le cas de l’évaluation de l’impact social au sein des entreprises sociales, Stievenart et Pache (2014) soulèvent l’importance de prendre en compte la complexité caractérisée selon quatre dimensions :

57 Dans notre étude, la complexité observée est d’abord systémique en raison des relations entre différents paramètres de l’EI tels que les relations entre effet et impact (l’impact étant un ensemble d’effets) ou encore entre les temps de réalisation possibles (ex ante et ex post voire ex post-post comme développé dans les résultats). De cette complexité découle une grande partie de la complexité computationnelle. En effet, cette dernière comme la complexité systémique est due à la présence de nombreuses parties prenantes dont les rôles peuvent être cumulables (un réalisateur pouvant être un commanditaire ou encore un usager d’une EI comme dans le cas de l’évaluation des politiques publiques) et aux différentes méthodologies mobilisables (quantitatives ou qualitatives).

58 La complexité computationnelle de l’EI se traduisant ainsi par un grand nombre de paramètres et de dimensions à prendre en compte, cela explique que la définition que l’on peut donner aux EI soit protéiforme en raison de la diversité des champs d’application possibles : la validation de la loi pour les EI juridiques ou le calcul des effets arithmétiques pour les comptes pour les EI comptables.

59 La complexité est ensuite épistémique en raison des biais cognitifs propres à chaque individu qui affectent leurs perceptions de l’objet des EI. Ainsi, si certains acteurs ne voient que des effets financiers au déploiement normatif, d’autres ont une capacité à envisager des effets plus larges comme sociétaux ou environnementaux.

60 Enfin, la complexité de l’EI peut être axiologique puisqu’en fonction des parties prenantes, de leurs comportements et de leurs postures (découlant de leur système de valeurs), les usages de l’EI sont très variés : pédagogique pour certains ou uniquement légitimant pour d’autres. Cette complexité axiologique se traduit également par des modes de restitution différents, plus ou moins complets et plus ou moins diffusés en lien avec la valeur accordée à l’EI. Les EI des politiques publiques sont par exemple diffusées uniquement aux commanditaires ou diffusées très largement à l’ensemble des parties prenantes.

61 Finalement, le cumul des rôles et la multiplicité des parties prenantes induisent des représentations différentes de l’outil et génèrent une complexité dans le bon usage et la bonne appropriation des EI.

62 Le tableau ci-après synthétise les éléments de complexité significatifs pour l’EI.

63 Ce tableau, en détaillant les quatre dimensions de la complexité, met en évidence le besoin de la réduire. Pour cela, le normalisateur doit s’interroger sur la quête des impacts au-delà des effets (complexité systémique). Le normalisateur doit ensuite mesurer la faisabilité méthodologique (complexité computationnelle). Il doit de plus saisir la subtilité des interactions et des biais cognitifs entre les parties prenantes multiples (complexité épistémique). Enfin, pour réduire la complexité axiologique, le normalisateur doit s’assurer que les parties prenantes s’accordent sur le ou les usage(s) de l’EI (validation et usage pédagogique par exemple).

64 Finalement, nos résultats soulignent la diversité et la complexité des EI. Pour que les EI soient un outil maîtrisé, le normalisateur doit alors appréhender et réduire cette complexité. Pour cela, il semble pertinent de privilégier une approche ex ante. En effet, la longueur des études ex post et leur calendrier rendent difficiles les actions correctives, comme cela a été souligné, donnant aux EI ex post un rôle principalement confirmatoire ou légitimant [9]. D’autant que l’ANC, en tant que normalisateur public, a moins besoin d’asseoir sa légitimité qu’un normalisateur privé. Pour l’application d’une approche ex ante, deux axes fondamentaux sont possibles : soit réduire la complexité en ramenant l’EI à une étude préalable des effets purement mécaniques et comptables, soit prendre en compte l’appréciation des changements de comportements probables. Cette option permet également de développer le rôle pédagogique de l’EI comme mentionné dans les résultats. Ce rôle pourrait avoir deux dimensions : enrichir au sein de l’ANC les échanges consultatifs préalables et renforcer la position de l’ANC dans les échanges normatifs internationaux. L’EI jouerait alors pleinement son rôle de management de la complexité.

65 Guide de l’évaluation de l’OCDE sur les actions de développement. Paris.

66 Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats. Paris.