Couverture de APRP_021

Article de revue

Expérimenter pour construire l’action publique : méthodes, apports et limites

Pages 9 à 20

Notes

  • [*]
    France Expérimentation est un dispositif interministériel porté par la Direction interministérielle de la Transformation publique (DITP) et la Direction générale des Entreprises (DGE).
  • [1]
    Cet entretien a été animé par Marie Ruault, directrice de la Recherche à l’IGPDE. Il a été enregistré le 6 mars 2024.
  • [2]
    La Direction générale des Entreprises (DGE) est rattachée au ministère de l’Économie, des Finances et de la Souveraineté industrielle et numérique.
  • [3]
    Le prix de la Banque de Suède en sciences économiques en mémoire d’Alfred Nobel a été décerné en 2019 à Abhijit Banerjee, Esther Duflo et Michael Kremer.
  • [4]
    En anglais, evidence signifie « preuve ».

1 Retrouvez cet entretien en vidéo sur le site de la revue

2 www.economie.gouv.fr/igpde-editions-publications/action-publique-recherche-pratiques

De quoi parle-t-on lorsqu’on parle d’expérimentation ?
Jérôme Gautié : Une première acception, assez large, du terme d’expérimentation renverrait à ce que j’appellerais l’« expérimentation sociale ». Rentrent dans ce cadre des initiatives d’acteurs locaux qui ont des idées de changement de la législation ou de nouveaux dispositifs à déployer qui constituent une innovation sociale. Par exemple, dans le domaine de la politique de l’emploi, « Territoires zéro chômeur de longue durée » était l’initiative d’un acteur privé associatif (ATD Quart Monde), et a été expérimentée sur plusieurs territoires avant d’être déployée plus largement. Dans un sens plus restreint, il peut s’agir de l’expérimentation « scientifique » dans le cadre de ce qu’on appelle l’évaluation d’impact. Et là, il s’agit vraiment d’établir scientifiquement si un dispositif marche ou pas, en examinant notamment ses effets. L’étalon-or de ce type d’expérimentation, c’est l’expérimentation contrôlée aléatoire où l’on détermine à la fois un groupe de traitement et un groupe témoin. Le groupe de traitement est celui qui entrera véritablement dans l’expérimentation et qui, notamment, bénéficiera de la mesure que l’on veut tester. Le groupe témoin, identique par ses caractéristiques, ne bénéficiera pas de la mesure. Ce type d’expérimentation se fait dans le domaine économique et social, un peu sur le modèle de ce qui se fait en médecine depuis très longtemps pour tester l’efficacité des médicaments, notamment.
Sébastien Malangeau : Avec France Expérimentation, on se situe dans le premier cas de figure, celui des expérimentations sociales. France Expérimentation est un programme interministériel qui vise à permettre à tout acteur portant un projet innovant, quel que soit son domaine – innovation technologique, organisationnelle, sociale… –, et qui estime que ce projet n’est pas faisable en l’état du droit, de solliciter les pouvoirs publics pour demander à ce que le droit soit adapté afin de permettre le développement de ce projet. Parmi les solutions mobilisables, il y a notamment l’expérimentation. C’est bien une demande du terrain qui est rendue possible par une adaptation du droit à l’initiative des pouvoirs publics. Ce dispositif a été lancé dans une première version en 2016, puis relancé en 2018 avec un nouveau positionnement sous l’autorité du Premier ministre, France Expérimentation étant placée sous l’autorité du délégué interministériel à la transformation publique et animée par une équipe DGE [2] – DITP. Le délégué interministériel est le représentant du Premier ministre, et les décisions sont prises pour le Premier ministre par son cabinet. Les acteurs de terrain sollicitent une adaptation du droit qui peut toucher à des normes réglementaires ou même à des normes législatives, les ministères instruisent les demandes et in fine formulent des recommandations. Au sommet de la pyramide, le cabinet du Premier ministre arbitre les solutions à donner à chacune de ces demandes. Ce dispositif très institutionnel de l’État a l’originalité d’être bottom-up : ce sont vraiment les acteurs de terrain qui font remonter leurs besoins auprès des pouvoirs publics, et non les pouvoirs publics qui préjugent des attentes ou des besoins d’adaptation des innovateurs en France.
Pourquoi l’action publique déploie‑t‑elle ce type d’approche ?
Jérôme Gautié : L’expérimentation que j’ai qualifiée de « scientifique » s’inscrit dans une démarche évaluative et vise à tester de nouveaux dispositifs. Dans la plupart des cas, c’est l’État qui prend l’initiative. La première expérimentation de ce type a eu lieu en France dans les années 2006-2007, lorsqu’il a fallu comparer la performance relative des opérateurs privés de placement et de l’ANPE pour les programmes d’accompagnement renforcé. À l’époque, il y avait un peu de tension entre l’ANPE et l’Unédic, avec l’accusation au moins implicite par l’Unédic de certaines inefficacités de l’ANPE. Le juge de paix, pour ainsi dire, a été une expérimentation où l’on a fait appliquer le même type de dispositif à des opérateurs privés de placement et à l’ANPE. Les résultats étaient comparés à ceux d’un troisième groupe, le groupe témoin de personnes qui bénéficiaient simplement de l’accompagnement « standard » de l’ANPE. Il s’agissait de recueillir des éléments de hard evidence, c’est-à-dire des preuves « solides », dans un processus de décision publique où l’on veut savoir ce qui marche et ce qui ne marche pas.
Sébastien Malangeau : Côté France Expérimentation, le cadre est forcément plus restreint. Il est lié au mandat du dispositif, qui est vraiment de favoriser l’innovation en France, avec aussi une dimension de stimulation de l’économie. Il s’agit de faire émerger des acteurs français innovants qui auraient vocation à devenir des leaders mondiaux. L’idée est vraiment de lever les obstacles juridiques, et l’expérimentation est l’un des outils mobilisables dans le cadre de ce dispositif. Dans le domaine de l’innovation, les pouvoirs publics sont confrontés à la contrainte de trouver le juste équilibre entre la souplesse nécessaire à l’innovation, et la mise en place d’un cadre juridique sécurisant permettant de maîtriser les risques. C’est toujours un exercice délicat quand on est dans une terra incognita… L’expérimentation juridique est là pour tester davantage l’adaptation et la proportionnalité du cadre juridique que l’objet même de l’expérimentation. On veut s’assu rer que le cadre juridique mis en place par les pouvoirs publics sera le plus proportionné et le moins contraignant possible, et cependant suffisamment sécurisant. L’expérimentation a pour objet de tester le futur cadre définitif sur la base des enseignements tirés de la phase expérimentale. On inverse ainsi la logique traditionnelle, descendante, où les pouvoirs publics anticipent des évolutions et les cadrent selon ce qui leur paraît les critères les plus objectifs, par l’entremise des corps intermédiaires qui vont faire remonter ce qu’ils estiment être les besoins des acteurs et de la société. À l’inverse, on adopte ici une logique un peu différente, peut-être plus contemporaine, où ce sont les acteurs de terrain souhaitant très concrètement développer leur projet qui cartographient les obstacles et les font remonter à l’État. Ce dernier se met finalement dans une posture de récepteur, en analysant les demandes et en s’efforçant de trouver des solutions pour adapter le droit aux attentes des innovateurs.
Pourquoi cette idée de disposer d’évaluations basées sur des preuves s’est-elle imposée ?
Jérôme Gautié : Il faut effectivement la resituer, parce que l’histoire est récente en France. J’évoquais les années 2006-2007 comme point de départ de cette expérience. C’est beaucoup plus ancien dans les pays anglo-saxons, notamment aux États-Unis, où la culture de l’évaluation systématique de chaque politique publique, avec des protocoles très formalisés et sur une base scientifique, est très ancrée. Aux États-Unis, il y a eu des expérimentations dès les années 1960, et certaines très importantes au début des années 1970 dans le domaine des politiques de l’emploi et des politiques sociales. Pourquoi les États-Unis ? Parce que c’est un pays où les clivages politiques sont très forts dans certains domaines, notamment pour tout ce qui touche au travail et aux politiques sociales. Le recours à l’expertise scientifique permet parfois de trancher ces débats qui ont des contenus idéologiques très forts. Un sociologue américain, Harold Wilensky, avait établi ce paradoxe : les États-Unis sont à la fois les moins généreux en termes de politique de l’emploi et de politique sociale, mais c’est le pays où l’on évalue le plus ces dispositifs. À l’opposé, à l’époque, dans des pays comme la Suède, on dépensait beaucoup pour des politiques sociales et des politiques de l’emploi, mais on évaluait assez peu. Pourquoi ? Parce qu’en Suède, ces politiques étaient relativement consensuelles dans un spectre politique assez large, alors qu’aux États-Unis, la moindre mesure de politique sociale ou de politique de l’emploi, ou du marché du travail (comme le salaire minimum), est en soi beaucoup plus conflictuelle. En France, on a importé ces méthodes, parce qu’elles se sont beaucoup développées aux États-Unis. C’est devenu un peu aussi à la mode dans le champ académique. Esther Duflo, une économiste française qui a obtenu le prix Nobel [3], a notamment porté ces méthodes au plus haut niveau scientifique avec d’autres. Dans le cadre de la modernisation de l’action publique et du fait d’une volonté de légitimer davantage l’action publique, l’idée d’importer cette culture de l’évaluation et ces techniques, qui font l’objet d’un consensus assez fort parmi les économistes, s’est peu à peu imposée.
Quelles sont les attentes poursuivies par les décideurs publics à travers la démarche expérimentale ?
Jérôme Gautié : Je pense que les attentes des uns et des autres peuvent différer, mais il me semble important d’embarquer tous les acteurs susceptibles d’intervenir dans le processus dont on parle. Pour la Garantie jeunes comme pour beaucoup de mesures mises en œuvre et expérimentées dans le domaine des politiques de l’emploi, un conseil scientifique est mis en place. C’est plutôt lui qui formule auprès des décideurs publics la préconisation issue de l’expérience mise en œuvre. Ce conseil scientifique comprend évidemment des membres de la communauté « scientifique » (économistes, sociologues…), mais aussi des membres de toutes les administrations potentiellement concernées, et plus largement de l’ensemble des parties prenantes. Par exemple, dans le cas de la Garantie jeunes, étaient représentées non seulement les administrations du travail, de l’emploi, mais aussi notamment la direction de la cohésion sociale, les différentes administrations de la jeunesse, sans oublier les bénéficiaires, par la voix d’associations de jeunes. Il y avait enfin des représentants des missions locales – qui mettaient en œuvre la mesure. Quand on recourt à l’expérimentation, il me semble essentiel de dire comment on la conçoit et comment on l’utilise. Je crois qu’il ne faut pas tomber dans une vision trop scientiste de l’expérimentation, même quand on parle de l’expérimentation scientifique/ évaluation d’impact. Parfois, certains collègues ont un peu cette vision : « La science a dit que… », et c’est une espèce de « vérité révélée », fondée sur des faits objectifs et des preuves solides, qui doit s’impo ser sans débat à tous les acteurs et qui doit dicter la prise de décision publique. Ce n’est pas si simple que cela, parce que l’expérimentation elle-même peut être plus ou moins « solide » d’un point de vue méthodologique (ce qui renvoie à sa « validité interne »), mais surtout, elle peut ne valoir que dans le contexte – temporel et spatial – dans lequel elle a été déployée, ce qui pose la question de sa « validité externe » : on n’est pas sûr que ses résultats seront valables dans un autre contexte. Avant d’être trop assertif, il faut avoir beaucoup d’éléments de « preuves ». Par exemple, pour la Garantie jeunes, d’autres évaluations ont été menées par la suite qui ont plutôt confirmé les résultats de la première expérimentation. Dans l’histoire des politiques publiques, notamment aux États-Unis, on a des exemples célèbres d’évaluations scientifiques qui avaient donné des avis très tranchés sur certains dispositifs qui, par la suite, ont été contredits par de nouvelles études, avec de nouvelles méthodes et de nouvelles données. Cela incite à beaucoup de modestie. Un des exemples les plus célèbres concerne le cas du salaire minimum aux États-Unis. Jusqu’au début des années 1980, il y avait un très fort consensus selon lequel le salaire minimum détruisait des emplois. Les sondages montraient que plus de 90 % des économistes étaient persuadés que le salaire minimum était une mauvaise chose. Des chercheurs sont arrivés avec de nouvelles méthodes, de nouvelles données, etc., et ils ont renversé la table en montrant que non, finalement, cela n’avait pas d’effets si négatifs. David Card a été récompensé il y a quelques années par le prix Nobel pour ces travaux-là. Un autre exemple très célèbre, ce sont les travaux sur la peine de mort aux États-Unis. Quand la Cour suprême a changé sa doctrine concernant la peine de mort au début des années 1970 pour réautoriser la peine de mort au niveau des États, elle s’est appuyée notamment sur une étude économétrique qui aujourd’hui est considérée comme très fragile d’un point de vue méthodologique. C’est un exemple extrême, mais qui souligne la responsabilité énorme qu’ont les scientifiques et qui devrait les rendre d’autant plus humbles. Il faut avoir cette modestie pour relativiser l’usage de l’expérimentation scientifique. Une évaluation donne lieu à un avis, une « évidence » parmi d’autres [4], qui doit être confrontée à d’autres évidences, à d’autres éclairages. Finalement, la décision politique est un peu comme la décision du juge : c’est à partir de faisceaux d’indices que l’on décide de l’opportunité ou pas. Parfois, on peut ne pas aller dans le sens de l’évaluation scientifique pour toutes sortes de raisons : les raisons politiques, les pressions de lobbies, ou la crainte de l’impopularité… ou parce qu’on estime qu’il y a d’autres considérations à prendre en compte, ou que les éléments de preuve ne sont pas suffisamment probants pour que la décision publique aille dans le sens que préconiseraient les économistes.
Sébastien Malangeau : Sur les expérimentations juridiques, une des motivations que l’on peut relever, c’est peut-être une évolution due au contexte international, à ce qui a pu se passer avec la mondialisation qui s’est intensifiée dans les années 2000-2010, et puis aujourd’hui, je pense avec l’émergence d’acteurs vraiment mondiaux. La confrontation entre innovation et régulation par les pouvoirs publics existe de tout temps. Jusqu’à récemment, les acteurs économiques étaient, en termes de puissance, sérieusement inférieurs aux États. La question était alors de savoir si les pouvoirs publics pouvaient adapter le droit au rythme des innovateurs. S’ils ne le faisaient pas, cela bridait l’innovation. Désormais, certains acteurs ont la force économique pour tenter d’imposer leurs solutions partout dans le monde sans tenir compte du cadre juridique en place. Dans ce contexte, l’expérimentation est particulièrement pertinente car elle permet de tester des cadres qui ne sont pas forcément définitifs. Dès lors, la prise de décision et la conception du cadre peuvent se faire plus rapidement que si l’on attend d’avoir validé toutes les hypothèses. Un exemple me semble assez parlant dans notre domaine, c’est celui d’Uber. Quand Uber arrive en France, son activité est illégale. Pourtant, sa force de frappe fait qu’il arrive en disant : « Je vais concurrencer les taxis. Mon activité est nouvelle et je ne me préoccupe pas de savoir si elle est légale. » Uber est tellement fort que, in fine, les pouvoirs publics se retrouvent à négocier, probablement dans une position d’infériorité relative avec un très gros acteur, un nouveau cadre. Dans ce type de scénario, la question qui peut se poser, c’est : même si l’on n’a pas de certitude sur le cadre à déployer, ne vaut-il pas mieux anticiper avec des acteurs un cadre intermédiaire coconstruit, mais sur lequel les pouvoirs publics peuvent garder la main, plutôt que de dire « Non, on ne change pas le cadre tant qu’on n’a pas une vision parfaitement claire » ? Et peut-être alors que demain, le marché aura déjà décidé pour les pouvoirs publics. C’est la même chose pour Booking et AirBnb : on le voit, ces acteurs ont émergé sur des absences de réglementation. L’expérimentation, en tout cas dans le domaine juridique, revient aussi à assumer, dans une posture d’humilité, que l’on peut tester des propositions sans les avoir validées totalement, pour s’assurer que l’on suit le rythme susceptible de nous être imposé par des acteurs externes. C’est enfin un très gros enjeu d’acceptabilité. L’expérimentation ouvre en effet la palette des solutions à la disposition des pouvoirs publics pour renforcer l’acceptabilité, puisque la décision, qui n’est pas présentée comme définitive, sera véritablement objectivée. C’est au fond toutefois un peu théorique, parce qu’aucune décision des pouvoirs publics n’est irréversible, mais cela inscrit, je pense, la mesure testée dans une perspective d’évaluation et d’ajustement en fonction des retours du terrain.
Pourriez-vous décrire la fabrique d’une expérimentation à but évaluatif ?
Jérôme Gautié : Dans le domaine des politiques de l’emploi, je reprendrai ici l’exemple emblématique de la Garantie jeunes qui a été la mesure phare des dix dernières années en faveur des jeunes les plus vulnérables sur le marché du travail. Elle a de surcroît fait l’objet d’un lourd protocole d’évaluation qui s’est étalé sur cinq ans à partir de 2013. Ce qui est également intéressant avec la Garantie jeunes, c’était qu’elle avait ces deux dimensions : à la fois une expérimentation institutionnelle et une expérimentation au sens plus scientifique du terme, d’évaluation d’impact. Sur le plan institutionnel, l’objectif n’était pas seulement d’avoir un nouveau dispositif d’accompagnement des jeunes et de voir dans quelle mesure il marchait ou ne marchait pas, ou était plus efficace qu’un autre, mais c’était aussi de changer les pratiques des opérateurs publics qui mettaient en œuvre ce dispositif, à savoir les missions locales. C’est-à-dire que ce dispositif avait pour ambition de faire opérer des changements de pratiques institutionnelles chez certains opérateurs. En quoi consistait-il ? Les grands principes de la Garantie jeunes, c’était d’abord de s’adresser à un public particulièrement vulnérable qu’on appelle les Neet (pour Not in education, employment or training : « Ni en formation, ni employé, ni stagiaire ») – c’était la première fois qu’on utilisait ce concept comme catégorie administrative de ciblage de la politique publique. Le dispositif reposait aussi sur différents principes assez novateurs en termes d’accompagnement : d’une part, articuler accompagnement collectif et accompagnement individuel, mais un accompagnement collectif en cohorte. C’était très original. Ce n’est pas seulement le fait que le jeune participait à des ateliers collectifs classiques dans les missions locales ou à Pôle emploi, mais qu’il y entrait par cohorte de 15 à 20 jeunes, tous suivis pendant un an avec des ateliers collectifs pour créer un esprit d’équipe. D’autre part, cet accompagnement renforcé reposait sur le principe du work first, qui remettait en cause le processus séquentiel classique de l’accompagnement : on commence par faire le diagnostic du jeune et de ses difficultés, en déterminant les freins d’accès à l’emploi, on essaye de traiter ces difficultés (et notamment d’élaborer un projet professionnel), et ensuite on accompagne vers l’emploi. Dans la nouvelle conception, on adopte un processus itératif : le projet et le diagnostic se construisent en itérant des phases en expérience de travail, avec le soutien de la mission locale d’accompagnement. Dès qu’on pouvait mettre le jeune en expérience de travail, on le faisait sous des statuts juridiques différents. Et le jeune, fort de cette expérience, revenait à la mission locale pour un débrief. C’est à partir de là qu’on voyait à la fois ses lacunes en termes de compétences, mais aussi son projet professionnel qui s’élaborait. Un autre pilier était l’« intermédiation active », c’est-à-dire que l’agent qui suivait ce jeune était supposé le faire non seulement dans les phases d’accompagnement à la mission locale, mais aussi en emploi pour capitaliser son expérience et faciliter l’accompagnement par l’employeur, en préparant l’employeur à l’accueil de ce type de public qui, parfois, pouvait être désocialisé ou particulièrement fragile. Enfin, le quatrième pilier était une allocation à peu près du montant du RSA, pour donner au jeune sa capacité d’agir, et conçue comme un soutien à sa recherche d’emploi plutôt que comme une aide sociale. Côté expérimentation scientifique, on a choisi un certain nombre de territoires où a été appliquée cette mesure et on a pris des territoires témoins où l’on a regardé la même population. Ont ainsi été comparés les jeunes bénéficiaires dans les territoires de traitement et les populations équivalentes dans les territoires témoins qui ne bénéficiaient pas encore de la mesure, mais qui auraient été éligibles à cette mesure. On a regardé ce qui se passait au bout d’un certain nombre de mois, avec des interrogations à 6 mois, à 12 mois, à 18 mois. Et on s’est aperçu, en comparant le groupe de traitement et le groupe témoin, que ce type d’accompagnement avait eu un effet positif sur le taux de retour à l’emploi des jeunes bénéficiaires de la Garantie jeunes. Cette évaluation quantitative à partir de critères classiques comme le taux d’emploi, la vitesse du retour à l’emploi, etc., a été complétée par des indicateurs sur le bien-être des jeunes sur un plan plus qualitatif.
Quels étaient les acteurs impliqués pour l’évaluation de la Garantie Jeunes ?
Jérôme Gautié : À la différence des expérimentations juridiques qui partent des acteurs locaux, les innovations sociales sont impulsées par l’État lui-même, même si la volonté naît des retours du terrain. En l’occurrence, l’initiative partait de la Direction générale de l’emploi et de la formation professionnelle (DGEFP). C’est donc l’État qui souhaite innover, sous forme d’expérimentation institutionnelle. Mais l’État, c’est beaucoup d’acteurs autour de la table. De là, la mesure est un peu une mesure « kit ». Elle n’est pas définie de façon parfaite au niveau central pour s’appliquer de façon uniforme sur le terrain. C’est plutôt un ensemble d’outils mis à disposition des acteurs locaux chargés de mettre en œuvre la mesure. Évidemment, il y a la mission locale qui, très concrètement, est en charge, mais il y avait aussi des commissions au niveau local animées la plupart du temps par le préfet ou, à l’époque, par la Direction régionale du travail, de la formation professionnelle et de l’emploi ou sa branche départementale. Ces commissions réunissaient tous les acteurs étatiques et associatifs qui pouvaient être en contact avec des jeunes potentiellement bénéficiaires et qui devaient à la fois les orienter vers la mesure, les sélectionner et aussi faire un peu de suivi, parce que le jeune pouvait être « renvoyé » s’il ne suivait pas un peu le protocole et, notamment, s’il ne respectait pas le contrat d’engagement qu’il signait en entrant dans la mesure. Beaucoup d’acteurs étaient mobilisés. Et évidemment, le dispositif que l’on peut qualifier de « Garantie jeunes », comme sa mise en œuvre, étaient en fait différents d’un territoire à l’autre. Tout dépendait de la façon dont les acteurs locaux s’étaient emparés d’un cadre commun, d’une boîte à outils commune, outillée par la DGEFP. On a ainsi constaté des différences assez importantes de mise en œuvre par les acteurs locaux. Le cadrage de la DGEFP spécifiait qu’il devait y avoir une phase d’accompagnement collectif, une phase d’accompagnement individuel. Les phases d’accompagnement collectif étaient mises en œuvre de façon différente. Dans certaines missions locales, c’était six ou huit semaines d’affilée et ensuite, seulement de l’accompagnement individuel. Dans d’autres missions locales, on alternait accompagnement collectif et accompagnement individuel. Les ateliers n’étaient pas les mêmes… Il y avait une marge de manœuvre des acteurs, et là, on rejoint tout à fait l’aspect d’innovation sociale institutionnelle. C’était aussi aux acteurs locaux de construire eux-mêmes le dispositif. L’intérêt pour le décideur public, ce n’est pas seulement de savoir si le dispositif marche ou ne marche pas, mais de voir où il marche mieux ou moins bien, et d’essayer de comprendre pourquoi. Cela élargit aussi le spectre des questions.
Comment se déploie la démarche du côté de France expérimentation ?
Sébastien Malangeau : Je pense que dans toute expérimentation, il y a une dimension plus ou moins prononcée de co-construction. L’idée, c’est bien de ne pas avoir une réponse binaire. Plus globalement, dans l’innovation sociale, c’est le process qui enrichit la version définitive si elle est appelée à s’appliquer. France Expérimentation, c’est un dispositif de l’État, mais qui n’a pas le monopole de l’expérimentation. Les ministères, les pouvoirs publics peuvent tout à fait décider de mettre en place des expérimentations sociales. Nous sommes là comme une boîte à outils, pour collecter les demandes des acteurs, avec cet état d’esprit que l’État par essence ne peut pas préjuger des innovations de demain, qui plus est de toutes natures : des évolutions sociétales peuvent entraîner des demandes d’adaptation en matière sociale, de nouveaux types de cohabitation dans le logement social peuvent nécessiter d’adapter les critères… Cela peut être une innovation sociale, une innovation technique ou une innovation organisationnelle. On traite bien de dérogation juridique, c’est notre mandat, donc il faut vraiment qu’a priori, le projet soit bloqué par le droit. Nous avons un réseau de correspondants dans l’ensemble des ministères. Dès lors qu’un acteur innovant, quel qu’il soit – entreprise, particulier, collectivité territoriale, association… –, nous fait valoir que son projet innovant n’est pas, selon lui, faisable en l’état du droit, nous (c’est-à-dire l’équipe France Expérimentation) réceptionnons ce projet et nous sollicitons tous les ministères intéressés par la thématique ; pas seulement le ou les ministères qui ont la main sur le blocage juridique allégué, mais aussi tous les ministères intéressés. En guise d’illustration, on a eu récemment une expérimentation, qui est toujours en cours, à l’initiative du groupe Novo Nordisk, le leader mondial du traitement du diabète. Cette entreprise faisait valoir qu’en France, à l’heure actuelle, le recyclage de la partie plastique des stylos à insuline était impossible, parce qu’à une époque plus lointaine et après un certain nombre de scandales ou de difficultés sanitaires, tous les dispositifs médicaux devaient être incinérés. Cet acteur est venu nous voir et nous a dit : « Moi, j’ai une méthode innovante pour recycler ces produits qui sont incinérés. C’est bon économiquement mais c’est surtout bon pour la société et pour l’environnement. Voilà le protocole que je peux mettre en place. J’aimerais que vous m’autorisiez à le tester. » C’est une proposition qui est faite. Nous saisissons donc les ministères concernés : les ministères de la Santé, de la Transition écologique, de l’Économie, pour que chacun puisse donner un avis en droit et aussi en opportunité. L’analyse en droit peut avoir une série de conséquences. La première conséquence possible, qui n’est pas négligeable dans le cadre de France Expérimentation, c’est que les ministères reviennent vers les acteurs en disant : « En réalité, votre projet est faisable dans l’état du droit. Tel que vous nous le décrivez, on peut vous sécuriser en vous indiquant quelles sont les dispositions de la réglementation actuelle qui vous permettent le développement de votre projet. » Si le blocage juridique est confirmé, chaque ministère va se prononcer en opportunité. Faut-il donner suite à la demande ? Éventuellement non, pour quelle raison ? Et si cela a du sens, quels seraient les scénarios envisageables ? Répondre exactement à la demande du porteur ? Faire une contre-proposition et dire : « Cette thématique nous intéresse, mais peut-être pas exactement à l’identique de vos propositions » ? Ou bien suggérer que le droit soit directement et définitivement modifié ? Si on est déjà parfaitement certains du résultat, alors que tous les acteurs en sont convaincus, ne faisons pas une expérimentation. Les ministères formalisent leurs avis et ces avis, ainsi que celui de l’équipe France Expérimentation, sont ensuite soumis au cabinet du Premier ministre qui va prendre la décision sur la suite à donner. L’expérimentation est une des voies de sortie. Si on modifie le cadre juridique de manière définitive, cela se fait de manière tout à fait traditionnelle. Si l’on va dans la voie de l’expérimentation, il y a deux processus en parallèle. Le premier, c’est la modification du texte bloquant, selon les procédures classiques, ce qui n’est pas sans limite en termes de temps. Par exemple, s’il faut un décret modificatif en Conseil d’État, s’il faut un article de loi qui modifie l’article de loi bloquant, cela peut être long et assez complexe. En parallèle est défini le protocole expérimental. L’idée est bien de le coconstruire, évidemment avec l’acteur à l’origine de la demande, mais pas exclusivement, puisque les pouvoirs publics se placent dans une perspective globale. Il y a une proposition de départ, mais si d’autres acteurs arrivent ou si l’État estime que le protocole devrait être adapté, à l’issue de cette discussion, un protocole expérimental est formalisé, qui va permettre d’assurer le bon suivi de l’expérimentation et d’en tirer des enseignements. Quant à la durée, c’est un élément important. Les expérimentations juridiques, en général, durent de 3 à 5 ans. Moins de 3 ans, compte tenu de la lenteur du processus, et pour faire des collectes, c’est un peu court. Plus de 5 ans, c’est plus complexe pour le juge, car le « temporaire qui dure » est un peu difficile à justifier. On estime qu’au-delà de 5 ans, si vraiment on veut tester quelque chose, on peut modifier la norme directement. Dans la sphère publique, il n’y a pas un domaine qui ne voit pas une nouvelle loi arriver tous les 2-3 ans. Donc si on allait au-delà de 5 ans d’expérimentation, autant passer par la voie de la modification directe et éventuellement de sa rectification.
Quels sont les critères et les modalités de généralisation d’une expérimentation ?
Jérôme Gautié : Je reprends l’exemple de la Garantie jeunes. On voit que ça marche plus ou moins bien selon les endroits, mais on voit qu’en moyenne, ça marche. La question de la généralisation était aussi posée par les pouvoirs publics, qui ont d’ailleurs généralisé la mesure. On pourrait penser qu’une fois que les scientifiques ont parlé, la généralisation est automatique, et que si ça marche, on généralise, alors que si ça ne marche pas, on abandonne. C’est la logique du « stop ou encore », mais c’est en fait un peu plus compliqué que cela. Pourquoi ? Parce que même d’un point de vue scientifique, le problème qui se pose dans les évaluations avec expérimentations aléatoires qui sont les mieux faites, c’est le problème évoqué plus haut de ce qu’on appelle la validité externe. C’est-à-dire qu’après avoir testé la mesure dans un certain nombre de missions locales, sur un certain nombre de territoires, on a un résultat que l’on pense solide, parce qu’on a bien respecté un protocole : c’est ce qu’on appelle la validité interne. En revanche, qu’est-ce qui se passerait si on changeait d’échelle, et notamment si on généralisait ? Deux problèmes se posent alors. Premièrement, les résultats qu’on a obtenus sont peut-être en partie à relier au contexte particulier des territoires sur lesquels on a déployé ces expérimentations, et/ou des spécificités des missions locales qui sont intervenues, etc. Et ça, c’est vraiment une différence entre les expérimentations dites scientifiques dans le domaine économique et social et dans le domaine de la médecine, par exemple. Quand un médicament est testé dans le cadre d’un protocole, avec un groupe témoin qui a un placebo, mais qui ne le sait pas, et un groupe de traitement qui a le vrai médicament, si les échantillons sont représentatifs de la population totale, si ça marche pour 5 000 personnes, il n’y a aucune raison que ça ne marche pas pour 60 millions de personnes. Dans le domaine économique et social, c’est différent. Il y a des spécificités des missions locales, des territoires, etc. Et la représentativité du contexte est beaucoup plus compliquée à établir, les expérimentateurs aléatoires en ont bien conscience. C’est quelque chose qui fait encore débat. Une des réponses consiste à dire : « Il faut multiplier les expérimentations dans le temps et dans l’espace. » Le contexte, ce n’est pas seulement le contexte géographique, cela peut être aussi un contexte conjoncturel. On voit toujours dans le domaine des politiques de l’emploi qu’une même mesure peut ne pas avoir les mêmes effets en bonne conjoncture du marché du travail et en mauvaise conjoncture du marché du travail – et pas seulement en termes d’ampleur de l’effet, mais parfois même dans le sens de l’effet. On peut très bien imaginer que ça joue positivement dans certains contextes conjoncturels et négativement dans d’autres. Ce n’est pas impossible, et c’est un premier problème. Un deuxième problème est lié plus directement au changement d’échelle lors de la généralisation. Quand vous faites une expérimentation, vous travaillez sur des groupes de bénéficiaires de taille limitée. Le principe, c’est que le traitement que vous imposez à certains bénéficiaires ne doit en aucun cas affecter la situation et la trajectoire des membres du groupe témoin. Sinon, cela fausse la comparaison, puisque le groupe témoin constitue ce qu’on appelle le contrefactuel (« Que se serait-il passé si la mesure n’avait pas été déployée ? » : le groupe témoin est là pour ça). Or, souvent, dans le cadre des politiques de l’emploi, on n’est pas trop sûrs. Le fait, sur un territoire donné, d’avoir accru l’employabilité de certains jeunes ne se fait-il pas au détriment des jeunes exactement identiques, par leurs caractéristiques, mais qui n’ont pas pu bénéficier de la mesure et qui peut-être étaient dans votre groupe témoin ? Du coup, si l’effet est en partie dû à cet effet d’éviction, quand vous généralisez la mesure à tout le monde, ce « + » que vous aviez constaté va par définition disparaître. C’est un risque que l’on peut avoir pour certaines mesures, dont il faut bien avoir conscience : au fur et à mesure que l’échelle progresse, un rendement décroissant de votre mesure par rapport à des effets que vous aviez mesurés à échelle plus petite.
Sébastien Malangeau : Pour ce qui nous concerne, il est délicat d’apporter une réponse très précise. Selon la définition que le Conseil d’État avait donnée lors d’une étude sur les expérimentations mises en œuvre par les pouvoirs publics, l’expérimentation permettait de tester temporairement un dispositif et sur la base d’un cadre rigoureux, d’en faire une évaluation pour éclairer les pouvoirs publics. Dans le cas d’espèce, « éclairer les pouvoirs publics » est probablement le terme le plus important. Dans le cadre de France Expérimentation, c’est in fine le Premier ministre, par l’intermédiaire de son cabinet, qui prend la décision. Sa décision ne peut pas être contrainte. Donc tous les éléments de contexte peuvent participer de la décision : le contexte budgétaire, économique, les sensibilités politiques, voire corporatistes, ou les sensibilités locales… D’expérience, l’expérimentation porte finalement moins sur l’objet même (« Est-ce que c’est une bonne idée de permettre ce nouveau service, cette nouvelle activité ou ce nouveau produit en France ? »), que sur la modalité d’encadrement. Comme le process d’adaptation juridique est très long, si le cabinet du Premier ministre donne le feu vert pour lancer une adaptation juridique, c’est parce qu’on estime collectivement – même si parfois ce présupposé n’est pas totalement perçu par les administrations – qu’à terme cette faculté pourra être généralisée. La question devient plutôt : comment la généraliser de la manière la plus adaptée, c’est-à-dire la moins contraignante pour les acteurs, mais suffisamment efficace pour les pouvoirs publics et les superviseurs ? C’est un peu du bêta-test de la norme : on teste un encadrement et, sur la base des échanges de terrain, on voit si le curseur a été mis trop fortement ou insuffisamment du côté de la maîtrise des risques. Il s’agit d’objectiver que pendant 2-3 ans, il n’y a pas eu d’incidents ou que, sur la base des incidents relevés, s’ils sont mineurs, on a tiré les ajustements ad hoc pour avoir une version définitive qui corresponde pleinement aux attentes de l’ensemble des acteurs. Et d’éviter un des effets que l’on entend souvent, qui peut être réel ou partiellement fantasmé, à savoir que les pouvoirs publics ont encore produit une norme qui n’est pas adaptée au terrain. Il serait complexe de donner une ligne de séparation. Une généralisation serait impossible, par exemple, si le cadre juridique temporaire s’était avéré totalement inopérant et si les pouvoirs publics avaient estimé qu’il n’y a pas d’alternative pour encadrer une activité. Ce qui, dit comme cela, paraît plutôt improbable. Il s’agit bien plus d’affiner le cadre définitif que de décider si on généralise ou si on met fin à une mesure. Cependant, sur le principe, rien n’est exclu. Avec France Expérimentation, on a eu une cinquantaine de projets en expérimentation. On n’a pas véritablement eu d’exemple d’expérimentation qui ait conduit à un arrêt du dispositif. Finalement, on a généralisé, mais pas toujours sur les conditions initiales.
L’action publique a-t-elle raison, selon vous, de s’inscrire dans ce type de démarche ?
Jérôme Gautié : Oui, si elle ne s’inscrit pas dans une démarche qui reste trop technocratique. Je reprends le fil des expérimentations scientifiques. C’est vrai qu’il faut sortir d’une conception un peu trop simpliste où un État central prend des mesures qui vont s’imposer telles quelles aux acteurs qui les mettent en œuvre – Pôle emploi, les missions locales, par exemple, dans le domaine des politiques de l’emploi –, avec d’un autre côté l’expert (économique, surtout), qui fait ce type d’évaluation, qui vient mesurer ce qui se passe et qui dit « ça marche », « ça ne marche pas », ou « ça marche plus ou moins bien », etc. Et puis, on prend automatiquement la décision du « stop » ou « encore ». Je crois qu’au contraire, et dans le prolongement de ce qui a été dit, l’expérimentation scientifique entre dans un cadre plus large qui est de contribuer à établir un diagnostic partagé. C’est un terme qui était utilisé à l’époque du Commissariat général au plan, lorsqu’on mettait les acteurs autour de la table et que l’on essayait d’avoir un diagnostic partagé à travers un certain nombre de données, d’expertises, qui ne viennent pas seulement de la sphère académique, mais aussi des acteurs de terrain… Et la question était : « Que faut-il faire dans tel domaine ? » On est revenu à cette volonté d’établir un « diagnostic partagé » avec des institutions comme le Conseil d’orientation des retraites (COR), le Conseil d’orientation pour l’Emploi (COE), etc. Et, dans le cadre de l’évaluation plus spécifiquement, avec la mise en place des Conseils scientifiques que j’évoquais plus haut. Et je crois qu’effectivement, cette culture de l’expérimentation, c’est une façon de mettre tous les acteurs autour de la table, et de le faire avec un outil légitime. On regarde ensemble ce qui se passe, on discute. On implique l’ensemble des acteurs dans toute la chaîne. Il ne s’agit pas d’être simplement « réactif », en recueillant le retour des acteurs une fois la mesure déployée. Il s’agit d’associer les acteurs dès le départ : mettons en place un protocole d’expérimentation, entendons-nous sur ce protocole et déjà, commençons à discuter à partir de ce protocole. C’est la grande vertu de ce processus d’expérimentation.
Sébastien Malangeau : Je partage totalement cet avis. Il est vrai que dans une période où l’on parle beaucoup de délégitimation de l’action publique, c’est un des process essentiels de co-construction, de concertation. Je suis très sensible à la notion de diagnostic partagé qui résume bien la situation. Déjà, partageons un constat, et construisons ensemble des pistes pour avancer sans préjuger de ce que sera le résultat dans sa totalité, en partant de l’idée que ces itérations vont vraiment, dans le cas de France Expérimentation, améliorer la norme. De manière plus générale, elles permettront de trouver les solutions les plus adaptées. C’est vraiment la manière vertueuse de mener une expérimentation. Cela correspond aux tendances actuelles et il est au fond assez logique qu’elles se développent. Ce qui serait peut-être un peu moins vertueux, c’est l’expérimentation qui s’apparenterait à de la temporisation. Si une décision est évidente, mais difficile à prendre, et si l’on se dit qu’on va faire une expérimentation pour reporter la décision… À une époque, on disait « Pour enterrer un problème, créons une commission ! » Si pour enterrer un problème, on fait une expérimentation, c’est de nature à casser l’objet et à nous renvoyer à ces problèmes de légitimité. Mais dès lors que le diagnostic est clair, que la perspective est globalement tracée et qu’ensuite, on se met collectivement d’accord sur le fait que l’expérimentation va permettre de créer la maille la plus fine et la plus satisfaisante pour tous, c’est un dispositif vertueux.
L’expérimentation comme méthode présente-t-elle des limites ? Et comme outil d’aide à la décision ?
Jérôme Gautié : Si je m’en tiens à l’expérimentation scientifique, la mise en œuvre n’est pas si simple que cela. Pour l’expérimentation aléatoire, on se dit : « C’est assez simple, on va tirer au sort et on va regarder ce qui se passe ». Il y a pourtant des obstacles de différentes natures. Cela vaut de façon plus générale pour l’expérimentation sociale (nous avons évoqué « Territoires zéro chômeur de longue durée »), mais peut-être plus encore dans un cadre d’expérimentation scientifique d’évaluation d’impact. Il y a des protocoles très contraignants pour les acteurs. D’abord, on a parfois du mal à trouver des agences locales de l’emploi qui veulent participer à l’expérimentation. Et quand elles participent à l’expérimentation, il y a des obstacles éthiques. Ce n’est pas évident, quand vous êtes un agent local de l’emploi, et que vous faites face à un jeune qui a besoin d’une mesure, de l’exclure du « traitement » parce qu’il est dans le groupe témoin. Dans certaines expérimentations (notamment aux États-Unis), on s’est aperçu que certains agents locaux de l’emploi, dans des agences qui participaient à l’expérimentation, « trichaient » un peu. Pour compenser le fait que le jeune n’avait pas été sélectionné pour faire partie du groupe de traitement, ils lui donnaient un peu plus d’appui par ailleurs ou par d’autres dispositifs, etc. Évidemment, cela faussait l’expérimentation. Il y a des obstacles très concrets comme ceux-ci. Dans un autre registre et de façon plus générale, quand on pense à l’usage de l’expérimentation scientifique, dans l’articulation entre le moment scientifique et le moment de la décision publique, il y a la question de la temporalité qui est très importante. Le temps du politique, parfois, est plus court que le temps du scientifique. Le scientifique aime avoir au moins 18 mois, voire deux ans. Ensuite, il lui faut le temps de traiter les données. Il aime avoir le recul temporel le plus important possible, donc interroger à un an, à deux ans, etc. Pour lui, ça serait l’idéal, mais le politique est parfois pressé. Un des exemples les plus célèbres, c’est le Revenu de solidarité active (RSA) : alors qu’on avait mis en place des protocoles d’expérimentation scientifique, à un moment donné, le politique dit : « Je généralise, même si les résultats officiels de l’évaluation scientifique ne sont pas encore là. » C’est un problème. Un autre point qui peut être évoqué concernant l’expérimentation scientifique, et qui peut frustrer le décideur public, c’est que si les expérimentations aléatoires, notamment quantitatives, sont très bonnes pour dire : « ça marche », « ça ne marche pas », « avec tel impact », etc., elles le sont moins pour expliquer pourquoi ça marche et comment ça marche. On a des chiffres, on a des statistiques, qui permettent de constater par exemple un différentiel positif de taux d’emploi entre les jeunes bénéficiaires et les jeunes non-bénéficiaires, donc ça marche. Mais qu’est-ce qui s’est passé sur le terrain pour expliquer que ça marche en moyenne, et que ça marche plus ou moins bien selon les territoires où l’expérimentation a été déployée ? Ce type d’évaluation doit toujours être articulé – c’est ce qui est fait désormais assez systématiquement en France, au moins dans le domaine de la politique de l’emploi – avec des approches plus qualitatives qui ouvrent la « boîte noire » et vont voir sur le terrain comment les acteurs mettent en œuvre les mesures. Il y a vraiment une complémentarité entre le quantitatif et le qualitatif. Cela introduit une complexité supplémentaire, parce que l’on est généralement obligé, du fait de contraintes temporelles, de lancer les deux en même temps. Or, souvent, quand on a des retours du qualitatif, on aimerait modifier le protocole quantitatif de l’expérimentation, moduler ceci ou cela, mais il est trop tard pour le faire. On a ces problèmes de mise en œuvre, qui renvoient à des problèmes de temporalité, soit internes au protocole d’évaluation lui-même, soit dans l’articulation entre ce protocole et la décision publique.
Sébastien Malangeau : Je souscris totalement à cette idée. Je peux partager de manière beaucoup plus pratique les limites que nous avons identifiées sur France Expérimentation, où on met vraiment en œuvre, et cela du côté des pouvoirs publics. La première, c’est qu’il demeure toujours une différence importante entre le temps du droit et le temps de l’innovation, même si notre objectif est de compresser cet écart. Prenons la pire hypothèse, un blocage au niveau législatif : entre la collecte de la demande, le temps de l’instruction, l’arbitrage du Premier ministre, même si dans l’idéal on trouve un projet de loi très rapidement, un projet de loi entre son examen et la décision du Conseil constitutionnel, c’est souvent une année entre le passage des différentes assemblées. Donc même si on arrive à avoir une demande de dérogation législative opérationnelle deux ans plus tard – parce qu’il y a le texte de loi, mais aussi les textes réglementaires qui viennent ensuite –, c’est très, très court pour l’administration. Pour un acteur innovant, si vous êtes une start-up, deux ans c’est très long ! Donc nous pouvons parfois nous réjouir, mais nous sommes conscients que malgré tout, dans ce domaine-là, l’idée c’est de faire au mieux, sachant qu’il y aura toujours une forme de frustration pour beaucoup d’acteurs, surtout les plus petits et les plus jeunes. Un grand groupe international peut dérouler des projets à trois, quatre, cinq ans. Un acteur plus modeste a une temporalité plus courte. Deux autres limites qu’on découvre avec le temps, d’abord c’est la difficulté à massifier. France Expérimentation a la vertu de recevoir des demandes de tous types d’acteurs, parfois des demandes individuelles ; les pouvoirs publics donnent suite à l’expérimentation, et après on n’atteint pas vraiment la masse critique. Donc in fine, quand on arrive en bout d’expérimentation, ça devient presque une auto-évaluation des pouvoirs publics de « Est-ce que le cadre qu’on a défini nous paraît satisfaisant ou non ? » Si ce cadre dérogatoire n’a pas été assez employé, la qualité objective de l’expérimentation sera délicate à établir. De manière malheureuse, on va passer de quantitatif à qualitatif sans que ça soit totalement satisfaisant. D’un autre côté, si on faisait un filtrage en demandant un nombre minimum d’acteurs, on se priverait dans un domaine comme l’innovation. Peut-être que la plus grande innovation de demain, paraît par essence totalement incongrue ou anecdotique à l’immense majorité des acteurs. C’est un équilibre assez subtil à trouver, et il faut parfois accepter que les expérimentations ne soient pas utilisées autant qu’on le souhaiterait. C’est aussi notre responsabilité collective de mieux communiquer. On peut sûrement mieux faire, mais il y a parfois une difficulté des acteurs à s’emparer des opportunités parce que l’expérimentation peut faire peur, parce qu’on est scruté par les pouvoirs publics, qu’il y a un protocole expérimental, donc il y a peut-être des obstacles aussi un peu psychologiques. Une difficulté pour nous – qu’on a su traiter, mais qu’on n’avait pas traitée au début –, dans ce temps long, c’est qu’on ne peut pas attendre le terme de l’expérimentation pour décider, parce qu’économiquement, quand vous êtes un acteur, que vous avez fait des investissements et que vous devez attendre la fin de la troisième année d’expérimentation pour que l’on vous dise « C’est une très bonne idée, mais maintenant arrêtez tout, on revient avec la loi modifiée dans deux ans, deux ans et demi », ce n’est pas satisfaisant. C’est quelque chose qu’on a appris : notre temps d’expérimentation doit intégrer un temps masqué. Dans le domaine réglementaire, par exemple, si la modification réglementaire prend un an, on dit au ministère : « Faites une expérimentation de quatre ans, mais la décision doit être prise à trois ans pour que l’acteur connaisse l’issue de l’expérimentation, et que si l’expérimentation est appelée à s’éteindre ou à donner lieu à des bases différentes, il puisse minimiser ses pertes et préparer sa sortie d’expé rimentation. Et puis, si l’expérimentation doit être généralisée, s’assurer qu’en temps masqué, le cadre juridique sera adopté et qu’il n’y aura pas de rupture d’expérimentation. » Ça, c’est quelque chose qu’on n’avait pas intégré au début et qui n’a pas été sans nous poser des difficultés. Cela fait partie des choses qu’on apprend. Nous sommes toujours sur des temporalités assez longues.
Jérôme Gautié : Sébastien évoquait le fait qu’il y a parfois des acteurs frileux à expérimenter : on lance une expérimentation, mais il n’y a pas forcément les troupes derrière qui sont prêtes à expérimenter. À l’opposé, il peut y avoir un enthousiasme des acteurs de terrain qui disent : « Pourquoi même expérimenter, en fait ? » Ils prennent cette voie-là parce que c’est la voie qu’on les autorise à prendre, mais ils sont tellement persuadés que c’est la bonne mesure à prendre qu’il peut même y avoir de la frustration à se dire : « Mais pourquoi est-on encore dans une phase d’expérimentation ? Mais pourquoi nous impose-t-on des protocoles d’évaluation aussi contraignants qui ne sont que des obstacles ? » Avec « Territoires zéro chômeur », il y a des tensions entre les acteurs de terrain et les évaluateurs, qui peuvent être de différents niveaux. Il y avait notamment des experts économiques qui disaient : « Ouh là là, attention, on n’a pas de preuve vraiment très objective que ça marche au sens où le diraient les économistes, c’est-à-dire avec un groupe témoin, avec ce qu’on appelle un contrefactuel, etc. », alors que les acteurs de terrain rétorquaient : « Mais si, on le voit sur le terrain, on le sent, etc. » Ce décalage, qui peut vraiment créer des tensions importantes, peut naître aussi du fait que les différents acteurs n’ont pas forcément la même vision de l’expérimentation, notamment parce qu’ils ne privilégient pas forcément les mêmes objectifs. Je reprends le cas de la Garantie jeunes : il n’y a pas eu trop de tensions parce que ça marchait en termes de retour à l’emploi, et que tout le monde était content que ça marche. Mais les associations de jeunes insistaient sur le fait que la variable emploi n’était pas la seule importante (ni peut-être même, la plus importante), il y a le fait qu’on a re-socialisé des jeunes, le fait qu’on leur a donné des ressources pendant une certaine durée… Et que tout cela doit aussi compter dans « l’évaluation ». Et donc, que doit-on évaluer exactement ? Sur quelle(s) variable(s) de résultats doit-on porter l’attention ? Un des problèmes de l’évaluation scientifique, et notamment quand elle est quantitative, c’est ce qu’on appelle l’« effet lampadaire », c’est-à-dire que l’on va se concentrer uniquement sur ce que l’on peut mesurer, ce sur quoi on va pouvoir rassembler des données. Un taux d’emploi, c’est assez facilement mesurable, mais d’autre variables sont beaucoup plus difficiles à mesurer. Il y a un concept qui est assez important en politique de l’emploi, c’est l’autonomie. De nos jours, on évoque beaucoup la nécessité de rendre les chômeurs plus autonomes, avec toute cette problématique d’empowerment, pour utiliser un terme anglo-saxon… L’autonomie, l’empowerment, la capacitation, comment peut-on les mesurer ? Les psychologues ont des tests psychométriques, mais qui sont encore assez peu utilisés, notamment en France. Il est plus facile de mesurer les taux d’emploi, donc les économistes vont se concentrer là-dessus. Les effets en termes d’autonomie, en termes de bien-être, en termes d’acquisition de compétences socio-comportementales, sont beaucoup plus délicats à mesurer… On a désormais construit des indicateurs et des protocoles d’enquête, mais pendant très longtemps on était assez désarmé là-dessus. Donc tous ces aspects positifs et qualitatifs d’une mesure passaient sous les radars. Et ce sont justement ceux auxquels les acteurs de terrain sont particulièrement sensibles, parce qu’ils sont les mieux placés pour les observer, alors que le statisticien-économiste, ne les perçoit pas forcément, et du coup, ne va pas les juger pertinents. De là peuvent naître des tensions.

Date de mise en ligne : 01/07/2024

Notes

  • [*]
    France Expérimentation est un dispositif interministériel porté par la Direction interministérielle de la Transformation publique (DITP) et la Direction générale des Entreprises (DGE).
  • [1]
    Cet entretien a été animé par Marie Ruault, directrice de la Recherche à l’IGPDE. Il a été enregistré le 6 mars 2024.
  • [2]
    La Direction générale des Entreprises (DGE) est rattachée au ministère de l’Économie, des Finances et de la Souveraineté industrielle et numérique.
  • [3]
    Le prix de la Banque de Suède en sciences économiques en mémoire d’Alfred Nobel a été décerné en 2019 à Abhijit Banerjee, Esther Duflo et Michael Kremer.
  • [4]
    En anglais, evidence signifie « preuve ».

Domaines

Sciences Humaines et Sociales

Sciences, techniques et médecine

Droit et Administration

bb.footer.alt.logo.cairn

Cairn.info, plateforme de référence pour les publications scientifiques francophones, vise à favoriser la découverte d’une recherche de qualité tout en cultivant l’indépendance et la diversité des acteurs de l’écosystème du savoir.

Retrouvez Cairn.info sur

Avec le soutien de

18.97.9.173

Accès institutions

Rechercher

Toutes les institutions