L’expérimentation comme méthode présente-t-elle des limites ? Et comme outil d’aide à la décision ?
Jérôme Gautié : Si je m’en tiens à l’expérimentation scientifique, la mise en œuvre n’est pas si simple que cela. Pour l’expérimentation aléatoire, on se
dit : « C’est assez simple, on va tirer au sort et on va regarder ce qui se passe ». Il y a pourtant des obstacles de différentes natures. Cela vaut de façon plus générale pour l’expérimentation sociale (nous avons évoqué « Territoires zéro chômeur de longue durée »), mais peut-être plus encore dans un cadre d’expérimentation scientifique d’évaluation d’impact. Il y a des protocoles très contraignants pour les acteurs. D’abord, on a parfois du mal à trouver des agences locales de l’emploi qui veulent participer à l’expérimentation. Et quand elles participent à l’expérimentation, il y a des obstacles éthiques. Ce n’est pas évident, quand vous êtes un agent local de l’emploi, et que vous faites face à un jeune qui a besoin d’une mesure, de l’exclure du « traitement » parce qu’il est dans le groupe témoin. Dans certaines expérimentations (notamment aux États-Unis), on s’est aperçu que certains agents locaux de l’emploi, dans des agences qui participaient à l’expérimentation, « trichaient » un peu. Pour compenser le fait que le jeune n’avait pas été sélectionné pour faire partie du groupe de traitement, ils lui donnaient un peu plus d’appui par ailleurs ou par d’autres dispositifs, etc. Évidemment, cela faussait l’expérimentation. Il y a des obstacles très concrets comme ceux-ci. Dans un autre registre et de façon plus générale, quand on pense à l’usage de l’expérimentation scientifique, dans l’articulation entre le moment scientifique et le moment de la décision publique, il y a la question de la temporalité qui est très importante. Le temps du politique, parfois, est plus court que le temps du scientifique. Le scientifique aime avoir au moins 18 mois, voire deux ans. Ensuite, il lui faut le temps de traiter les données. Il aime avoir le recul temporel le plus important possible, donc interroger à un an, à deux ans, etc. Pour lui, ça serait l’idéal, mais le politique est parfois pressé. Un des exemples les plus célèbres, c’est le Revenu de solidarité active (RSA) : alors qu’on avait mis en place des protocoles d’expérimentation scientifique, à un moment donné, le politique dit : « Je généralise, même si les résultats officiels de l’évaluation scientifique ne sont pas encore là. » C’est un problème. Un autre point qui peut être évoqué concernant l’expérimentation scientifique, et qui peut frustrer le décideur public, c’est que si les expérimentations aléatoires, notamment quantitatives, sont très bonnes pour dire : « ça marche », « ça ne marche pas », « avec tel impact », etc., elles le sont moins pour expliquer
pourquoi ça marche et
comment ça marche. On a des chiffres, on a des statistiques, qui permettent de constater par exemple un différentiel positif de taux d’emploi entre les jeunes bénéficiaires et les jeunes non-bénéficiaires, donc ça marche. Mais qu’est-ce qui s’est passé sur le terrain pour expliquer que ça marche en moyenne, et que ça marche plus ou moins bien selon les territoires où l’expérimentation a été déployée ? Ce type d’évaluation doit toujours être articulé – c’est ce qui est fait désormais assez systématiquement en France, au moins dans le domaine de la politique de l’emploi – avec des approches plus qualitatives qui ouvrent la « boîte noire » et vont voir sur le terrain comment les acteurs mettent en œuvre les mesures. Il y a vraiment une complémentarité entre le quantitatif et le qualitatif. Cela introduit une complexité supplémentaire, parce que l’on est généralement obligé, du fait de contraintes temporelles, de lancer les deux en même temps. Or, souvent, quand on a des retours du qualitatif, on aimerait modifier le protocole quantitatif de l’expérimentation, moduler ceci ou cela, mais il est trop tard pour le faire. On a ces problèmes de mise en œuvre, qui renvoient à des problèmes de temporalité, soit internes au protocole d’évaluation lui-même, soit dans l’articulation entre ce protocole et la décision publique.
Sébastien Malangeau : Je souscris totalement à cette idée. Je peux partager de manière beaucoup plus pratique les limites que nous avons identifiées sur France Expérimentation, où on met vraiment en œuvre, et cela du côté des pouvoirs publics. La première, c’est qu’il demeure toujours une différence importante entre le temps du droit et le temps de l’innovation, même si notre objectif est de compresser cet écart. Prenons la pire hypothèse, un blocage au niveau législatif : entre la collecte de la demande, le temps de l’instruction, l’arbitrage du Premier ministre, même si dans l’idéal on trouve un projet de loi très rapidement, un projet de loi entre son examen et la décision du Conseil constitutionnel, c’est souvent une année entre le passage des différentes assemblées. Donc même si on arrive à avoir une demande de dérogation législative opérationnelle deux ans plus tard – parce qu’il y a le texte de loi, mais aussi les textes réglementaires qui viennent ensuite –, c’est très, très court pour l’administration. Pour un acteur innovant, si vous êtes une start-up, deux ans c’est très long ! Donc nous pouvons parfois nous réjouir, mais nous sommes conscients que malgré tout, dans ce domaine-là, l’idée c’est de faire au mieux, sachant qu’il y aura toujours une forme de frustration pour beaucoup d’acteurs, surtout les plus petits et les plus jeunes. Un grand groupe international peut dérouler des projets à trois, quatre, cinq ans. Un acteur plus modeste a une temporalité plus courte. Deux autres limites qu’on découvre avec le temps, d’abord c’est la difficulté à massifier. France Expérimentation a la vertu de recevoir des demandes de tous types d’acteurs,
parfois des demandes individuelles ; les pouvoirs publics donnent suite à l’expérimentation, et après on n’atteint pas vraiment la masse critique. Donc
in fine, quand on arrive en bout d’expérimentation, ça devient presque une auto-évaluation des pouvoirs publics de « Est-ce que le cadre qu’on a défini nous paraît satisfaisant ou non ? » Si ce cadre dérogatoire n’a pas été assez employé, la qualité objective de l’expérimentation sera délicate à établir. De manière malheureuse, on va passer de quantitatif à qualitatif sans que ça soit totalement satisfaisant. D’un autre côté, si on faisait un filtrage en demandant un nombre minimum d’acteurs, on se priverait dans un domaine comme l’innovation. Peut-être que la plus grande innovation de demain, paraît par essence totalement incongrue ou anecdotique à l’immense majorité des acteurs. C’est un équilibre assez subtil à trouver, et il faut parfois accepter que les expérimentations ne soient pas utilisées autant qu’on le souhaiterait. C’est aussi notre responsabilité collective de mieux communiquer. On peut sûrement mieux faire, mais il y a parfois une difficulté des acteurs à s’emparer des opportunités parce que l’expérimentation peut faire peur, parce qu’on est scruté par les pouvoirs publics, qu’il y a un protocole expérimental, donc il y a peut-être des obstacles aussi un peu psychologiques. Une difficulté pour nous – qu’on a su traiter, mais qu’on n’avait pas traitée au début –, dans ce temps long, c’est qu’on ne peut pas attendre le terme de l’expérimentation pour décider, parce qu’économiquement, quand vous êtes un acteur, que vous avez fait des investissements et que vous devez attendre la fin de la troisième année d’expérimentation pour que l’on vous dise « C’est une très bonne idée, mais maintenant arrêtez tout, on revient avec la loi modifiée dans deux ans, deux ans et demi », ce n’est pas satisfaisant. C’est quelque chose qu’on a appris : notre temps d’expérimentation doit intégrer un
temps masqué. Dans le domaine réglementaire, par exemple, si la modification réglementaire prend un an, on dit au ministère : « Faites une expérimentation de quatre ans, mais la décision doit être prise à trois ans pour que l’acteur connaisse l’issue de l’expérimentation, et que si l’expérimentation est appelée à s’éteindre ou à donner lieu à des bases différentes, il puisse minimiser ses pertes et préparer sa sortie d’expé rimentation. Et puis, si l’expérimentation doit être généralisée, s’assurer qu’en temps masqué, le cadre juridique sera adopté et qu’il n’y aura pas de rupture d’expérimentation. » Ça, c’est quelque chose qu’on n’avait pas intégré au début et qui n’a pas été sans nous poser des difficultés. Cela fait partie des choses qu’on apprend. Nous sommes toujours sur des temporalités assez longues.
Jérôme Gautié : Sébastien évoquait le fait qu’il y a parfois des acteurs frileux à expérimenter : on lance une expérimentation, mais il n’y a pas forcément les troupes derrière qui sont prêtes à expérimenter. À l’opposé, il peut y avoir un enthousiasme des acteurs de terrain qui disent : « Pourquoi même expérimenter, en fait ? » Ils prennent cette voie-là parce que c’est la voie qu’on les autorise à prendre, mais ils sont tellement persuadés que c’est la bonne mesure à prendre qu’il peut même y avoir de la frustration à se dire : « Mais pourquoi est-on encore dans une phase d’expérimentation ? Mais pourquoi nous impose-t-on des protocoles d’évaluation aussi contraignants qui ne sont que des obstacles ? » Avec « Territoires zéro chômeur », il y a des tensions entre les acteurs de terrain et les évaluateurs, qui peuvent être de différents niveaux. Il y avait notamment des experts économiques qui disaient : « Ouh là là, attention, on n’a pas de preuve vraiment très objective que ça marche au sens où le diraient les économistes, c’est-à-dire avec un groupe témoin, avec ce qu’on appelle un contrefactuel, etc. », alors que les acteurs de terrain rétorquaient : « Mais si, on le voit sur le terrain, on le sent, etc. » Ce décalage, qui peut vraiment créer des tensions importantes, peut naître aussi du fait que les différents acteurs n’ont pas forcément la même vision de l’expérimentation, notamment parce qu’ils ne privilégient pas forcément les mêmes objectifs. Je reprends le cas de la Garantie jeunes : il n’y a pas eu trop de tensions parce que ça marchait en termes de retour à l’emploi, et que tout le monde était content que ça marche. Mais les associations de jeunes insistaient sur le fait que la variable emploi n’était pas la seule importante (ni peut-être même, la plus importante), il y a le fait qu’on a re-socialisé des jeunes, le fait qu’on leur a donné des ressources pendant une certaine durée… Et que tout cela doit aussi compter dans « l’évaluation ». Et donc, que doit-on évaluer exactement ? Sur quelle(s) variable(s) de résultats doit-on porter l’attention ? Un des problèmes de l’évaluation scientifique, et notamment quand elle est quantitative, c’est ce qu’on appelle l’« effet lampadaire », c’est-à-dire que l’on va se concentrer uniquement sur ce que l’on peut mesurer, ce sur quoi on va pouvoir rassembler des données. Un taux d’emploi, c’est assez facilement mesurable, mais d’autre variables sont beaucoup plus difficiles à mesurer. Il y a un concept qui est assez important en politique de l’emploi, c’est l’autonomie. De nos jours, on évoque beaucoup la nécessité de rendre les chômeurs plus autonomes, avec toute cette problématique d’
empowerment, pour utiliser un terme anglo-saxon… L’autonomie, l’
empowerment, la capacitation, comment peut-on les mesurer ?
Les psychologues ont des tests psychométriques, mais qui sont encore assez peu utilisés, notamment en France. Il est plus facile de mesurer les taux d’emploi, donc les économistes vont se concentrer là-dessus. Les effets en termes d’autonomie, en termes de bien-être, en termes d’acquisition de compétences socio-comportementales, sont beaucoup plus délicats à mesurer… On a désormais construit des indicateurs et des protocoles d’enquête, mais pendant très longtemps on était assez désarmé là-dessus. Donc tous ces aspects positifs et qualitatifs d’une mesure passaient sous les radars. Et ce sont justement ceux auxquels les acteurs de terrain sont particulièrement sensibles, parce qu’ils sont les mieux placés pour les observer, alors que le statisticien-économiste, ne les perçoit pas forcément, et du coup, ne va pas les juger pertinents. De là peuvent naître des tensions.