L’expérimentation territoriale d’une politique publique et son évaluation sont souvent considérées comme un test d’une hypothèse d’action pour appuyer une décision de généralisation. Or les expérimentations ne s’inscrivent que rarement dans cette logique linéaire. Elles sont des moments de tâtonnement et de transition vers de nouvelles pratiques ou publics bousculant souvent le plan initial de mise en œuvre et remettant en question les effets pouvant en être attendus. L’évaluation doit alors adapter son approche pour ne pas contraindre ces apprentissages mais bien les accompagner et les structurer chemin faisant.
1 Depuis une vingtaine d’années, en France, les expérimentations de politiques sociales se sont développées de plusieurs manières. Elles prennent notamment la forme de tests de nouveaux dispositifs territoriaux, destinés à nourrir une réflexion nationale ou européenne sur la pertinence ou non de leur généralisation. La conduite de ces tests s’inscrit dans une logique linéaire et hypothético-déductive. Il s’agit d’émettre une hypothèse d’action publique à l’échelle d’un territoire, d’en évaluer rigoureusement ses effets et, si ces effets sont majoritairement positifs, de la généraliser. Cependant, à ce jour, force est de constater qu’un nombre limité d’expérimentations ont fait l’objet de généralisations, et que peu de rapports d’évaluation ont contribué à informer la décision publique (ANSA, 2014, p.39 ; Conseil d’État, 2019). Certains mettent en cause la qualité des expérimentations menées ou de leurs évaluations (Conseil d’État, 2019) ; d’autres renvoient au mode de fonctionnement du champ politique, qui laisse peu de place à l’utilisation de la preuve dans la prise de décision (Weiss, 1988 ; Gomel et Serverin, 2009).
2 Il s’agit ici de déconstruire ce constat. Juger de l’utilité d’une évaluation d’expérimentation uniquement à l’aune de sa finalité (décider de la généralisation ou de l’arrêt d’un dispositif) s’inscrit dans une vision restrictive, d’une part de ce qu’est l’expérimentation, d’autre part des apprentissages qui peuvent ressortir de son évaluation. L’expérience de terrain et la littérature académique sur le sujet permettent en effet d’identifier beaucoup d’apprentissages mis en lumière par ces évaluations. Cet article s’appuie sur une expérimentation (appelée « K ») évaluée entre 2018 et 2020. Les parties prenantes de cette évaluation ont été interrogées quelque temps après son terme, afin d’étudier les apprentissages qui en sont ressortis et qui se sont maintenus dans le temps.
3 Identifier ces apprentissages et accompagner leur surgissement et leur prise en compte par l’évaluation requiert trois changements de posture vis-à-vis de la conception classique d’une expérimentation : premièrement, dépasser l’illusion que les expérimentations sont des tests de politique publique ; deuxièmement, accepter les processus d’innovation à l’œuvre dans une expérimentation et les accompagner ; troisièmement, identifier et favoriser les différents usages d’une évaluation au-delà de la décision de généralisation ou non d’une expérimentation.
L’illusion du test de politique publique
4 Suivant le modèle de l’expérimentation de laboratoire, l’expérimentation est généralement perçue comme le test d’une nouvelle idée d’intervention publique, selon un protocole permettant de rendre compte de ses effets. Ce modèle s’inscrit dans une conception hypothético-déductive de l’administration d’une preuve. Il s’agit de formuler l’hypothèse d’un lien de cause à effet entre une intervention et un résultat sur des bénéficiaires, de la tester sur le terrain, dans des conditions que l’on peut contrôler, et enfin de la valider ou non. Selon le résultat obtenu, l’intervention testée peut être déployée ou non.
5 Deux éléments remettent en question ce modèle. D’une part, en dehors du laboratoire, une expérimentation est rarement le fruit d’un processus rationnel et contrôlé ; d’autre part, ni les porteurs d’une expérimentation ni les acteurs impliqués n’ont en général les moyens d’identifier, à son lancement, quels seraient les critères permettant de juger rigoureusement de sa réussite.
L’expérimentation : un processus linéaire et contrôlé ?
6 L’émergence d’une expérimentation est un processus complexe, voire chaotique, dans lequel divers facteurs interviennent. Une expérimentation est, avant même sa mise en œuvre, le fruit de compromis entre les idées des équipes qui souhaitent en proposer une, les organismes financeurs et les acteurs de sa mise en œuvre. Ces compromis démarrent très tôt dans le processus. Ainsi, dans de nombreux cas, l’expérimentation est certes un moyen de déployer de nouvelles approches, mais il s’inscrit aussi dans un mode de financement des projets. Dès lors, les porteurs d’idées adaptent ces dernières aux lignes directrices des financements nationaux ou européens, afin de maximiser leurs chances de succès.
7 À titre d’exemple, l’expérimentation « K » a vu le jour grâce à un appel à projets financé par le Fonds social européen (FSE). Le porteur avait comme objectif d’accompagner des jeunes dans leur insertion professionnelle à travers des fablabs, c’est-à-dire des lieux ouverts centrés sur le partage des compétences et la fabrication collaborative. Il a cependant dû adapter sensiblement ce projet initial pour être éligible au financement, notamment en ciblant exclusivement un public dit « neet » (neither in employment, education or training, c’est-à-dire ni en formation, ni en emploi, ni en stage). Or d’autres types de bénéficiaires étaient également envisagés par les fablabs participant au projet, notamment des jeunes non « neet », déjà insérés dans un parcours d’étude ou de formation. Considérer que l’expérimentation est le produit d’un compromis dès sa conception bouscule ainsi l’idée d’une séquence contrôlée, scientifique et linéaire. Si le dispositif expérimenté subit dès le départ différentes modifications pour satisfaire les différentes parties prenantes, cela est en effet susceptible de transformer les premières hypothèses causales testées. Un même dispositif aura par exemple probablement des effets différents si le public qu’il vise est constitué de jeunes en insertion professionnelle ou au contraire éloignés de l’emploi. Ce processus de compromis se poursuit ensuite lors du déploiement de l’expérimentation, les acteurs de terrain faisant rapidement des arbitrages au regard de sa faisabilité, qui éloignent d’autant plus de l’idée d’un modèle contrôlé et cadré d’hypothèses à tester.
Des indicateurs d’évaluation souvent redéfinis
8 Le second point questionnable est l’idée, véhiculée à la fois par les financeurs et par les porteurs de projets, d’assortir à un plan initial des indicateurs d’impact idoines choisis avant même le lancement de ce dernier. Ainsi le projet de l’expérimentation « K » présentait une logique claire et linéaire entre les activités qui seraient proposées aux jeunes neets et leur impact escompté en termes d’insertion professionnelle. Celle-ci avait été modélisée par les porteurs du projet et par l’équipe d’évaluation. Les fablabs participants à l’expérimentation allaient ainsi proposer différents ateliers de montage de projets pouvant donner lieu à un accompagnement pour la formalisation de l’un d’entre eux.
9 Les indicateurs à renseigner pour le FSE afin de juger du succès de l’expérimentation portaient, d’une part, sur les profils et le nombre de jeunes entrés dans le dispositif et, d’autre part, sur les impacts finaux attendus de l’expérimentation, à savoir la remobilisation des jeunes dans leur insertion professionnelle, voire l’engagement dans une formation ou l’accès à l’emploi. Or, la mise en œuvre du dispositif n’a pas suivi ce plan initial, du fait de difficultés rencontrées pour attirer des jeunes neets aux ateliers, et d’ajustements continus du plan de départ. C’est ainsi, par exemple, que les indicateurs initiaux portant sur le retour à l’emploi des bénéficiaires du projet sont devenus caducs. Fallait-il, dès lors, conclure à l’échec de cette expérimentation ? Au contraire, fallait-il accepter de redéfinir, chemin faisant et par la pratique, les indicateurs permettant de suivre les résultats et les premiers impacts sur les bénéficiaires ?
10 Les indicateurs d’évaluation du projet « K » ont en l’occurrence pleinement été adaptés aux changements non prévus dans le plan de départ. Ainsi, l’évaluation a d’abord consisté à expliciter la logique de l’expérimentation et les impacts escomptés du projet initial. Son rôle a cependant surtout été d’organiser une rélexion sur les problèmes susceptibles d’être rencontrés dans la mise en œuvre du projet, sur les points d’attention à suivre pour les éviter, et sur les différentes options à envisager pour y remédier. Pour ce faire, les équipes de l’expérimentation « K » ont par exemple défini ce qu’était à la fois un « scénario catastrophe » et un « scénario idéal ».
L’épreuve du terrain : quand l’expérimentation devient innovation apprenante
Identifier les dimensions innovantes d’un projet
11 C’est la dimension innovante dans chaque expérimentation et l’incertitude quant à ses effets qui justifie l’existence même de l’expérimentation dans le droit français. Cette dernière peut être innovante parce qu’elle vise de nouveaux publics, de nouveaux territoires, parce qu’elle appelle de nouveaux partenariats, des changements de pratique chez les professionnels, ou par bien d’autres dimensions encore. Elle peut aussi combiner plusieurs de ces aspects. La manière et le temps nécessaires pour passer de la pratique usuelle à l’innovation est souvent un impensé au stade de la conception de l’expérimentation. Or, cette transition peut parfois prendre tout le temps de l’expérimentation, notamment lorsque les innovations s’éloignent sensiblement des pratiques habituelles. Il faut alors accepter que le déploiement du projet procède par tâtonnements tout au long de sa mise en œuvre, et alors adapter son évaluation afin qu’elle organise et structure ces adaptations.
12 L’expérimentation « K » comprenait deux dimensions innovantes : premièrement, la mobilisation d’un public avec lequel les équipes n’avaient pas l’habitude de travailler et, deuxièmement, la création de modules pédagogiques structurés et collectifs. L’un des risques majeurs rencontrés dans une expérimentation tient à la non-atteinte du ou des publics ciblés. Or, dans le cadre de l’expérimentation « K », l’innovation la plus radicale était l’originalité de ce public. En effet, les personnes fréquentant habituellement les fablabs sont des personnes plutôt habituées, venant sur leur temps libre utiliser les outils à disposition pour leur loisir. Or, l’expérimentation impliquait la mobilisation exclusive de jeunes de moins de 30 ans, ayant souvent décroché de leur parcours scolaire et peu familiers de ces lieux. Au bout de six mois d’expérimentation, très peu de jeunes sont effectivement entrés dans le dispositif, ce qui a constitué un obstacle à son démarrage.
S’appuyer sur l’évaluation pour faire évoluer l’expérimentation
13 L’évaluation de l’expérimentation « K » a ainsi donné la possibilité de renforcer l’apprentissage concernant la manière d’envisager un public original dans un dispositif. L’un des enjeux initiaux était de s’accorder sur la manière de répondre à la difficulté d’attirer le public visé. Cette difficulté a notamment été l’objet de tensions entre certains acteurs dont l’objectif, qualitatif, était d’organiser des ateliers avec des jeunes éligibles uniquement, et d’autres dont l’objectif, quantitatif au contraire, était d’accueillir un nombre satisfaisant de jeunes, y compris non éligibles. La quantité et les caractéristiques des personnes mobilisées par les différentes structures participantes au projet ont ainsi fait l’objet d’un suivi. Des temps d’échange ont ensuite été organisés entre les partenaires de la mise en œuvre du projet, afin de présenter les stratégies de mobilisation développées par les uns et par les autres, et susceptibles d’être pertinentes pour les structures rencontrant le plus de difficultés. Ainsi, un impensé lors de la conception d’une expérimentation peut devenir une partie clé de celle-ci, donnant lieu à des actions spécifiques. Dans le cas de l’expérimentation « K », l’évaluation des difficultés à atteindre le public envisagé dans le plan initial a donné lieu, par exemple, à des partenariats avec des organisations prescriptrices auprès des jeunes de missions locales, ou à des stratégies de communication. Pour certaines structures, ce n’est qu’au cours des six derniers mois de l’expérimentation que la fréquentation a été suffisante pour conduire des ateliers collectifs permettant enfin de tester l’objet initial de l’expérimentation, à savoir le contenu des modules de formation et d’évaluer les résultats sur les jeunes.
14 Dans cet exemple, une approche d’évaluation qui consisterait à vérifier que les objectifs fixés à l’avance ont bien été atteints serait totalement inadaptée, voire contreproductive. Dans l’esprit de l’évaluation évolutive ou de developmental evaluation (Patton, 2010), l’équipe d’évaluation, au contraire, identifie ce qui constitue l’innovation (ici, la transition vers de nouveaux publics) et alimente des boucles d’apprentissage sur un temps court, donnant lieu directement à des ajustements. Ainsi, la séquence « conception, test, résultats et apprentissage » est ici renouvelée tout au long de l’expérimentation, à l’occasion de chaque solution testée (voir figure 1).
Les deux types de séquences de l’expérimentation : test contrôlé et linéaire vs innovation apprenante
Les deux types de séquences de l’expérimentation : test contrôlé et linéaire vs innovation apprenante
Les apprentissages à l’œuvre et ce qu’il en reste
15 L’apprentissage clé du modèle expérimental conventionnel tient dans la preuve de l’efficacité ou non de l’action mise en œuvre, fournie en fin de processus aux décideurs. La foisonnante littérature académique sur le sujet met cependant en évidence la diversité des usages, des utilisateurs et des moments d’utilisation possibles des démarches évaluatives (Delahais et al, 2021 ; Alkin et King, 2017). Au-delà du rapport final, les apprentissages peuvent en effet apparaître chemin faisant, et concernent tout autant les acteurs de la mise en œuvre du dispositif que d’autres parties prenantes (Devaux-Spatarakis, 2021). L’évaluation d’une expérimentation est propice à révéler des apprentissages au fur et à mesure que le dispositif est mené, d’autant plus si elle est lancée en début de processus, voire au stade de l’appel à projets (Quadrant Conseil, 2020).
Exemples d’apprentissages liés à la stratégie d’atteinte d’un public nouveau
16 Le premier apprentissage ressorti de l’expérimentation « K » concerne les stratégies d’atteinte du public visé (voir ci-dessus). Celui-ci a donné lieu à une modification significative de l’expérimentation, les actions de communication et de partenariats ayant fini par occuper une place centrale dans son déroulé, alors qu’elles étaient marginales dans le plan initial. La réflexion sur la pertinence des indicateurs d’évaluation de l’expérimentation « K » a par ailleurs fait naître d’autres apprentissages. L’obsolescence des indicateurs d’impact fixés en amont de l’expérimentation, ainsi que la difficulté à maintenir le contact avec les jeunes bénéficiaires après leur participation aux ateliers, ont amené les porteurs de projets à identifier des indicateurs d’évaluation plus pertinents et à améliorer leur intervention au fil de l’eau. Ces nouveaux indicateurs ont été renseignés par les réponses à des questionnaires remis aux jeunes à la fin des ateliers et par les observations des personnes animant les ateliers.
17 Les différents apprentissages ressortis de l’expérimentation « K » ont été directement utilisés lors de sa mise en œuvre, par rétroaction. L’identification d’indicateurs pertinents pour évaluer le dispositif a ainsi permis aux animateurs de structurer leurs ateliers autour d’objectifs pédagogiques, pratique qu’ils découvraient par ailleurs. En outre, elle a donné l’occasion à ces derniers de déterminer, d’une part, les points sur lesquels ils pouvaient agir pour aider les jeunes tout au long de leur trajectoire (leur redonner confiance, les motiver pour un projet professionnel) et, d’autre part, ceux qui ne dépendaient que peu de leur action (les orienter vers des formations ou vers des stages).
18 Enfin, les résultats des enquêtes menées auprès des jeunes ont servi de base à des échanges entre animateurs et animatrices des ateliers, organisés par l’équipe d’évaluation. Ces échanges ont donné la possibilité de présenter leurs techniques d’animation et d’amorcer une montée en compétences collective. Ils ont débouché sur l’identification des publics pour lesquels le dispositif était pertinent, et donc sur l’affirmation de la nécessité, pour les fablabs, de préciser leur discours sur ce point auprès des prescripteurs de jeunes.
Pérennisation de l’expérimentation ou pérennisation des apprentissages ?
19 Deux ans après le terme de l’expérimentation « K », qu’en est-il de sa pérennisation ? Les porteurs de projets témoignent du périmètre artificiel de « l’objet de l’expérimentation », qui vaut uniquement dans le cadre des appels à projets. L’expérimentation s’appuie à la fois sur des pratiques usuelles et sur des éléments innovants. Elle suppose un temps et un financement spécifiques, par exemple pour atteindre un public inédit ou pour développer de nouvelles pratiques. Cependant, son déploiement s’inscrit souvent dans la continuité de l’action de la structure portant l’expérimentation. Si le dispositif expérimenté n’a pas complètement commencé avec l’expérimentation, il ne va pas non plus totalement disparaître avec la fin de l’expérimentation, quelle que soit la décision prise relativement à sa pérennisation. Au final, la principale structure ayant déployé l’expérimentation « K » a maintenu des formats d’ateliers proches de ceux de l’expérimentation, dont le financement par un autre bailleur n’a pas nécessité de mobiliser le rapport d’évaluation. Néanmoins, ce projet n’est pas perçu comme la généralisation spécifique de l’expérimentation « K » par les personnes de cette structure. Il s’agit d’un format qui avait été initié auparavant, approfondi par l’expérimentation, et qui continue d’être amélioré.
20 Après deux années de recul, les principaux apprentissages issus de l’expérimentation « K » et de son évaluation mettent en évidence les tâtonnements et l’importance du temps de travail consacré à l’atteinte d’un public autre que celui des fablabs, jeune et rencontrant des problématiques d’insertion ou d’investissement dans le parcours scolaire. Les porteurs de projets ont appris à communiquer avec les conseillers des missions locales et d’autres associations, à sensibiliser les jeunes, et à tisser des partenariats, qu’ils mobilisent pour une diversité d’actions dépassant le cadre initial de l’expérimentation. Les échanges avec ces derniers ont par ailleurs confirmé que ni le rapport d’évaluation ni sa synthèse n’avaient réellement été utilisés. Les personnes se souviennent principalement du processus d’évaluation, des temps d’échange, des ateliers et des discussions entre pairs ou avec l’équipe d’évaluation.
21 Même si les expérimentations territoriales ne sont pas utilisées pour décider de la généralisation d’un dispositif, elles n’en restent pas moins potentiellement utiles. À défaut d’être des tests de politique publique, elles organisent des moments de transition pour les acteurs de terrain vers de nouvelles pratiques, de nouveaux publics, de nouveaux territoires.
22 Ces apprentissages ne sont pas pour autant complètement déconnectés des orientations européennes ou nationales. Ainsi, par exemple, la transition vers de nouveaux publics des fablabs accueillant l’expérimentation « K » s’inscrit pleinement dans les orientations des instances nationales de ce type de structure. Néanmoins, cette transition a pu avoir lieu grâce à l’ancrage et à l’adaptation du projet à un contexte local. Il ne s’agit donc pas ici de tester un modèle générique dont on vérifierait les effets.
23 Dès lors, le rôle de l’équipe d’évaluation ne se concentre plus uniquement sur l’estimation d’un impact ou la production d’un rapport final, mais sur l’accompagnement des parties prenantes des expérimentations pour identifier les apprentissages potentiels de ces dernières et accompagner leur prise en compte.
Bibliographie
Bibliographie
- Agence nouvelle des solidarités actives (ANSA), 2014, L’expérimentation sociale à l’épreuve du terrain. Un bilan d’une décennie d’expérimentations sociales en France, Les contributions, n° 16.
- Alkin M. et King J., 2017. Definitions of Evaluation Use and Misuse, Evaluation Influence, and Factors Affecting Use. American Journal of Evaluation, n°383, p. 434-450.
- Conseil d’État, 2019, Les expérimentations : comment innover dans la conduite des politiques publiques ?, Paris, La documentation française, « Les études du Conseil d’État », 150 p.
- Delahais T., Devaux-Spatarakis A., Revillard A. et Ridde V., 2021, À quoi sert l’évaluation, in Évaluation. Fondements, controverses, perspectives. Québec, Éditions Science et bien commun. https://scienceetbiencommun.pressbooks.pub/evaluationanthologie/.
- Devaux-Spatarakis A., Harmach S., Alouis J. et Sage K., 2021, Concilier les différents intérêts d’apprentissage d’une expérimentation à Mayotte : retour d’expérience sur le rôle de l’évaluateur pour favoriser les usages de l’évaluation, in Kérivel A. et James S. (dir.), Comment évaluer des projets innovants encore en construction ?, Paris, Injep Notes & rapports, p. 27-36.https://injep.fr/publication/comment-evaluer-des-projets-innovants-encore-en-construction/.
- Gomel B. et Serverin E., 2009, Expérimenter pour décider ? Le RSA en débat, Document de travail du centre d’étude de l’emploi, n° 119.
- Quadrant Conseil, 2020, Évaluer les expérimentations : Enjeux et postures de l’évaluateur/rice. https://www.quadrant-conseil.fr/ressources/documents/Experimentation.pdf.
- Patton M., 2010, Developmental Evaluation Applying Complexity Concepts to Enhance Innovation and Use, New York, Guilford Press, 375 p.
- Weiss C., 1988, If Program Decisions Hinged Only on Information : A response to Patton, American Journal of Evaluation, 9(3), p. 15-28.
Mots-clés éditeurs : apprentissage, territoire, innovation sociale, évaluation, expérimentation
Mise en ligne 28/11/2023
https://doi.org/10.3917/inso.209.0126
