Une institution forgée par un travail institutionnel

7 Comprendre un outil de l’action publique comme un type d’institution sociale fait déjà l’objet de nombreux travaux en sociologie de l’action publique, réunis autour du concept d’instrument d’action publique  [4] (Le Galès et Lascoumes, 2004b). Les instruments d’action publique ont vocation à structurer les interactions sociales et certains véhiculent des logiques d’apprentissage (Coletti et Radaelli, 2013).

8 Suivant le modèle de l’utilisation des essais cliniques, les économistes statisticiens, qui ont promu le recours à cette méthode, l’ont présentée comme un instrument favorisant et organisant le développement de la prise en compte de données probantes dans la décision publique (Duflo, 2005 ; Labrousse, 2010 ; L’Horty et Petit, 2011) [5].

9 Dans sa conception scientifique, la méthode aléatoire est considérée comme une institution structurante pouvant être comprise comme « un ensemble de règles et de procédures plus ou moins coordonnées qui gouvernent les interactions et comportements des acteurs et des organisations » et qui construit un cadre stable au sein duquel les anticipations réduisent les incertitudes et structurent l’action collective (Powell et DiMaggio, 1991 ; March et Olsen, 1989). En effet, elle constitue la seule méthode d’évaluation qui affecte les individus et organise leur accès à un traitement défini ou à des ressources, et dont la qualité des résultats dépend principalement de la conformité des individus au protocole établi. Le respect de la répartition des groupes par tirage au sort s’avère essentiel ; il en est de même du contrôle de l’interaction entre le bénéficiaire et le metteur en œuvre, afin de garantir la transparence de l’analyse des résultats.

10 Néanmoins, la prise en compte de la dimension interactionnelle dans la mise en œuvre concrète de cette méthode peut conduire à relativiser son caractère structurant. Elle peut amener à l’appréhender davantage comme une institution sociale dont la forme est largement déterminée par les acteurs. En effet, cet instrument structure les interactions entre acteurs pour une période de temps limité et les outils de contrôle pour s’assurer de la conformité des individus aux règles du protocole établis sont faibles.

11 Elle correspond donc davantage à une conception de l’institution proposée par O. Nay, rapprochant ce concept de la notion de configuration, au sens où l’application des règles de l’institution est soumise à un processus relationnel et s’inscrit dans des situations concrètes d’échange, ouvrant à l’identification de plusieurs modèles de jeux d’acteurs (Nay 1997, p. 17). O. Ney propose alors le concept de sites institutionnels, selon lequel une institution n’est pas une structure composée de règles figées dans le temps et l’espace, mais s’incarne de manière différenciée selon les dispositions des parties prenantes à entrer dans ces interactions [6]. Selon cette conception, l’institution est sujette au travail institutionnel, c'est-à-dire à l’« action intentionnelle des acteurs ou des organisations visant à créer, maintenir ou déstabiliser les institutions » (Lawrence et Suddaby, 2006). Ce travail est composé d’activités stratégiques d’une multitude d’acteurs, chacun guidé par ses intérêts ou ses pratiques, s’inscrivant dans une logique de champ plus globale et s’appuyant sur un ensemble spécifique de ressources, de compétences et de perceptions du monde.

Les sites institutionnels d’un instrument d’apprentissage commun

12 L’évaluation d’expérimentations sociales par cette méthode a été présentée comme organisant une logique d’apprentissage commune entre les scientifiques et les porteurs de projets [7]. Elle devait permettre aux premiers l’accès à de nouvelles données de terrain, et offrir aux seconds la démonstration scientifique de l’impact de leur action. Plusieurs travaux ont déjà pointé la difficile rencontre des intérêts de la science et de la politique, caractérisés par des pratiques et des règles différentes. Alors que les décideurs publics cherchent un guide pratique pour l’action, les scientifiques s’inscrivent davantage dans une perspective cumulative de la connaissance (Horowitz, 1970 ; Arendt, 1989 ; Weber, 2002). En outre, les logiques d’apprentissage dans le champ politique s’inscrivent aussi dans des enjeux de pouvoir [8] (Robertson, 1991, p. 55).

13 La rencontre de ces acteurs, organisée par cette méthode, est donc sujette à des négociations visant à identifier un intérêt commun d’apprentissage. L’atteinte de ce compromis, issu de ce jeu d’acteurs, conditionne les modalités d’incarnation de cette institution ainsi que la logique d’apprentissage qu’elle véhicule. L’étude de ces négociations au cœur de la méthode aléatoire nous permet ainsi d’identifier l’apprentissage souhaité puis ensuite son effectivité auprès des parties prenantes. On peut identifier trois moments de négociation dans cette relation d’apprentissage à équilibre instable :

14 L’étape de conception et planification de la recherche, où les deux parties doivent s’assurer que la recherche répond aux intérêts de chacun ;

15 La négociation de mi-parcours, qui correspond au suivi du protocole, aux ajustements liés à la mise en œuvre, ou aux premiers résultats produits pouvant susciter une renégociation des termes de la relation ;

16 L’interaction finale, le moment de la production des résultats, leur interprétation et utilisation par les parties prenantes.

17 Nous mobilisons cette structure en trois temps pour une analyse croisée des cas d’expérimentation (voir encadré 1). Il s’agit d’étudier, pour chacun, les modalités de rencontre et les compromis entre les intérêts et les pratiques de l’économie statistique appliquée d’une part, et de l’action publique, d’autre part.

Trois cas d’expérimentations sociales contre le « décrochage scolaire »

18 Nous avons éprouvé ce cadre d’analyse sur plus d’une dizaine de cas ayant eu recours à la méthode expérimentale par assignation aléatoire. Nous en avons ici choisi trois témoignant d’une variété de configurations et donc de logiques d’apprentissage différentielles.

19 Le cas de la « Mallette des parents » donne à voir un projet orienté fortement, dès sa conception, par des problématiques de recherches. Il permet de comprendre les facteurs de succès d’un apprentissage commun entre acteurs politiques et chercheurs.

20 L’expérimentation de « la Mission Locale de Tulle » illustre les difficultés du maintien d’un apprentissage commun lorsque le projet expérimental préexiste au protocole d’évaluation et que les évaluateurs ont peu d’influence sur le projet. Elle nous aide à comprendre les dissensions entre les apprentissages des parties prenantes, à l’issue de l’expérimentation, qui ont mené à des avis différenciés sur l’efficacité du projet expérimental, témoignant de la confrontation de deux temporalités.

21 Enfin, « le projet APIPAQ » (Mission locale de marseille) illustre un projet expérimental évalué par un évaluateur ayant des motivations de recherches différentes des deux cas précédents. Cette expérimentation fut peu formatée par les chercheurs, et l’apprentissage des parties prenantes fut aussi différent et perturbé par les pratiques des acteurs de l’action publique.

22 Ces trois cas ne constituent pas un échantillon représentatif de l’ensemble des cas d’expérimentation évalués par cette méthode d’évaluation ; cependant, ils présentent des sites institutionnels illustrant leur diversité d’incarnation selon les intérêts en jeu.

23 Ces trois expérimentations s’étendent sur une période allant de 2008 à 2012. Elles sont toutes destinées à favoriser la réussite scolaire et à lutter contre le décrochage.

24 Le rectorat de Créteil, porteur du projet « Mallette », se caractérise, à l’époque de cette expérimentation, par un dynamisme expérimental particulier puisqu’il a amorcé trois expérimentations destinées à être évaluées par assignation aléatoire. Cette dynamique est portée par le recteur, qui souhaite développer de nouvelles modalités d’intervention, ainsi que par l’alliance avec une démarche scientifique. Cette volonté se traduit par le recrutement d’une chargée de mission détentrice d’un doctorat qui a joué un rôle d’intermédiaire avec l’équipe de recherche chargée de l’évaluation.

25 Selon ses acteurs, « la Mission Locale de Tulle » a fait du développement de projets sa « marque de fabrique » et initiait des « expérimentations » au sens non scientifique du terme avant les appels à projets du Haut-commissariat. L’expérimentation pour la sécurisation des apprentis a été portée par son directeur et une salariée « chargée du développement » ainsi que par le directeur du CFA concerné par l’expérimentation.

26 La Mission Locale de Marseille est la plus importante de France. Dès 2005, elle avait initié des actions expérimentales de prévention du décrochage. Le projet « Apipaq » était porté particulièrement par le chargé de développement des partenariats de cette Mission Locale et mis en œuvre par un organisme privé de formation.

27 - Dans le premier cas, la « Mallette des parents », l’expérimentation, issue du premier appel à projets du Haut-Commissariat aux solidarités actives, a été organisée sur deux années scolaires à partir de septembre 2008. Ce projet était porté par le Rectorat de Créteil et fut évalué par les chercheurs de l’Ecole d’Economie de Paris. Cette expérimentation est présentée par le FEJ comme un succès puisqu’elle a fait l’objet d’une généralisation, dont nous étudierons les conditions, et d’un essaimage à partir de 2010. Elle proposait aux parents d’élèves de 6^ème de plusieurs collèges de l’académie des séances d’information sur l’organisation de la scolarité de leurs enfants. L’objectif était, entre autres, d’améliorer la présence en classe de ces derniers, ainsi que leur comportement et l’investissement des parents au collège.

28 - Le deuxième cas est issu du même appel à projets et s’intitule « Sécurisation du parcours des jeunes s’engageant dans l’apprentissage ». Cette expérimentation fut portée par la Mission Locale de Tulle et évaluée conjointement par le CREST (Centre de Recherche en Economie et Statistique) et la DARES (Direction de l'animation de la recherche, des études et des statistiques). L’objectif de cette expérimentation était d’augmenter le taux d’entrée de jeunes en apprentissage et de prévenir les ruptures de contrats d’apprentissage et de parcours de formation. Engagée en avril 2008, elle s’est terminée fin 2011. Selon les évaluateurs, les résultats de cette expérimentation n’ont pas été assez probants statistiquement pour conclure à l’efficacité du dispositif. Ils ont débouché sur la conduite de nouvelles expérimentations de cette intervention par le Conseil National des Missions Locales dans les régions Centre, Pays de la Loire et Rhône-Alpes

29 -Le troisième cas est APIPAQ (Accompagnement Partenarial d’Itinéraires Personnalisés d’Accès à la Qualification). C’est une expérimentation issue du premier appel à projets du FEJ en 2009. Ce projet était porté par la Mission Locale de Marseille et a été évalué par le Céreq (Centre d’Etude et de Recherche sur les Qualifications). L’intervention, mise en place en décembre 2009, a duré deux ans et demi. Son objectif était d’apporter une nouvelle réponse au décrochage scolaire, en coordonnant sa détection, et en proposant une réponse personnalisée aux jeunes via l’organisation d’un Espace d’Accueil Personnalisé (EAP), pendant un an, dans un organisme de formation. Au vu des résultats, les évaluateurs n’ont pas préconisé la généralisation du dispositif. Néanmoins, un dispositif de plateforme de suivi et d’appui aux décrocheurs a été mis en place par les instances nationales avant la fin de l’expérimentation [9].

L’expérimentation aléatoire à la croisée des intérêts

31 La première séquence de l’expérimentation aléatoire est la rencontre d’une variété d’intérêts guidant les acteurs dans cette entreprise commune. Certains sont liés à une recherche d’apprentissage, mais d’autres préoccupations sont aussi présentes, et ces intérêts varient selon les parties prenantes des expérimentations.

32 Pour les porteurs de projets, la décision de conduire une expérimentation évaluée par cette méthode représentait une opportunité d’apport de connaissances, mais aussi une source de financements dans un contexte de restriction budgétaire.

33 On retrouve deux logiques, l’une consistait à profiter du financement pour organiser un nouveau dispositif, comme ce fut le cas pour la « Mallette », l’autre à donner une nouvelle ampleur et structurer des projets existants comme pour les deux autres cas. Cet apport était conséquent puisque cette subvention du FEJ ou du Haut-commissariat a atteint 620 669 euros pour la « Mallette » et 241 585 euros pour APIPAQ [10]. Un porteur de projet résume : « Il y avait moyen d’avoir des interlocuteurs de plus haut niveau et d’aller plus loin dans la démarche, (…) et il ne faut pas se leurrer, on était aussi en recherche de financements. À cette époque, il y avait un vrai coup d’arrêt des financements ».

34 La démarche expérimentale s’inscrivait aussi dans une logique d’apprentissage qui consistait à produire une estimation de l’impact d’une intervention. L’objectif était de conférer une légitimité scientifique au projet pour garantir la pérennité de son financement, voire sa généralisation par des autorités décisionnaires. Cette légitimité était d’autant plus forte qu’elle était apportée par la méthode aléatoire ; en effet, celle-ci était présentée, dans le cadre de ces appels à projets, comme étant la plus rigoureuse pour estimer l’impact d’une intervention, par rapport à d’autres méthodes quasi-expérimentales ou qualitatives (Le Haut-Commissaire aux solidarités actives contre la pauvreté, 2007 ; Conseil scientifique du FEJ, 2009). De fait, choisir un partenariat avec une équipe de recherche souhaitant pratiquer cette méthode s’inscrivait d’une part, dans une stratégie d’amélioration des chances de voir son projet sélectionné et financé et d’autre part, permettait de renforcer la légitimité de ce dernier si son impact était estimé positif par cette méthode. Les porteurs de projet de l’expérimentation de Tulle illustrent cette stratégie par leurs propos : « J’ai compris ce qu’ils entendaient comme type d’évaluation.(…) J’ai compris qu’il y avait des évaluateurs certifiés, entre guillemets, par le Haut-Commissariat et que notre projet ne pourrait être retenu que si on avait ce type d’évaluateur  [11] . » Ils poursuivent : « Quitte à trouver un évaluateur, autant trouver le plus sérieux qui soit, qui ne soit pas contestable (…) pour établir l’efficacité du projet. »

35 Les entretiens conduits auprès des évaluateurs révèlent plusieurs raisons à leur engagement dans ce processus coûteux en temps et en énergie. On note deux situations types : d’une part, les chercheurs qui souhaitaient avant tout « expérimenter » cette méthode d’évaluation ; d’autre part, les chercheurs qui, tout en s’intéressant à cette méthode, l’envisageaient principalement comme un moyen de maximiser leurs chances de sélection par les organisateurs de l’appel à projets.

36 Le premier groupe de chercheurs se composait d’« économistes appliqués » statisticiens, pour la plupart administrateurs de l’INSEE, du Laboratoire du CREST ou de l’Ecole d’Economie de Paris, proches du Cabinet du Haut-Commissaire. Certains d’entre eux, qui faisaient partie du conseil scientifique du FEJ, ont participé au cadrage méthodologique des appels à projets favorables à la méthode aléatoire. Le deuxième groupe était constitué des chercheurs n’ayant pas participé en amont à la définition des appels à projets et ayant eu recours à cette méthode aussi pour maximiser leur chance de sélection.

37 Cette méthode présentait un intérêt académique double. Les chercheurs ont choisi les expérimentations auxquelles ils participaient afin qu’elles nourrissent leur travail de recherche ou qu’elles leur permettent de s’inscrire dans des débats académiques contemporains. Ils ne se perçoivent pas comme des prestataires d’évaluation, mais avant tout comme des scientifiques pouvant aider à résoudre des questions économiques liées à l’intervention publique. Ils peuvent, dans certains cas, orienter une partie du projet pour tester des théories débattues en économie, voire participer à leur conception, comme ce fut le cas pour la « Mallette ». Une autre motivation était de prouver que cette méthode pouvait être appliquée au contexte français de l’action publique. Depuis la modification constitutionnelle du 1^er août 2003 inscrivant dans la loi la possibilité d’expérimenter et autorisant pour la première fois, sous conditions, le traitement différencié des citoyens, un groupement de statisticiens a considéré le développement de cette méthode comme une partie intégrante de leur projet scientifique. Des économistes du CREST expliquent : « Je suis rentré en France avec une seule envie, c’était de faire ça et donc c’est ce que j’ai essayé de faire de multiples façons. », « le Graal des économètres c’était de résoudre les problèmes de sélection, et l’expérimentation était l’outil phare. » [12] Plusieurs articles témoignent de l’engouement de ces chercheurs pour cette méthode, portée à l’époque par la médiatisation des travaux d’Esther Duflo (Duflo, 2005 ; L’Horty et Petit, 2011 ; Zamora, 2011 ; Parienté, 2008).

38 Ensuite, cette méthode présentait l’avantage de pouvoir être utilisée pour l’évaluation, tout en pouvant être convertie en production scientifique correspondant aux standards des revues scientifiques internationales. Ainsi, la pratique de la méthode aléatoire appliquée à des problématiques d’action publique permettait l’apport de financements externes pour les équipes de chercheurs, afin de financer les frais d’une recherche particulièrement couteuse en enquête de suivi des bénéficiaires. Néanmoins, cette alliance nécessaire avec l’évaluation des projets était aussi vécue comme une contrainte par ces chercheurs [13].

39 Enfin, cette méthode représentait aussi un moyen de réunir des fonds pour les équipes et centres de recherche, dans une période de réduction des dotations d’État. Cette méthode conférait aux scientifiques un accès aux marchés de l’évaluation. Elle leur offrait même un avantage concurrentiel, puisqu’elle requérait une maîtrise technique dont ils n’étaient qu’un nombre limité à disposer. L’ampleur des appels à projets a ouvert ce marché à d’autres centres de recherche pour qui le choix de pratiquer cette méthode s’inscrivait dans une stratégie de maximisation de leur chance d’accéder aux financements des appels à projets. Un évaluateur du Céreq se souvient : « C’était la méthode préconisée par le Fonds d’expérimentation (…) Dès le départ, on l’a posée comme une contrainte forte, on leur a dit (aux porteurs de projet) “on va faire comme ça”, il n’y avait pas vraiment de discussion possible puisqu’on pensait que pour que ce soit accepté par les financeurs, il fallait en passer par là. » Ce témoignage peut paraitre surprenant au regard du faible nombre de projets ayant eu recours à cette méthode d’évaluation parmi les projets financés par le FEJ. Ce paradoxe s’explique par la révision à la baisse des critères méthodologiques des jurys du FEJ, après réceptions des candidatures, devant le manque d’offres d’évaluations de qualité ayant recours à la méthode expérimentale aléatoire.

40 Les partenariats porteurs de projets/chercheurs se sont formés soit par la sollicitation de la structure par le chercheur, comme dans le cas de la « Mallette » [14], soit par la sollicitation du centre de recherche par le porteur de projets, comme dans le cas d’APIPAQ, soit lors de rencontres organisées par les initiateurs des appels à projets, comme dans le cas de l’expérimentation de Tulle [15].

41 La méthode aléatoire a organisé une logique d’apprentissage nouvelle en évaluation. En effet, l’évaluation n’était pas uniquement orientée vers l’apprentissage des acteurs de l’action publique, mais devait aussi explicitement satisfaire les intérêts de recherche des scientifiques [16]. Cette méthode était ainsi sous l’influence d’une diversité d’intérêts d’apprentissages et stratégiques. Dans l’ensemble des cas étudiés, l’évaluation aléatoire a été présentée aux porteurs de projets comme une condition augmentant considérablement leurs chances d’accéder aux financements, amenant ces derniers à l’accepter sans que les implications ne soient clairement définies. Face à eux, les chercheurs qui, pour la plupart, avaient peu l’expérience de cette méthode, avaient sous-estimé l’ampleur du travail institutionnel nécessaire à sa mise en œuvre pour assurer aux résultats produits un intérêt académique. Le développement suivant présente d’une part, la nature des compromis entre ces deux parties ; d’autre part, leur recherche d’un terrain d’entente entre les exigences scientifiques du protocole expérimental et les pratiques de mise en œuvre.

La mise en œuvre de la sélection aléatoire

42 La méthode expérimentale par assignation aléatoire, en tant qu’institution scientifique, requiert une conformité forte de la mise en œuvre au protocole préalablement défini, incluant un contrôle de l’administration du « traitement », ainsi que de la composition des groupes de comparaison. Ces exigences ont été sujettes au plus fort travail institutionnel des parties prenantes de l’expérimentation. Elles ont abouti à des sites institutionnels présentant des incarnations variées de cette méthode. Nous présentons, dans un premier temps, la confrontation des pratiques des acteurs scientifiques et de l’action publique autour du tirage aléatoire et, dans un second temps, autour du contrôle des modalités d’intervention.

La difficile convergence des logiques d’apprentissage scientifiques et de l’action publique

54 Suite à une faible puissance statistique, le volet de l’évaluation quantitative de l’expérimentation APIPAQ s’est appuyé sur des redressements statistiques pour conclure à un écart non significatif entre le groupe test et le groupe témoin quant au maintien en formation et l’obtention de diplôme, ainsi que sur l’insertion professionnelle deux ans après le décrochage [19] (Maillard et al., 2012). Les porteurs de projets ont accepté ces résultat ; cependant, ils ont été surpris et déçus par ces derniers qui allaient à l’encontre de leur ressenti sur le terrain ; certains indicateurs ont d’ailleurs été questionnés par le prestataire, notamment sur ce que l’on entendait par « un retour positif en formation ». L’évaluateur de ce projet explique en partie ce décalage par le fait que l’évaluation aléatoire portait uniquement sur l’impact de ce projet sur le retour en formation et pas sur d’autres dimensions du projet. Il précise : « Je ne pourrais pas vous dire si c’est bien ou pas APIPAQ, la seule chose que je peux vous dire, c’est que ça a été fait dans l’objectif de faire retourner les jeunes vers une formation qualifiante et que par rapport à cet objectif-là, le contrat n’est pas rempli. » L’évaluateur déplore aussi sa propre méconnaissance du contenu de l’intervention en tant que telle à l’issue de l’évaluation, en supposant : « S’il y avait eu un impact positif, la valise de généralisation aurait été peu précise. »En d’autres termes, l’évaluateur n’aurait pas été en capacité de proposer un projet standardisé transposable à d’autres contextes en l’absence d’informations sur le dispositif en tant que tel et sa diversité.Entre temps, l’État a installé des plateformes de suivi des décrocheurs, relayant la mise en commun de bases de données de repérage de décrocheurs initiée entre la Mission Locale et l’Éducation nationale, et renforcée par l’expérimentation APIPAQ, comme le souligne le porteur de projet, « APIPAQ était une étape, pas une parenthèse ». Ce site institutionnel révèle donc un décalage d’apprentissage entre, d’une part, l’évaluateur, qui estime un impact non positif selon un objectif défini sur un indicateur unique et, d’autre part, un porteur de projets qui, par cette action, estime avoir renforcé positivement ses partenariats. Les résultats n’ont pas servi à éclairer une nouvelle action puisque les pratiques de repérage des décrocheurs ont été entérinées par une décision nationale prise avant la fin de l’expérimentation. On observe ici des décalages possibles entre le temps de l’expérimentation et celui de la programmation politique qui conduisent à prendre des décisions avant la fin de l’expérimentation et la production d’apprentissages.

55 Les résultats de l’expérimentation sur la sécurisation des parcours des apprentis ont engendré des désaccords entre les porteurs de projets et les évaluateurs du dispositif. Les évaluateurs estiment que l’accompagnement en amont de l’apprentissage, ainsi que pendant, n’a mené ni à un accès accru à l’apprentissage (seulement au pré-apprentissage), ni à une réduction du taux d’abandon (Crest-Dares, 2012). C’est dans la distinction des groupes témoin et test que sont apparues des difficultés. La puissance statistique étant déjà faible, elle n’a pas permis une quantification précise de l’accompagnement. L’expérimentation ne s’est pas déroulée de manière binaire (avec/sans), mais plutôt suivant un continuum de rencontres plus ou moins fréquentes avec les Missions Locales, puisque 40 % des jeunes du groupe témoin de la phase 1 et 50 % du groupe témoin de la phase 2 ont eu au moins un contact avec les missions locales, ce qui a contribué à diluer l’effet du dispositif. L’évaluateur déplore : « Ils ne se rendent absolument pas compte des enjeux scientifiques, pas de l’enjeu, mais des exigences scientifiques, il faut vraiment que l’évaluation soit complètement circonscrite, qu’elle soit complètement nouvelle et que seuls les jeunes assignés en bénéficient. Donc il faut vraiment qu’elle soit différente de ce qu’on fait habituellement. » Les évaluateurs préconisent, en conclusion, de mener davantage d’expérimentations de ce dispositif avant de pouvoir se prononcer. Ce qu’ils ont pu mettre d’ailleurs en application, puisque le Conseil National des Missions Locales a décidé d’essaimer ce dispositif en proposant des expérimentations financées par le FEJ. La logique de ces chercheurs n’est pas d’apporter un éclairage sur le fonctionnement d’un dispositif en particulier, mais de commencer à accumuler des preuves pour nourrir ensuite des compilations de résultats produits par des dispositifs similaires – une perspective scientifique cumulative assumée par le service évaluation du Fonds d’Expérimentation pour la Jeunesse (Valdenaire et Bérard, 2013).

56 Les porteurs de projets ont estimé que les résultats de cette évaluation ne reflétaient pas la réalité du terrain. Comme il n’y a pas eu de véritable groupe témoin, ils ont pris en compte l’évolution globale de la situation des apprentis entre décembre 2007 et décembre 2012. Selon les indicateurs du CFA, le nombre d’apprentis a augmenté de 21 %, les offres d’apprentissage de 8 % et surtout les ruptures de contrat sont passées de 23 % à 18,7 % et les ruptures sans solution non liées à des évènements personnels de 8,2 % à 3,12 %. Néanmoins, dans une démarche comparative entre le groupe témoin et le groupe test, les évaluateurs n’ont pu se prononcer sur la significativité des résultats. Les porteurs de projets ont décidé de continuer le projet, malgré l’absence de résultats. L’un de ces porteurs explique : « Pour nous, l’action ne s‘est jamais terminée, personne n’a voulu l’arrêter, (…), on a eu une réunion à la fin de l’action avec les financeurs locaux, ils ont dit “nous on veut bien voir, mais on veut savoir les résultats”. Or on n’en avait pas, il y avait des résultats partiels, mais peu concluants. »Ce cas témoigne du même décalage d’apprentissage que le précédent, entre des chercheurs s’intéressant à un impact particulier et un porteur de projets avec une vision globale du dispositif, qui consolide des processus de mise en œuvre au cours de l’expérimentation et estime que le processus est stabilisé à la fin de la période expérimentale [20]. En outre, cette expérimentation s’est trouvée en tension entre deux pratiques d’apprentissage aux temporalités différentes. D’une part, les porteurs de projets sont dans l’obligation d’action permanente, laquelle requiert des prises de décision rapides, et donc des résultats probants sur leur action, suffisamment précoces pour défendre le financement de leur projet ; et d’autre part, la logique scientifique faite de prudence et de cumulativité des éléments probants avant de recommander la généralisation.

57 La « Mallette des parents » est présentée par le FEJ comme le modèle vertueux d’expérimentation ayant donné lieu à une généralisation à 1 300 collèges, en 2010, au vu de ses résultats positifs sur la participation des parents et les comportements et résultats des élèves [21] (Valdenaire et Bérard, 2013). Néanmoins, la généralisation de cette expérimentation s’inscrit dans le contexte particulier de l’accession du porteur de projets, le recteur de Créteil, au poste de DGESCO (directeur général de l'Enseignement scolaire) au ministère de l'Éducation nationale en décembre 2009. Celui-ci précise : « Comme je suis devenu DGESCO dans l’intervalle, on s’est dit qu’il fallait le développer dans toute la France, d’autant plus qu’on voyait toutes les vertus, l’une d’entre elles étant que ce n’était pas très couteux par rapport à l’effet choisi. Donc on attendait l’évaluation pour envisager cette généralisation que j’ai proposée au ministre, qui a accepté. (…) Le fait que moi-même je sois devenu une sorte d’abeille en passant de l’échelle Créteil à l’échelle nationale est un cas particulier. » En outre, cette généralisation s’inscrit dans le contexte de la loi Ciotti, de septembre 2010, qui mettait la participation des parents à la scolarité de leurs enfants en haut de l’agenda politique [22]. Un observateur interne explique : « Martin Hirsch était clairement contre la loi Ciotti et pour la Mallette des parents, et Nicolas Sarkozy l’a repris à son compte pour dire : “On fait la loi Ciotti, mais on fait aussi la Mallette des parents, ce n’est pas comme si on était uniquement sur la punition”. »

58 Il semble ainsi que la généralisation de cette expérimentation relève davantage d’une logique politique que d’une pratique scientifique où une généralisation s’effectue au regard de la validité externe des résultats produits. En effet, en examinant de plus près cette expérimentation, il apparaît que la durée d’expérimentation a été réduite de trois ans à deux ans et que la « Mallette », en tant que telle, n’a été évaluée rigoureusement que lors de la première année d’intervention sur un échantillon de 200 classes dont 100 tests, parmi lesquelles 543 parents déjà volontaires ont été sollicités et dont au final 58 % ont participé à au moins une réunion sur trois. En effet, le tirage aléatoire en deuxième année permettait d’estimer rigoureusement uniquement l’impact de modes différents de sollicitations des parents sur leur participation aux réunions « Mallette » et ne disposait plus de la puissance statistique suffisante pour confirmer les effets de la « Mallette » sur une deuxième année » [23].