1Les expériences contrôlées sont en train de devenir un important outil d’évaluation des politiques sociales. Elles empruntent aux sciences médicales le principe de la comparaison d’un groupe test et d’un groupe témoin, choisis de façon aléatoire dans une population, et soumis, ou non, à un dispositif expérimental. Elles permettent de mesurer, de façon robuste et transparente, l’impact causal d’une intervention.

2Car cette approche prend la notion de causalité très au sérieux. Une idée importante, issue de l’épistémologie anglo-saxonne, est qu’il ne peut y avoir de cause bien définie que si on peut imaginer, au moins en principe, une manipulation expérimentale qui ôte ou introduit la cause considérée (Holland, 1986). Cette construction intellectuelle débouche sur un triptyque extrêmement cohérent et opératoire : contrefactuel, causalité, expérimentation.

3Il faut admettre que l’on peut définir, pour chaque individu, un résultat potentiel (mettons une note) dans le cas où il est soumis à l’action considérée et un autre résultat dans le cas où il n’y est pas soumis, ce que l’on appelle des contrefactuels, car ils sont définis indépendamment de la situation individuelle observée. L’effet causal du dispositif est alors obtenu par la comparaison de ces deux résultats potentiels. Cette comparaison est simple à mener si l’on construit, par tirage au sort, des groupes parfaitement semblables sur lesquels il sera possible d’observer l’un et l’autre des contrefactuels. L’expérimentation est le cadre dans lequel il est possible de faire varier l’exposition à l’action considérée.

4La démarche n’est pas nouvelle dans le monde de l’éducation. En fait, c’est dans ce champ qu’ont été menées les premières expériences contrôlées au début du vingtième siècle et c’est dans le Journal of Educational Pyschology que Donald Rubin a présenté en 1974 le modèle causal qui sert de base à toute la littérature contemporaine d’évaluation quantitative. Il existe donc une tradition extrêmement solide d’expérimentation contrôlée en éducation dans la recherche anglo-saxonne, mais elle est mal connue et peu pratiquée en France. Elle est aussi largement cantonnée au périmètre des sciences cognitives qui mènent des expériences de petite taille dans des environnements très contrôlés, quasiment en laboratoire. L’expérimentation sociale élargit cette démarche, en testant des interventions sur une large échelle, afin de les insérer dans un contexte social aussi proche que possible des conditions d’une possible extension du dispositif. Comme on le verra plus loin, dans le champ éducatif, cela peut conduire à se demander s’il est possible de mettre en œuvre à grande échelle des techniques d’apprentissage qui ont été validées par les sciences cognitives : on met alors en jeu non seulement les processus cognitifs, mais aussi l’ensemble des institutions et des comportements sociaux, comme les dispositifs de formation ou la motivation des enseignants.

Une méthode de plus en plus reconnue par le décideur politique

5Deux expériences contrôlées ont particulièrement marqué la recherche en éducation. Il s’agit, d’une part, du projet STAR (Student / teacher achievement ratio) mené de 1985 à 1990 dans le Tennessee (États-Unis) et qui a comparé les performances d’élèves aléatoirement assignés à des classes de 22-25 élèves ou de 13-17 élèves. Ce projet a permis d’établir l’efficacité de la réduction de la taille des classes, dans un contexte où la pertinence de cette politique est difficile à déterminer puisque, en l’absence d’assignation aléatoire, les élèves les plus faibles initialement sont plus souvent affectés dans les plus petites classes. D’autre part, dans le champ de l’économie du développement, l’expérience mexicaine Progressa a eu une influence politique considérable. Elle visait à tester un système de transferts monétaires ciblés sur les ménages pauvres, conditionnels au maintien des enfants à l’école et à certaines démarches sanitaires. Dans la phase expérimentale, le gouvernement mexicain a tiré au sort des villages test et témoin, ce qui a permis de démontrer les effets d’un tel dispositif sur la scolarisation. Cette politique permet donc à la fois de faire des transferts (qui sont souhaités pour eux-mêmes) et d’encourager l’investissement en capital humain de la part des plus modestes. Elle a été adoptée, ou testée expérimentalement, dans de nombreux pays en développement. Ces deux exemples illustrent le potentiel des expériences contrôlées pour démontrer l’efficacité de politiques sociales et influencer les décideurs publics.

6En France, cette démarche commence à être mise en œuvre dans le domaine de l’éducation, mais aussi dans le champ des politiques d’insertion (accompagnement des chômeurs, alternance [1]), et plus largement dans celui des politiques de jeunesse, avec le soutien et l’impulsion du Fonds d’expérimentation pour la jeunesse créé en 2009. Depuis longtemps, l’Éducation nationale est un lieu d’expérimentation, mais celle-ci est de plus en plus formalisée comme telle et fait l’objet d’une attention croissante au cœur même de l’institution. La loi d’orientation de 2005 prévoit et encadre l’expérimentation au niveau des établissements et le ministère a récemment créé, à la Direction générale de l’enseignement scolaire (DGSCO), un département « Recherche, développement, innovation et expérimentation ».

Les principales expériences contrôlées menées en France

7Cette évolution a permis de mettre en œuvre des expérimentations contrôlées. Avec différents collègues [2], nous nous sommes intéressés aux moyens de compenser les déterminismes sociaux qui mènent à l’échec scolaire, en étudiant deux types de démarches qui sont dans une certaine mesure opposées. En forçant légèrement le trait, on pourrait dire que les premières cherchent à substituer l’institution scolaire aux parents ou au milieu social. C’est très nettement le cas des internats d’excellence, qui visent à reconstruire une grande partie de l’existence sociale des jeunes de la sixième à la terminale dans le contexte d’un internat doté de moyens d’encadrement importants. C’est également le cas du dispositif « Coup de pouce clé », mis en œuvre par une association et qui offre tous les soirs après l’école, à un groupe de 5 enfants de CP, une initiation au plaisir de la lecture que tous les milieux familiaux n’offrent pas spontanément. La deuxième série d’expériences, connues sous le nom des « Mallettes des parents » vise au contraire à faire évoluer l’attitude des familles vis-à-vis de l’école et de la scolarité de leurs enfants, en les impliquant dans un échange et une réflexion menés en commun avec des représentants de l’institution sous forme de réunions-débats. Une première Mallette a été déployée et évaluée en sixième (Avvisati et al., 2011) et un deuxième dispositif visant les enjeux de l’orientation en troisième est en cours d’évaluation.

8Les protocoles aléatoires sont divers, et adaptés aux contraintes opérationnelles des différents dispositifs. Ce type d’expérimentation suppose également une collecte de données rigoureuse, selon des procédures identiques dans tous les groupes, et en s’assurant de taux de réponse très élevés. Presque toujours, il faut produire des données spécifiques, soit en soumettant des questionnaires aux parents ou aux enseignants, soit en faisant passer des tests cognitifs ou non cognitifs aux élèves. C’est une contrainte pour l’institution scolaire et on rencontre parfois des résistances : il est important de convaincre le monde enseignant de l’importance des démarches d’évaluation rigoureuses pour faire évoluer les politiques scolaires. Les données administratives sont également précieuses : la mesure de l’absentéisme et des sanctions s’est montrée très importante dans la Mallette en sixième. Dans la Mallette sur l’orientation, le suivi administratif des jeunes, leurs vœux, leur affectation et le repérage des décrocheurs sont particulièrement importants et nécessitent de réunir de façon cohérente un large ensemble de sources.

9La plupart de ces expérimentations sont en train d’être terminées et leurs résultats seront disponibles dans les prochains mois. Mais la Mallette sixième illustre le potentiel de cette démarche. L’évaluation a permis de démontrer qu’un dispositif relativement léger et peu coûteux, comme un ensemble de réunions-débats pour les parents, permettait de changer l’implication des parents dans la scolarité de leurs enfants et de modifier le comportement des jeunes, mesurés à travers les absences non-justifiées, les sanctions ou les récompenses du conseil de classe. L’ordre de grandeur des effets est celui de l’écart entre les enfants de cadres et les autres enfants. Des effets sur les résultats cognitifs (progrès en mathématiques ou en français) ne sont pas apparents, mais la littérature récente suggère que les effets non cognitifs des politiques scolaires sont plus durables et affectent différentes mesures de l’insertion sociale sur le long terme. Il semble qu’en jouant sur une marge largement délaissée par l’institution scolaire (le dialogue avec les familles) il est possible d’affecter sensiblement la situation des jeunes.

10Par ailleurs, cette expérimentation permet de démontrer que les enfants affectés par ce dispositif à travers leurs parents influencent leurs camarades de classe. Ainsi, les enfants des familles non-volontaires qui sont au contact d’enfants bénéficiaires réduisent à leur tour leurs absences (et améliorent les autres mesures de comportement), par comparaison aux autres non-volontaires en moyenne semblables mais qui ne sont pas, dans leur classe, au contact d’enfants bénéficiaires de l’intervention. Ce résultat est important car il implique que de telles politiques peuvent toucher largement les enfants, même s’il reste difficile de mobiliser les parents (et notamment ceux qui pourraient en avoir le plus besoin) pour participer à ce type d’actions.

11Les expérimentations en cours démontrent que cette démarche d’évaluation est possible. Les premiers résultats et ceux qui vont être disponibles devraient montrer que l’on peut mesurer précisément l’impact d’interventions importantes pour la politique scolaire et, par là, guider les décideurs, justifier dans le débat public les options retenues – mais aussi convaincre les acteurs de la pertinence de telle ou telle orientation.

Conclusion : les chantiers à venir

12De nombreux chantiers sont devant nous, par exemple ceux des réformes issues de la concertation de l’automne 2012 : recrutement d’enseignants supplémentaires, réforme de la notation, rythmes scolaires, pratiques pédagogiques etc. Sur beaucoup de ces sujets nous savons peu de choses de l’impact potentiel d’une réforme. Si l’on sait anticiper l’impact d’une réduction de la taille des classes, on ne peut pas en inférer directement des implications pour l’effet du recrutement d’enseignants supplémentaires, qui dépend notamment du rôle précis qui leur est assigné. Ainsi, confronté à la même interrogation, le gouvernement danois mène une expérience contrôlée durant l’année 2012-2013, avant de prendre une décision formelle sur l’affectation des enseignants supplémentaires. Les modes de notation mettent en jeu des mécanismes complexes sur lesquels la recherche est très active : aussi, il est extrêmement difficile d’anticiper les effets de nouvelles pratiques sans les expérimenter et l’on prendrait des risques énormes à ne pas les évaluer rigoureusement. Les rythmes scolaires et les pratiques pédagogiques sont dans une situation comparable : des recherches scientifiques très rigoureuses et analytiques fournissent des pièces du puzzle – quelles sont les périodes d’attention des enfants, quels sont les ingrédients d’un apprentissage efficace de la lecture. Mais elles doivent être assemblées et déployées sur le terrain, dans un monde réel partiellement compris et moins encore contrôlé. Dans le cas de la lecture, des expériences sont menées depuis deux ans et elles révèlent qu’il ne suffit pas de disposer d’un corpus d’entraînements scientifiquement validés : il faut aussi parvenir à faire évoluer les pratiques d’enseignement, ce qui met en jeu la formation et l’encadrement. Nous disposons de résultats très encourageants, mais il ne sera pas possible d’opérer des changements en profondeur sans apporter la preuve de l’efficacité, sur le terrain, de nouvelles démarches.