1La méthode de l’expérimentation aléatoire a été mise à l’honneur à la fin de l’année 2019 à l’occasion de la remise du Prix spécial de la Banque de Suède en mémoire d’Alfred Nobel à Esther Duflot et ses principaux collaborateurs. Est-ce que vous pourriez décrire ce qu’est cette méthode de l’expérimentation aléatoire ? Comment expliquer le succès des évaluations randomisées, cantonnées à l’origine à la médecine, dans le champ de l’économie du développement ? [1]

2La méthode de l’expérimentation aléatoire, à rebours de certaines méthodes quantitatives en économie, est extrêmement simple à comprendre (c’est d’ailleurs une des premières raisons de son succès, en particulier en dehors de la sphère académique). L’idée est similaire à celle des essais cliniques randomisés utilisées en médecine. Prenons l’exemple d’une véritable expérimentation aléatoire qui a eu lieu au Kenya dans les années 1990 (Glewwe, Kremer et Moulin, 2009). Si beaucoup d’élèves étaient scolarisés, leur niveau était très faible. On s’est donc demandé si cela ne provenait pas du manque de moyens dans les écoles. En particulier, les élèves étaient dépourvus de manuels scolaires. On a donc souhaité voir si leur distribution (gratuite) pouvait avoir un effet sur le niveau des élèves. C’est là qu’intervient la méthode en question. On prend un échantillon d’écoles, on les divise aléatoirement en deux groupes : à l’un (appelé le « groupe test »), on va effectivement distribuer des manuels scolaires, à l’autre (appelé « groupe de contrôle », on ne va rien distribuer. Le caractère aléatoire est la clé de la méthode, car c’est lui qui maximise les chances que les groupes soient bien comparables entre eux. Au bout d’un certain temps – par exemple une année scolaire – on fait passer des tests de niveau aux élèves de chacun des groupes. Ensuite, on compare simplement les moyennes obtenues entre les deux groupes, et l’écart est supposé mesurer l’effet des manuels scolaires.

3On le voit : nul besoin de maîtriser des techniques avancées (ni même simples) d’économétrie pour comprendre et appliquer la méthode. Cela signifie qu’elle est à la portée de tous les économistes, et qu’elle est également accessible aux financeurs et aux décideurs publics.

4Dans la seconde partie de votre question, vous commettez une légère erreur (que j’ai moi-même commise au début de mes recherches sur cet objet), qui est à la fois peu importante en même temps qu’elle est révélatrice : les évaluations randomisées ne viennent pas de la médecine. La filiation qui est souvent faite avec la médecine ne tient pas sur le plan historique (Jatteau, 2016). Les origines de cette méthode sont largement pluridisciplinaires, et proviennent tout autant de la médecine que de la psychologie, des sciences de l’éducation ou encore de l’économie. Elle est appliquée dans cette dernière depuis un siècle.

5Cela étant, c’est bien la médecine qui la première s’est emparée de cette méthode à grande échelle. Depuis l’après seconde guerre mondiale en effet, des dizaines de milliers d’essais cliniques randomisés ont eu lieu. Surtout, ils ont permis, dans le cadre de l’evidence-based medicine (Marks, 1999), d’asseoir l’aura de scientificité de la médecine. La filiation qu’opèrent Esther Duflo et ses collègues avec cette dernière permet de profiter de ce qu’Agnès Labrousse (2010) nomme un « transfert de scientificité ».

6Outre la simplicité et l’apparente robustesse de la méthode, plusieurs aspects permettent de comprendre le succès de la méthode de l’expérimentation aléatoire. Tout d’abord, quand elle apparaît dans les pays en développement (dans la seconde moitié des années 1990), avant de s’y développer (dans la première décennie 2000), le « consensus de Washington », qui condense les grandes mesures phares en matière de développement préconisées par les grandes institutions internationales comme le fmi ou la Banque mondiale, s’étiole. Son succès très relatif s’étale au grand jour. Les expérimentations aléatoires vont s’engouffrer dans la brèche. Il ne va plus s’agir de dire « voilà ce qu’il faut faire », mais plutôt « voilà ce qu’il faut faire… pour savoir quoi faire ». Plutôt que d’imposer des politiques dont les effets sont incertains, on va chercher à imposer une méthode qui devrait permettre de déterminer les bonnes mesures. D’un consensus sur les solutions, on va progressivement passer à un consensus sur la méthode.

7Outre cet aspect propre au développement, il faut également replacer la méthode de l’expérimentation aléatoire dans le retour plus large à l’empirie en économie, à l’instar de ce que font Thomas Piketty et son équipe. En matière de politiques publiques, la montée en puissance de l’evidence-based policy, qui vise à baser les politiques publiques sur des preuves, s’accorde avec les expérimentations aléatoires. Enfin, dans un contexte de gestion des deniers publics, serrée dans un certain nombre de pays occidentaux, une approche qui vise à en mesurer précisément les effets ne peut être que positivement accueillie par les gouvernants.

8En quoi le recours à l’expérimentation aléatoire dans le domaine de la lutte contre la pauvreté, par exemple, produirait-il des mesures plus efficaces que celles mises en œuvre avant son introduction ?

9Selon les promoteurs de la méthode l’expérimentation aléatoire, elle permettrait une analyse plus scientifique des effets des politiques mises en œuvre. En effet, selon eux, le problème n’est pas tant les mesures prises en faveur du développement, mais le manque de certitude que l’on a quant à leurs effets. La promesse faite par les tenants des expérimentations aléatoires est donc celle d’une connaissance plus fine, plus scientifique, de l’effet des politiques de développement.

10Cette promesse se heurte à un premier problème : la méthode de l’expérimentation aléatoire, dans l’immense majorité des cas, ne peut que se borner à évaluer des dispositifs mis en œuvre sur un territoire réduit, avec un échantillon d’individus relativement faible comparé à la population dans son ensemble. Dès lors, cette méthode ne peut capter strico sensu les effets des politiques publiques ou des politiques de développement, mais se borne à saisir l’impact d’un programme d’ampleur extrêmement réduite.

11Il faut en effet avoir en tête que le passage d’une échelle microéconomique à une échelle macroéconomique n’a rien d’évident sur le plan de l’évaluation. Dès lors qu’on applique une politique à l’échelle nationale ou même régionale, des effets peuvent apparaître alors qu’ils n’étaient pas présents lors de l’expérimentation. De plus, le sens et l’intensité de l’impact peuvent tout à fait différer une fois que l’on a généralisé l’expérimentation. En effet, rien ne nous dit que l’on retrouve à grande échelle les effets que l’on a trouvés à petite échelle (ce problème est connu dans la littérature sous le nom de « validité externe »). Le contexte, aussi bien spatial que temporel, change, et on peut penser qu’il a lui-même un impact sur les effets du dispositif.

12Vous avez beaucoup documenté le travail qui se niche derrière ce type de méthodes. Pourriez-vous nous décrire la division du travail qu’il sous-tend : Quelles grandes activités lui permettent de fonctionner ? Comment se hiérarchisent-elles entre elles ?

13Les expérimentations aléatoires impliquent essentiellement trois types d’acteurs, auxquels il faut ajouter, pour celles, nombreuses, qui se déroulent au sein du j-pal (Poverty Action Lab), le laboratoire de recherche d’Esther Duflo, toute une bureaucratie.

14Le premier type concerne les chercheurs eux-mêmes. Ils ont la charge de concevoir l’expérimentation, de déterminer ce qui va être testé, de penser la temporalité de sa mise en œuvre et les indicateurs retenus pour mesurer son impact.

15Le deuxième est constitué par les assistants de recherche. Ce sont généralement des étudiants occidentaux, en master ou l’ayant terminé. Ils se rendent dans la zone où a lieu l’expérimentation. Leur rôle est crucial car ils doivent faire l’interface entre les chercheurs et le terrain. Ils sont donc chargés de la mise en pratique de l’expérimentation aléatoire.

16Enfin, on trouve les enquêteurs de terrain. Ce sont systématiquement des nationaux, si possibles provenant de la région où a lieu l’expérimentation. Ils vont au contact des individus faisant partis de l’expérimentation, en leur distribuant le « traitement » (comme les manuels scolaires, par exemple), et, surtout, en passant des questionnaires afin de collecter les précieuses données qui serviront à établir les effets de ce « traitement ».

17Cette division du travail n’est pas propre aux expérimentations aléatoires, mais elle produit ici des effets spécifiques qu’il convient de décrire. La multiplicité des acteurs crée ce qu’un assistant de recherche que j’ai rencontré appelle du « bruit dans le signal ». Dès lors que l’information transite par une chaîne de plusieurs acteurs, une partie de sa signification est perdue. De fait, les assistants de recherche reprochent parfois aux chercheurs de mal connaître les réalités du terrain. Ce dernier est en effet tenu à distance de la plupart d’entre eux. Il faut dire que dans la presque totalité des expérimentations aléatoires, aucun travail ethnographique sérieux n’est réalisé. Cette relative méconnaissance du terrain de la part des chercheurs nuance les résultats qu’ils obtiennent, car le contexte dans lequel ils ont été obtenus est insuffisamment connu. Ainsi, on évalue bien quelque chose, mais on ne sait pas toujours de manière précise en quoi consiste ce quelque chose.

18Est-ce que vous pourriez nous expliquer l’influence de cette méthode sur d’autres façons d’évaluer ?

19Le développement de cette méthode en économie s’est accompagné de la part de ses promoteurs, à commencer par Esther Duflo, d’un fort militantisme en sa faveur. Il ne s’agissait par pour eux d’ajouter une nouvelle méthode d’évaluation dans le paysage ou de prouver qu’on pouvait faire de l’économie du développement autrement, mais bien de montrer que la méthode qu’ils préconisent est la meilleure et constitue un gold standard, comme l’écrit dès 2007 Abhijit Banerjee (2007).

20La Banque mondiale a été particulièrement prise pour cible (Banerjee et He, 2003 ; Deaton et al., 2006). Il lui a été reproché de financer des projets sans prendre la peine de se pencher sérieusement sur leurs effets. Depuis, la Banque mondiale a entendu ces critiques et a créé en son sein un département spécifiquement dédié à l’évaluation, où des anciens du j-pal ont été recrutés.

21En matière de développement, la méthode de l’expérimentation aléatoire est très présente. C’est elle qui bénéficie des financements les plus substantiels, provenant de bailleurs publics (outre la Banque mondiale, il faut compter sur certaines agences de développement, l’Agence française du développement, très critique à l’égard de la méthode, faisant exception), comme de bailleurs privés (à commencer par la fondation Gates). Les autres approches, en particulier qualitatives, sont marginalisées.

22L’utilisation des méthodes d’expérimentation aléatoire en économie du développement ne comprend-elle pas un risque de dépolitisation des débats en économie ?

23Si, tout à fait. Faire de cette méthode l’alpha et l’oméga de l’économie du développement pose un réel problème : celui de réduire la question du développement à une question technique. C’est la démarche défendue par Esther Duflo, qui aime employer l’image du plombier pour décrire le rôle de l’économiste aujourd’hui. À lui de préciser « comment » il faut faire pour réduire les conséquences de la pauvreté sur les individus. L’économiste est ainsi vu comme un technicien, sinon comme un ingénieur du développement.

24Ce faisant, toute perspective d’explications systémiques est mise de côté : on ne cherche plus à savoir pourquoi la pauvreté existe. La vision du développement est uniquement techniciste, alors qu’on ne peut faire l’impasse sur sa dimension politique. Pour s’en saisir pleinement, des expérimentations aléatoires à l’échelle micro-économique, fussent-elles bien menées, ne sauraient être suffisantes. Il s’agit au contraire de réinvestir une économie politique du développement à même de prendre en compte les déterminants économiques, politiques et sociaux qui sous-tendent le développement. Parmi d’autres questions, celles relatives au commerce international, aux politiques économiques, à la finance mondialisée et, plus généralement, au fonctionnement du capitalisme néolibéral, demeurent cruciales pour prétendre considérer le développement dans toute son ampleur. Si les questions techniques sont bien sûr importantes pour prétendre mettre fin au sous-développement, il n’en demeure pas moins, et avant tout, une question politique.