3.1. La dépendance à l’environnement

26La dépendance à l’environnement est un élément clé de la possibilité de généralisation (ou de la validité externe). La question posée est la suivante : obtiendrions-nous le même résultat si nous menions la même expérimentation dans un contexte différent ? Ou plus exactement, le programme qui est en cours d’évaluation aurait-il les mêmes effets s’il était mis en œuvre ailleurs (et pas dans le cadre d’une expérimentation) ?

27En réalité, nous avons là deux questions distinctes : premièrement, bien évidemment, nous devons nous inquiéter de l’impact des différences dans l’environnement sur l’efficacité du programme évalué. L’une des vertus de l’expérimentation est qu’elle nous donne la possibilité d’évaluer l’effet moyen du programme pour une population spécifique, sans partir de l’hypothèse selon laquelle l’effet du programme est constant d’un individu à un autre. Mais si l’effet n’est pas constant d’un individu à un autre, il est alorssusceptible de varier systématiquement en fonction des variables de contrôle. Par exemple, une distribution d’uniformes scolaires n’aura certainement pas le même impact en Norvège et au Kenya. La question est de savoir où placer la barre : le Mexique s’apparente-t-il plus à la Norvège ou au Kenya ? Le même problème se pose également au sein d’un même pays. Très clairement, un raisonnement a priori nous aide peu – le raisonnement économique de base pose que la distribution d’uniformes n’aura d’effet que pour les populations dont le revenu moyen n’est pas très élevé par rapport au prix des uniformes – mais où se situe « pas très élevé » ? Si nos théories sont suffisamment précises pour nous permettre de le savoir, ou si nous posons le principe qu’elles le sont, alors nous n’avons sans doute plus besoin d’expérimentations : la théorie suffit à nous donner une idée de qui aura tendance à obtenir un uniforme ou non, et nous pourrons utiliser cette restriction pour évaluer de manière convaincante les modèles structurels portant sur l’impact de la distribution d’uniformes scolaires. En d’autres termes, sans hypothèses, les résultats d’une expérimentation ne peuvent être généralisés au-delà de leur contexte, mais avec suffisamment d’hypothèses, les données non expérimentales peuvent suffire. Pour justifier l’expérimentation, nous devons nous placer au milieu du gué.

28La deuxième question, sans doute plus spécifique aux expérimentations menées dans le domaine de l’économie du développement (et souvent par des ONG), concerne l’effet lié à celui qui met en œuvre le programme. En effet, plus l’organisation est petite et plus les chances d’obtenir des effets qui ne reflètent que ses caractéristiques propres sont élevées. Ce risque peut être partiellement atténué si l’on se penche avec attention sur la façon dont le programme est mis en œuvre, et particulièrement sur la place du programme évalué dans le plan d’action global de l’organisation (par exemple, quelle est la taille du programme évalué par rapport à toutes les actions menées par l’organisation ? Comment l’équipe de terrain a-t-elle été sélectionnée ? Qui a décidé du choix du lieu ?). Pour que les résultats soient plus qu’une démonstration de possibilité, il faut que le programme soit suffisamment bien défini et bien compris pour que sa mise en œuvre puisse être facilement déléguée à un grand nombre d’équipes de terrain plus ou moins autonomes.

29Néanmoins, tout ceci reste très vague et très subjectif (Qu’est-ce qu’un grand nombre ? Qu’est-ce qu’une équipe suffisamment autonome ?). La seule façon de s’assurer de la généralité d’un résultat est de mener des expérimentations supplémentaires dans des lieux différents, avec des équipes différentes. Si la théorie nous aide à prévoir quels types d’effets sont attendus dans tels types de milieux, il est judicieux de conduire des expériences dans ces différents milieux.

30Plusieurs études ont ainsi été dupliquées dans des contextes différents. Le programme de soutien scolaire, le balsakhi évalué par Banerjee et al. [2007] a été évalué à deux endroits différents (à Bombay et à Vadodara), avec deux équipes de terrain distinctes (toutes deux membres du réseau Pratham, mais totalement différentes au niveau de leur management). Les résultats se sont avérés relativement cohérents. De la même manière, en combinant déparasitage et distribution de complément en fer, Bobonis et al. [2006] ont obtenu un impact sur l’assiduité à l’école dans le nord de l’Inde similaire àcelui que Miguel et Kremer [2004] ont trouvé au Kenya [2004]. Bleakley [2007] trouve des résultats similaires dans son étude du déparasitage au Sud des États Unis au début du vingtième siècle. Le programme PROGRESA/Opportunidades a été répliqué sous différents noms et avec quelques variantes dans de nombreux pays. Dans plusieurs d’entre eux, il a été accompagné d’évaluations aléatoires (en Colombie, au Nicaragua, en Equateur et au Honduras ; des opérations sont en cours au Maroc) (Pour plus d’informations sur l’évaluation du programme PROGRESA d’origine et sur ses duplications, lire Fizbein et Schady [2009]). Les résultats, analysés par différentes équipes de chercheurs dans plusieurs pays sont remarquablement similaires d’un pays à l’autre.

31D’autres résultats sont au contraire différents d’un contexte à l’autre. Une campagne d’information et de mobilisation des Conseils de parents d’élèves a eu un impact positif sur les résultats d’apprentissage au Kenya, mais non en Inde (Banerjee et al. [2008] ; Duflo et al. [2008a]). Une intervention similaire ayant pour objectif de redynamiser les Comités de gestion des centres de santé en Ouganda a également eu un impact très important sur des paramètres sur lesquels il est habituellement difficile d’influer, tels que la mortalité infantile (Bjorkman et Svensson [2007]).

32Outre les duplications pures, des expérimentations similaires menées dans des contextes différents sont autant de moyens permettant d’accumuler des connaissances. L’analyse faite par Holla et Kremer [2008] de 16 évaluations aléatoires portant sur l’élasticité des prix dans les domaines de la santé et de l’éducation en est un bon exemple. Nous reviendrons plus loin de manière détaillée sur ces résultats mais le point clé ici est que ces expérimentations recouvrent une large palette de biens de santé et de biens d’éducation dans plusieurs pays. Un point commun important est la très forte élasticité de la demande pour ces biens selon leur prix, en particulier lorsque le prix se situe près de zéro (à la fois dans le sens positif et dans le sens négatif). Bien qu’il ne s’agisse pas de duplication au sens strict, ces études révèlent toutes le même phénomène fondamental.

33Certains craignent que le système universitaire encourage peu la réplication des expérimentations : les revues seraient moins susceptibles de publier les résultats de la cinquième évaluation sur un même sujet, et les agences internationales seraient réticentes à les financer. L’utilisation généralisée de l’expérimentation en économie est très récente et il est donc difficile d’estimer la gravité de ce problème. Mais compte tenu, par exemple, du nombre de publications sur les bénéfices de l’éducation, nous ne sommes pas trop pessimistes : il semble que les revues n’ont pas de problèmes particuliers à publier plusieurs études sur le même sujet. La bonne nouvelle est que plusieurs initiatives de duplication systématique sont en cours. Par exemple, un programme de transfert d’actifs et de formation ciblant les ultra-pauvres, qui avait été initialement conçu au Bangladesh par l’ONG BRAC (programme décrit en détail ci-après), est actuellement en cours d’évaluation au Honduras, au Pérou, dans les états du Karnataka et du Bengale Occidental, au Bangladesh et au Pakistan. Dans chaque pays, on trouve une équipe de recherche distincte et un partenaire de terrain différent. Des études sur la sensibilité au taux d’intérêt, dupliquant l’expérimentation de Karlan et Zinman [2008], sont actuellement en cours au Ghana et au Pérou(en deux lieux distincts, avec deux partenaires différents). Des évaluations d’impact du microcrédit sont menées simultanément au Maroc, en Inde, aux Philippines et au Mexique. Une formation commerciale est en cours d’évaluation au Pérou, en République Dominicaine, en Inde et au Mexique. Plusieurs programmes visant à encourager l’épargne sont en train d’être évalués au Pérou, aux Philippines, au Ghana et en Ouganda. Ainsi, il semble que les agences internationales ont un intérêt suffisant pour ces expérimentations pour accepter de les financer et qu’il y a suffisamment de chercheurs qui aient envie de les mener. Par exemple, les nombreuses expérimentations en cours concernant les populations ultra-pauvres sont toutes financées par la Fondation Ford, dans une volonté explicite de mieux comprendre le programme en l’évaluant dans plusieurs endroits différents. C’est l’ONG Innovations for Poverty Action (ONG fondée par Dean Karlan), qui est à l’origine de nombre de ces duplications et qui reçoit les financements, mais les équipes de recherche et les partenaires de terrain sont différents dans chaque pays. Les différentes équipes de recherche se concertent sur les stratégies d’évaluation et sur les instruments afin de s’assurer que des résultats différents représenteront bien des différences au niveau des contextes plutôt que des différences au niveau des stratégies d’évaluation.

34Toutes ces études sont en cours et leurs résultats nous permettront d’en apprendre beaucoup plus sur les conditions dans lesquelles les programmes sont dépendants du contexte. Des tests systématiques seront nécessaires afin de voir si les résultats diffèrent d’un site à l’autre. Les enseignements de la recherche sur les effets des traitements hétérogènes, dont nous allons parler ci-dessous, peuvent être utiles : premièrement, les variables indicatrices de site peuvent être traitées comme des variables de contrôle dans le cadre d’une régression et des tests non paramétriques de l’hétérogénéité peuvent être réalisés (voir, par exemple, Crump et al. [2009]). Si hétérogénéité il y a, alors un test plus puissant consisterait à voir si l’hétérogénéité persiste après que l’on a pris en compte l’hétérogénéité des variables de contrôle. Une autre manière de procéder consiste à mener un test pour voir si l’effet de traitement conditionné aux variables de contrôle est égal pour toutes les variables indicatrices de site (Heckman et al. [2010]).

35En principe, si nous étions prêts à mener suffisamment d’expérimentations, dans des lieux suffisamment variés, nous pourrions apprendre tout ce que nous souhaiterions savoir sur la distribution des effets d’un traitement d’un site à un autre, en prenant en compte n’importe quel ensemble de variables de contrôle. Cela n’est pas le cas des études non expérimentales. Bien qu’il soit possible d’identifier une quasi-expérimentation particulière qui permettrait d’identifier l’effet d’un programme dans un contexte précis, il est très improbable qu’une telle quasi-expérimentation puisse être répliquée dans autant de contextes différents qu’on le souhaiterait. Dans les cas des études non expérimentales, on doit supposer que les hypothèses d’identification sont valides dans toutes les études pour pouvoir les comparer. Si plusieurs études non expérimentales donnent des résultats différents, une explication possible est que l’une d’entre-elles – ou plusieurs – est (sont) biaisée (s) (ce principe sous-tend les tests de validité des variables instrumentales basés sur la « sur-identification » ( « overidentification tests »).

36L’idée a été proposée – voir par exemple Rodrik [2008] – que la dépendance environnementale pose moins de problèmes pour les études non expérimentales car celles-ci couvrent des domaines beaucoup plus larges, ce qui permet de les généraliser plus facilement [3]. Il y aurait donc un choix à faire entre les études par assignation aléatoire dont la validité interne est forte, et les études non expérimentales dont la validité externe est plus grande. Pourtant, cela n’est pas nécessairement vrai. Une partie du problème est de savoir ce que l’on veut dire par effet généralisable : cela signifie que si l’on mène la même action dans un lieu différent, on obtiendra le même résultat. Mais de quelle action et de quel résultat parlons-nous ? Dans le cadre d’études transversales dans lesquelles on compare, par exemple, différents types d’investissements, il faut croire au fait que l’action a été la même et que l’on a mesuré les résultats de la même façon et il faut faire confiance au jugement de ceux qui ont construit l’ensemble des données et rassemblé un certain nombre de programmes dans une catégorie générale. Par exemple, la catégorie « Investissements dans l’éducation » peut signifier beaucoup de choses différentes. La conclusion généralisable de l’étude est donc, au mieux, l’impact de la moyenne de l’ensemble des choses que l’on a regroupées lorsqu’on a construit les données agrégées, ce qui ne veut pas forcément dire grand chose.

37Un problème plus subtil se pose lorsque l’on évalue des programmes bien définis. Le fait que pour l’évaluation du programme on utilise les données d’une large zone géographique ne signifie pas nécessairement que l’estimation de l’effet du programme obtenu sera la moyenne des effets du programme sur tous les types de personnes vivant dans cette zone importante (ou sur toutes les personnes qui sont les participants probables du programme). Pour estimer l’effet d’un programme en l’absence d’expérience, on tente de contrôler chaque différence observable entre les personnes bénéficiant du programme et celles qui ne le sont pas ; par exemple, par un appariement statistique ( « matching »). Mais dans l’échantillon apparié, il n’y a pas de garantie qu’on trouve un « match » dans le groupe non traité pour toutes les observations du groupe traité. Il existe plusieurs méthodes qui permettent de gérer cette absence de chevauchement entre la distribution des participants et des non participants (Heckman et al. [1997, 1998] ; Rubin [2006] ; Imbens et Woolridge [2008]) mais, dans tous les cas, l’évaluation sera entièrement motivée par les sous-groupes de la population où, même après l’appariement, il reste à la fois suffisamment de participants et de non participants, et ces sous-groupes pourraient ne pas être représentatifs de la population dans son ensemble. Nous pouvons comparer les caractéristiques observables de la population sur laquelle on a estimé l’effet du traitement à celles de la population dans son ensemble, mais nous n’avons aucun moyen de savoir comment ces personnes diffèrent du reste de la population, pour ce qui est des caractéristiques non observables. Imbens et Woolbridge [2008] concluent ainsi que « ce qui caractérise potentiellementtoutes ces méthodes [qui améliorent les chevauchements entre participants et non participants] c’est qu’elles modifient ce qui est évalué… cela se traduit par une diminution de la validité externe mais il est vraisemblable que cela augmente la validité interne ». Ainsi, le compromis entre validité interne et validité externe est également présent dans les études non expérimentales. Il est bien connu (voir Imbens et Angrist [1994]) que c’est également vrai pour les évaluations avec variables instrumentales : les participants pour lesquels les effets du programme sont identifiés (les « compliers ») peuvent constituer un petit sous-ensemble non représentatif de la population d’intérêt. Dans une expérience, si les taux de participation des personnes choisies pour le groupe de traitement restent élevés, nous savons que la population affectée est au moins représentative de la population choisie pour l’expérimentation.

38Heckman introduit la notion de « biais de randomisation » : une impossibilité à généraliser les résultats d’une expérience qui viendrait du fait même de la randomisation ; le fait que l’on évalue le programme en ayant recours à une évaluation aléatoire modifie la manière dont les acteurs se comportent. L’une des formes de ce biais est l’effet Hawthorne ou l’effet John Henry : le comportement des individus des groupes traité ou témoin change car ces individus savent que le programme est en train d’être évalué. Bien que l’estimation de l’effet du programme puisse être valide d’un point de vue interne, sa pertinence est alors limitée en dehors de l’expérimentation (Heckman et Vytlacil [2008b]). Toutefois, les effets Hawthorne constituent un problème quel que soit le contexte à partir du moment où l’on étudie des participants. Ils ne sont pas spécifiques à l’expérimentation en tant que telle [4]. Les chercheurs en sciences sociales s’inquiètent du biais lié à l’interview (par exemple parce que les gens souhaitent donner une certaine impression à l’enquêteur).

39Une autre forme plus subtile de biais lié à l’assignation aléatoire est présentée par Heckman [1992]. Il constate que, dans l’expérimentation du programme de formation professionnel JTPA, tous les sites n’ont pas accepté de participer et que certains sites en particulier ont spécifiquement refusé l’expérimentation à cause de l’assignation aléatoire. Il se peut que ces sites soient différents. Dans le domaine de l’économie du développement, les expérimentations tendent à être menées avec divers partenaires mais il est vrai que toutes les ONG ou tous les gouvernements ne sont pas volontaires pour participer à des évaluations aléatoires. Si les évaluations aléatoires ne peuvent être menées que dans des sites spécifiques ou qu’avec certains partenaires particuliers, c’est précisément parce qu’elles sont aléatoires et que les partenaires ne l’acceptent pas tous. Dans de nombreux sites, la duplication ne permet pas de faire disparaître le problème. Il s’agit là d’une objection de taille (étroitement liée au problème de participation dont nous parlerons plus bas) – à savoir le problème de la participation au niveau de l’organisation – et il s’agit-là d’une critique difficile à réfuter dans la mesure où les données – quel que soit leur nombre – ne seront jamais suffisantespour nous rassurer totalement sur l’absence de ce problème. Cela dit, notre expérience suggère que, dans le contexte des pays en développement, ce problème tend à disparaître car les évaluations aléatoires sont de mieux en mieux acceptées, et les partenaires se multiplient. La situation va continuer de s’améliorer si les évaluations aléatoires sont recommandées par les donateurs dans la mesure où les partenaires se diversifieront encore davantage.

40C’est déjà ce qui est en train de se passer. De nombreux chercheurs et acteurs de terrain de la Banque Mondiale travaillent notamment avec les gouvernements de pays en développement en vue de lancer un ambitieux programme d’évaluation [5]. Par exemple, l’Initiative Africa Impact Evaluation soutient (financièrement et techniquement) plusieurs gouvernements africains pour la mise en place, en Afrique, d’évaluations aléatoires sur différents sujets. A l’heure actuelle, 67 évaluations aléatoires sont en cours dans le cadre de ce programme et couvrent 5 thèmes : l’éducation, la lutte contre le paludisme, la lutte contre le sida, la gouvernance et les transports. AGEMAD est une évaluation récente menée dans ce cadre : il s’agit d’une initiative visant à réformer l’école à Madagascar (Banque Mondiale [2008]). Ce projet démontre la volonté et la capacité d’un Ministère de l’Education à mettre en œuvre une évaluation aléatoire dès lors qu’il reçoit le soutien et les encouragements nécessaires de la part d’une grande agence de financement.

41A notre avis, le fait que les partenaires qui mènent des évaluations aléatoires se distinguent par leur volonté et leur capacité à suivre un protocole constitue un problème plus délicat que l’adhésion à la randomisation. En effet, il est possible que ces caractéristiques n’existent plus lorsque les projets seront développés à une plus grande échelle. Il est important d’avoir conscience de ces limites lorsque l’on interprète les résultats. Jusqu’à présent, insuffisamment d’efforts ont été consacrés à réaliser des évaluations « à moyenne échelle » de programmes qui avaient bien fonctionné à petite échelle ; c’est pourtant là que ces problèmes de mise en œuvre apparaîtraient de manière évidente.

42Cela dit, cette difficulté n’est pas non plus totalement absente des études non expérimentales, en particulier dans les pays en développement. Les programmes ne peuvent pas tous être évalués de manière convaincante. On a souvent besoin de bases de données importantes (notamment si l’on veut améliorer la validité externe en étudiant un programme national). Dans certains cas, les données sont collectées spécifiquement pour l’évaluation, souvent avec l’aide du Bureau National des Statistiques du pays concerné. Dans ce cas, il faut que le pays accepte l’évaluation d’une politique à grande échelle, ce qui est politiquement plus sensible que lorsqu’il s’agit de programmes pilotes, beaucoup moins visibles ; ainsi, les pays peuvent sélectionner les programmes à évaluer de manière stratégique. Dans certains cas, il est possible d’utiliser des enquêtes régulières, à grande échelle (comme le National Sample Survey en Inde, l’enquête SUSENAS en Indonésie, etc.).Mais de tels dispositifs n’existent pas dans tous les pays en développement, bien que des bases de données telles que les Enquêtes de Santé et Démographiques ( « Demographic and Health Surveys ») qui sont disponibles dans la plupart des pays aient certainement amélioré les choses. Ainsi, ni les pays ni les programmes qui peuvent être évalués avec des données non expérimentales ne sont choisis au hasard. La difficulté de généraliser les résultats d’une étude donnée est donc toujours potentiellement présente, quelle que soit les approches employées.

3.2. Questions de participation

43Un taux de participation élevé facilite l’interprétation de l’estimation des variables instrumentales des estimations du « traitement sur le traité » ( « treatment on the treated ») et donc la généralisation des résultats à d’autres environnements. En économie du développement les expérimentations ont souvent été randomisées au niveau de lieux ou de groupes (villages, quartiers, écoles) dans lesquels les acteurs de terrain peuvent raisonnablement penser qu’ils seront en mesure de mettre le programme en œuvre. Le taux de participation des sites à l’expérience est donc élevé, souvent de 100 %. L’échantillon traité sera donc vraisemblablement un sous-ensemble aléatoire de l’ensemble de lieux sélectionnés pour le programme. Si le programme est ensuite volontaire, les bénéficiaires ne sont pas choisis au hasard, mais leur sélection reflète ce que l’on observerait si la politique était généralisée, ce qui rend l’estimation de l’effet de traitement sur les traités pertinente.

44Heckman [1992] s’est penché sur l’interprétation des résultats d’expérimentations aléatoires menées aux États-Unis dans lesquelles on proposait aux personnes de suivre un programme de formation professionnelle. Si l’on compare les personnes à qui on a donné le choix de prendre part à un programme de formation à celles à qui on n’a pas donné ce choix, on obtient une identification correcte de l’effet qu’a le fait d’offrir une telle possibilité ( « intention to treat »). L’estimation par variable instrumentale utilisant l’intention de traiter comme instrument estime correctement l’impact moyen de ce programme sur des personnes qui ont choisi d’y participer. Mais comme ces personnes sont volontaires, cela ne nous renseigne pas sur l’impact moyen d’un programme de formation qui serait rendu obligatoire pour les individus percevant des allocations chômage : l’effet pourrait être plus faible pour des gens que l’on force à participer. Pour obtenir un tel résultat, il faudrait organiser une expérimentation avec participation obligatoire.

45Des questions similaires se posent dans certaines expérimentations menées dans les pays en développement. Par exemple, l’étude de Karlan et Zinman [2007] sur les effets de l’accès au crédit à la consommation porte sur une population dont les demandes de prêts ont été rejetées par la banque. Les chercheurs ont demandé aux agents de la banque d’identifier dans cette population un petit groupe de personnes refusées et d’en « repêcher » certaines, en les sélectionnant de manière aléatoire. Cependant, les agentsconservaient leur pouvoir discrétionnaire et l’ont utilisé pour rejeter approximativement la moitié de ceux qui étaient « repêchés ». L’expérimentation identifie l’effet de ce crédit supplémentaire sur la population des personnes ayant été « repêchées » : il apparaît que ce crédit augmente les chances pour la personne de conserver son emploi ainsi que son revenu. S’il est vrai que cette expérimentation fournit des preuves (très intéressantes) du fait que le crédit à la consommation peut être une bonne chose pour certaines personnes, compte tenu de la nature inhabituelle de la population traitée (ceux ayant été « repêchés » à deux reprises), il reste possible que cet échantillon ne soit pas représentatif de l’effet pour ceux dont la demande de prêt a été directement acceptée ou définitivement rejetée.

46Heckman se demande également si les évaluations aléatoires sont la meilleure méthode pour savoir qui prend part aux programmes proposés, et pourquoi. Mais l’assignation aléatoire peut être utilisée précisément pour essayer de mieux comprendre les problèmes de sélection. Comme nous l’avons vu plus haut, plusieurs études ont été menées dans lesquelles l’assignation aléatoire est spécifiquement conçue pour mesurer l’effet de sélection, qui serait impossible à mesurer par d’autres moyens (Karlan et Zinman [2005] ; Ashraf et al. [2007] ; Cohen et Dupas [2007]). Pour mieux comprendre la sélection, Cohen et Dupas [2007] ont recueilli les taux d’hémoglobine des femmes qui ont acheté des moustiquaires à différents prix. Elles souhaitaient examiner si les femmes prenant uniquement les moustiquaires gratuites étaient moins susceptibles d’être anémiées. Dans d’autres études, bien que l’évaluation ne soit pas spécifiquement conçue pour capter l’effet de sélection, le taux de participation des personnes à qui on propose le programme est particulièrement intéressant à étudier, et les données initiales sont spécifiquement collectées pour étudier cet effet. Par exemple, les résultats intéressants de l’étude menée par Ashraf et al. [2006] permettent de décrire les caractéristiques de ceux qui adoptent un système d’engagement pour se forcer à épargner.

47Dans d’autres cas, l’adhésion au programme n’est pas un problème car le traitement se présente comme un cadeau, à la différence de l’offre de formation qui n’a aucune valeur à moins que la personne ne soit prête à y investir le temps suffisant. Par exemple, deMel et al. [2008] ont cherché à cerner, au Sri Lanka, l’effet résultant de l’octroi de dons entre $100 et $200 à toutes les entreprises de leur échantillon. Ils ont mis en valeur un impact important de ces bourses sur les revenus des entreprises, qui correspond à un rendement du capital équivalent à 5 %. McKenzie et Woodruff [2008] ont mené la même expérimentation au Mexique et les rendements qu’ils ont obtenus étaient plus élevés (20-35 %). Dans les deux cas, le fait que les entreprises ciblées étaient de petites entreprises était un élément crucial : le montant du don permettait de s’assurer que pratiquement tout le monde trouverait un intérêt à participer au programme (même lorsqu’il s’agit d’un cadeau, le fait de participer induit toujours un coût pour le participant).

48Cependant, il peut arriver que même un cadeau soit refusé, comme nous l’avons découvert à notre grande surprise lorsque nous avons travaillé avec l’institution de microcrédit Bandhan pour évaluer leurs programmes destinés à venir en aide aux ultra-pauvres (A. Banerjee, R. Chattopadhyay, E. Duflo, et J. M. Shapiro, résultats non publiés). Dans le cadre du programme Bandhan, les villageois qui sont trop pauvres pour pouvoir accéder au réseau de la micro-finance sont identifiés grâce à une évaluation participative de leurs ressources ainsi que par d’autres enquêtes de suivi, puis on leur offre un actif (en général, deux vaches, quelques chèvres, ou d’autres actifs productifs) d’une valeur comprise entre $25 et $100, et ce sans aucune obligation légale (si ce n’est qu’on leur demande de prendre soin de ce qui leur a été donné et qu’on leur indique qu’il y aura un suivi). On leur verse également une indemnité hebdomadaire et on leur assure une formation. Le but est de voir si le fait d’avoir accès à des actifs entraîne une amélioration à long terme de leurs conditions de vie (ou si ces personnes vont tout simplement vendre les biens et en épuiser rapidement les produits). Le protocole de l’évaluation a été conçu en considérant que toute personne à qui un actif serait offert l’accepterait, or il en a été tout autrement. Une part importante des clients (18 %) a refusé la proposition : certains se méfiaient car ils pensaient que l’on essayait de les convertir au christianisme ; d’autres pensaient qu’il s’agissait d’une ruse pour les endetter – et qu’en fin de compte, on leur demanderait de rembourser –. D’autres encore ne doutaient pas des motivations de Bandhan mais se sentaient incapables de s’en sortir et de prendre correctement soin de ce qui leur était donné, ils ne voulaient pas se trouver mal à l’aise dans le village en cas de perte du bien.

3.3. Problèmes spécifiques liés à l’assignation aléatoire

49L’étude Bandhan nous offre un exemple de biais de l’assignation aléatoire, à savoir l’effet de Hawthorne : le fait de faire partie d’une expérimentation (et d’être contrôlé) influence les comportements. Le fait que ces villageois n’étaient pas habitués à voir un organisme privé distribuer des actifs gratuitement a certainement contribué au problème. Cependant, il est possible que Bandhan n’ait pas fait suffisamment d’efforts de communication pour informer les villageois des détails du programme, précisément parce que seuls certains des ultra-pauvres serait sélectionné au hasard pour en bénéficier, et Bandhan ne souhaitait pas créer un effet d’attente.

50Dans la plupart des expériences, l’assignation aléatoire au niveau du lieu se justifie du fait de contraintes budgétaires et administratives. C’est précisément la raison pour laquelle les organisations acceptent souvent de procéder à une randomisation à ce niveau. Parce que les gouvernements ont des budgets limités, et parce que de très nombreuses ONG de petite taille mènent de nombreuses actions différentes, les villages ou les écoles dans la plupart des pays en développement sont habitués au fait que certaines zones bénéficient de certains programmes et d’autres non. Lorsqu’une ONG ne travaille que dans certains villages, les villageois la voient comme faisant partie de la stratégie globale de l’ONG. Lorsque l’on explique aux habitants des zones témoins que le budget n’est suffisant que pour un nombre limité d’écoles, ils sont généralement d’accord pour considérer qu’un tirage au sort est un moyen équitable d’allouer ces ressources limitées. Bien souvent, ces personnes sont tellement habituées à l’arbitraire que le principe d’assignation aléatoire leur semble à la fois transparent et légitime.

51L’un des problèmes que pose la reconnaissance explicite de l’assignation aléatoire comme un moyen équitable de répartir le programme, c’est que les acteurs de terrain peuvent penser que la manière la plus simple de présenter le programme à la communauté consiste à dire qu’il est prévu que ce programme soit à l’avenir étendu aux zones témoins (surtout lorsque cela est effectivement prévu, comme dans les cas de déploiement progressif). Cela peut créer des problèmes si, parce qu’ils anticipent le traitement, certains individus tendent à modifier leur comportement. Cette critique a été émise dans le cadre de l’évaluation du programme PROGRESA : comme les villages témoins savaient qu’un jour ou l’autre ils seraient eux aussi couverts par le programme, cela a pu avoir une influence sur leur comportement.

52Lorsque pour l’évaluation il est nécessaire que les individus ne sachent pas qu’ils sont exclus du programme, les comités d’éthique accordent en général une dispense de divulgation complète jusqu’à la fin de l’enquête, du moins lorsque le programme ne fait courir aucun risque au sujet. Dans de tels cas, les participants ne sont pas informés qu’ils font partie d’une étude randomisée. Une telle situation est plus courante lorsque l’assignation aléatoire est opérée au niveau de l’individu. Dans de tels cas, les bénéficiaires sélectionnés sont uniquement informés qu’ils ont reçu le programme : le prêt qu’ils avaient demandé leur a été accordé (Karlan et Zinman [2007]) ou que la banque a décidé de baisser leur taux d’intérêt (Karlan et Zinman [2005]), mais pas qu’il s’agissait d’une expérience.

3.4. Les effets d’équilibre

53Un problème connexe est celui posé par ce que l’on appelle couramment les effets d’équilibre général (bien que ce terme puisse créer une confusion ; nous préférons donc parler d’effets d’équilibre car le concept d’équilibre général est essentiellement un concept multimarché). Les effets d’un programme identifiés dans le cadre d’une petite étude peuvent être différents des effets du programme s’il était généralisé au niveau national (Heckman et al. [1999] ; Abbring et Heckman [2007]). Prenons par exemple ce qui se passerait si l’on essayait de généraliser un programme qui indique – dans le cadre d’une expérimentation à petite échelle – que des fillettes désavantagées ayant reçues des bourses leur permettant d’aller dans des écoles privées sont mieux formées et perçoivent des revenus plus élevés. Si le programme était généralisé au niveau national, deux choses pourraient se produire : les écoles privées pourraient être surchargées, et les bénéfices de l’éducation pourraient baisser en raison d’une augmentation de l’offre. Ces deux effets conduiraient à des résultats plus faibles que dans l’expérience localisée.

54Le problème des effets d’équilibre n’a pas de solution totalement satisfaisante. Fort heureusement, il se présente rarement. Par exemple, si nous souhaitons déterminer quelle est la meilleure stratégie pour favoriser la vaccination (distribution fiable des vaccins ou distribution fiable des vaccins accompagnée d’un petit cadeau pour que la mère se souvienne de faire le rappel du vaccin à temps) (comme dans Banerjee et al. [2008b]), la méthodeexpérimentale ne pose aucun problème. Le fait que pour vacciner la totalité de la région il n’est pas nécessaire de recruter beaucoup d’infirmières supplémentaires nous aide car nous pouvons supposer que le coût d’une infirmière ne va pas augmenter de beaucoup, voire pas augmenter du tout, si le programme est généralisé. Inversement, bien qu’il soit utile de savoir que les élèves ayant reçu des bourses pour l’école privée en Colombie s’en sortent mieux, tant au niveau de leurs études que plus tard dans la vie (voir Angrist et al. [2002, 2006]), il est probable que la généralisation du programme entraînerait une augmentation de l’offre de travail éduqué, et donc une baisse de la rémunération de l’éducation. Un problème similaire se pose pour l’évaluation des programmes de formation professionnelle. Par exemple, Attanasio et al. [2008b] ont eu recours à l’assignation aléatoire de candidats dans le cadre d’un programme de formation professionnelle en Co-lombie. Le programme s’intitulait Jovenes in Action et l’objectif était d’en évaluer l’impact. Attanasio et son équipe montrent que le programme a un effet important sur le taux d’emploi une fois le diplôme obtenu. Cependant, dans la mesure où le programme de formation proposait également une aide à la recherche d’emploi, il se peut qu’il ait aidé les stagiaires à trouver plus facilement un travail aux dépends d’autres jeunes. Cet effet pourrait disparaître totalement dès lors que le programme s’adresserait à tous les jeunes d’une même ville.

55Les effets d’équilibre peuvent être étudiés dans des études de programmes menés à grande échelle. Cela n’est pas un argument en faveur des études « cross-countries », qui sont souvent impossible à interpréter, mais plutôt des études basées sur des données microéconomiques qui tirent parti de changements de politique économique de grande échelle. Bien que ces politiques ne soient typiquement pas assignées de manière aléatoire, ces études permettent d’être attentifs aux problèmes de causalité ainsi qu’aux effets d’équilibre. Un bon exemple de ce type de recherche est le travail réalisé par Hsieh et Urquiola [2006] qui utilisent un protocole quasi expérimental pour démontrer que le programme chilien de coupons pour l’école privée ne s’est pas traduit par une amélioration générale de la qualité de l’éducation, bien qu’il ait modifié l’allocation des élèves dans les écoles. D’autres études se penchent spécifiquement sur d’éventuels effets d’équilibre de marché des politiques, comme par exemple les études d’Acemoglu et Angrist [2001] et de Duflo [2004a].

56On peut vérifier si les résultats provenant d’une étude quasi expérimentale au niveau d’une zone concordent avec les résultats d’expériences aléatoires plus locales. Par exemple, dans le cas des coupons, nous nous attendons à ce que les effets d’équilibre viennent enrayer la réponse de l’offre et donc, nous nous attendons à ce que des études plus importantes, quasi-expérimentales, donnent des effets plus modestes que ceux constatés dans les expérimentations. Si nous constatons le contraire, alors il faudra s’interroger sur la fiabilité ou la représentativité de l’étude non-expérimentale. En ce sens, les expérimentations et les études non expérimentales peuvent se compléter plutôt que de se substituer les unes aux autres.

57Une autre approche consiste à essayer d’évaluer l’importance de l’effet d’équilibre en utilisant la méthode expérimentale. Dans le cadre d’une recherche en cours, Kremer et Muralidharan (résultats non publiés) ont étudiéles effets d’un programme de bourse pour l’école privée grâce à une double assignation aléatoire : ils ont assigné de manière aléatoire les villages dans lesquels les bourses ont été distribuées, ainsi que les personnes qui ont reçu les bourses au sein d’un même village. En comparant les estimations qu’ils vont obtenir à partir de ces deux traitements, ils espèrent être en mesure de déduire l’importance de l’effet d’équilibre. Cette approche ne traite que d’un niveau d’équilibre (sur le marché de l’éducation, pas sur celui du travail) mais il s’agit là d’un début important.

58Une autre alternative consiste à combiner les résultats de différentes expérimentations en utilisant une expérimentation (ou éventuellement une quasi-expérimentation) pour estimer l’élasticité de la demande de compétences, une autre pour estimer l’offre d’enseignement de qualité et une troisième pour estimer dans quelle mesure la distribution de bourses pour l’école privée contribuent à l’acquisition de compétences. Ce type de travail nécessite une approche plus structurelle, toutefois il a la capacité de combler l’écart entre les mondes macro et micro. Il répond aux critiques selon lesquelles les expérimentations peuvent permettre d’obtenir la bonne réponse à des questions mineures sans pour autant parvenir à traiter des « grandes » questions d’intérêt (comme on peut le lire dans certains des commentaires portant par exemple sur l’article de Banerjee dans la Boston Review ; ces commentaires sont présentés dans Banerjee [2007]). L’expérimentation peut nous aider à estimer les paramètres économiques (tels que la rentabilité du capital pour les petites entreprises, l’élasticité de l’emploi, les avantages individuels de l’éducation, etc.), paramètres qui peuvent ensuite être utilisés de manière combinée avec des modèles d’équilibre microfondés (Heckmanet al. [1999] ont développé et exposé cette méthode pour une politique d’enseignement). Il existe en économie du développement une littérature de plus en plus importante, avec notamment des gens comme Robert Townsend et ses collaborateurs, qui tente d’intégrer les microestimations dans l’étalonnage des modèles de croissance avec contraintes de crédit [6]. Il est clair qu’il reste encore beaucoup à faire dans ce domaine.

3.5. L’hétérogénéité des effets du traitement

59La majorité des évaluations de programmes sociaux se concentre exclusivement sur l’impact moyen. L’un des avantages des résultats expérimentaux réside dans leur simplicité : ils sont faciles à interpréter car la seule chose à faire consiste à comparer des moyennes – ceci pourrait encourager les décideurs politiques à prendre ces résultats plus au sérieux (voir, par exemple, Duflo [2004b] ; Duflo et Kremer [2004]). Cependant, comme le soulignent Heckman et al. [1997], l’effet moyen d’un traitement peut ne pas être ce que les décideurs politiques veulent savoir : ils pourraient s’intéresserplus à l’effet sur les plus pauvres, ou sur les plus riches. D’un point de vue intellectuel, restreindre l’analyse à une comparaison naïve des moyennes n’a pas grand sens.

60Malheureusement, l’effet moyen d’un traitement (ou l’effet moyen du traitement dans un sous-échantillon déterminé par des variables observables) est la seule statistique conventionnelle de la distribution que l’on puisse obtenir à partir d’une expérimentation aléatoire, sans hypothèses supplémentaires (Heckman [1992]). Bien entendu, nous pouvons toujours comparer la totalité de la distribution des résultats obtenus pour un traitement à celle des résultats obtenus pour l’échantillon témoin : il existe des tests de comparaison des distributions ainsi que les dominances stochastiques (voir Abadie [2002]). Par exemple, Banerjee et al. [2007] ont montré que la distribution des résultats aux examens parmi les élèves des écoles qui bénéficient d’un balsakhi (ou tuteur) fait apparaître une dominance stochastique de premier ordre dans le groupe traitement (par rapport au groupe témoin) et que la majorité des gains sont obtenus chez les enfants initialement en situation d’échec scolaire. Cette découverte est importante car, dans les classes du programme, les enfants en situation d’échec scolaire étaient extraits de la salle de classe et se voyaient proposer un soutien scolaire, alors que ceux qui étaient en tête de classe restaient dans la classe. Ainsi, on s’attend à obtenir des effets différents sur les deux groupes et il serait difficile de justifier le programme s’il n’aidait que les meilleurs élèves. Dufloet al. [2007] ont également étudié comment le programme de motivation des enseignants grâce à l’appareil photo, dont nous avons parlé plus haut, a un effet sur la totalité de la distribution des absences parmi les professeurs et ils ont trouvé une dominance stochastique de premier ordre. Cependant, le fait de comparer ces distributions ne fournit pas d’information sur la distribution des effets du traitement en tant que tel (car les différences de quantiles d’une distribution ne sont pas le quantile de la différence).

61Dans leur excellent examen de la littérature économique récente traitant de l’évaluation des programmes (y compris des détails techniques qui sont derrière une grande partie de la matière traitée ici), Imbens et Woolridge [2008] avancent l’opinion que la distribution des variables d’intérêt dans le groupe traitement et dans le groupe témoin (que l’on peut toujours connaître) est tout ce que nous avons besoin de savoir sur le programme : toute fonction de bien-être sociale est définie en fonction de la distribution des variables d’intérêt, pas en fonction de la distribution des effets du traitement. On pourrait ne pas être d’accord avec ce point de vue. Une personne en charge de la planification peut s’intéresser au pourcentage de personnes qui vont bénéficier d’un traitement, pourcentage qui n’est pas identifié par des expérimentations (ou par n’importe quelle autre méthode d’évaluation) sans hypothèses supplémentaires. Pour bien comprendre toute l’étendue du problème, prenons l’exemple suivant : nous avons une population de trois personnes dont nous connaissons les valeurs des « potential outcomes » (ou, la valeur de la variable d’intérêt dans les deux états possibles, traité ou contrôlé), avec et sans traitement. Sans traitement, le potential outcome de Monsieur A est de 1, celui de Monsieur B est de 2 et celui de Monsieur C est de 3. Avec traitement, le potential outcome de Monsieur A est de 2, celui de Monsieur B est de 3 et celui de Monsieur C est de -4. Que devons-nouspenser de ce programme ? Que ce soit en termes d’effet moyen du traitement ou en termes de distribution générale, le traitement a échoué : la distribution 1, 2, 3 pour le potential outcome sans traitement domine stochastiquement la distribution -4, 2, 3 du potential outcome avec traitement. Devons-nous par conséquent en conclure qu’un décideur politique devrait toujours favoriser l’échantillon témoin par rapport au traitement ? Pas nécessairement, car le traitement bénéficie à une majorité et le décideur politique peut avoir un intérêt à faire ce qui est bien pour le plus grand nombre. Et même si nous ne sommes pas d’accord avec les préférences des décideurs politiques, il est difficile d’argumenter que c’est l’évaluateur qui doit dicter le choix de la fonction de bien être social.

62Dès lors que nous reconnaissons l’intérêt potentiel qu’il y a à identifier la distribution des effets d’un traitement (et non la distribution des résultats finaux), un problème se pose : il est impossible d’extraire cette information de la distribution des résultats dans le groupe témoin et dans le groupe traitement. Le problème ici est d’ordre logique et il n’est pas spécifique aux expérimentations en tant que telles, ni d’une quelconque autre stratégie d’évaluation spécifique – l’information pertinente n’est tout simplement pas disponible parce que nous ne connaissons pas les potential outcomes traités et contrôlés pour chaque individu. Dans le cas d’une expérience randomisée, Heckman et al. [1997] montrent que l’introduction d’hypothèses de comportement supplémentaires (plus spécifiquement, la modélisation de la décision de participer comme une fonction des résultats potentiels, avec et sans traitement) permet une estimation précise des liens au niveau des caractéristiques de la distribution des effets du traitement. Abbring et Heckman [2007] donnent une liste détaillée de méthodes pour estimer la distribution des effets d’un traitement. Ces techniques peuvent également s’appliquer dans des contextes non expérimentaux mais les auteurs soulignent le fait qu’elles peuvent être particulièrement utiles avec des données expérimentales car, d’une part, les expériences permettent d’éviter les problèmes de sélection qui « minent les données non expérimentales », et d’autre part elles garantissent que les variables observées aient un support commun dans les groupes de traitement et de contrôle, une condition nécessaire à l’application de ces techniques.

63A notre avis, la recherche expérimentale aurait tout à gagner à participer plus aux travaux de ce corpus de recherche. Communiquer des résultats dont la validité est sujette à plus d’hypothèse en plus des résultats purement expérimentaux ne peut qu’enrichir le travail expérimental, dès lors que les limites de ces résultats additionnels sont explicitement discutées. Cependant, les expérimentations conservent un avantage essentiel par rapport aux autres méthodes : avec très peu d’hypothèses, il est possible de connaître des aspects importants de l’impact du traitement (tels que la moyenne pour n’importe quel sous-groupe). Le fait que nous souhaitions aller au-delà de ces mesures, et que nous puissions en conséquence avoir besoin d’hypothèses supplémentaires ne peut pas être retenu en faveur des méthodes non randomisées.

64En outre, dans la plupart des cas, on s’intéresse plus à l’hétérogénéité du traitement en fonction de caractéristiques observables. Par exemple, dans l’expérimentation des balsakhi, nous avons non seulement observé que ladistribution des résultats aux examens dans le groupe traitement présentait une dominance stochastique de premier ordre par rapport au groupe témoin, mais nous avons également vu que c’étaient les élèves qui obtenaient initialement les résultats les plus bas qui en profitaient le plus. Du point de vue de Pratham c’est cette dimension d’hétérogénéité, facilement observable dès lors que l’on a des données sur les scores avant que l’expérience commence, qui est intéressante. Lorsque nous démarrons une expérimentation, il faut que nous ayons émis des hypothèses claires quant à la manière dont les effets du traitement varient en fonction de variables de contrôle et que nous ayons collecté les données initiales appropriées.

65Heureusement, la recherche récente en économétrie est là pour nous aider. Crump et al. [2009] ont mis au point deux tests non paramétriques pour déterminer si les effets d’un traitement sont hétérogènes : l’un de ces tests permet de déterminer si l’effet du traitement est égal à zéro pour n’importe quel sous groupe (définie par les variables de contrôle) et l’autre test permet de voir si l’effet du traitement est le même pour tous les sous groupes (définis par les variables de contrôle).

66De plus, il est possible d’estimer les effets d’un traitement pour différents sous-groupes. L’une des difficultés réside dans le fait que, si les sous-groupes sont déterminés ex post, il y a un danger « d’aller à la pêche » pour trouver un résultat positif au moins dans un sous-groupe déterminé ex-post. Pour éviter cet écueil, la théorie peut nous aider en nous indiquant ce à quoi nous devons nous attendre. Une autre possibilité est de spécifier ex ante les résultats devant être observés et les hypothèses testées, en particulier les sous-groupes (ce qui est recommandé dans la littérature médicale). Si nous souhaitons tout de même tirer des leçons des différences des effets (intéressants mais inattendus ex ante) du traitement, la duplication peut être utile : dès lors que l’on organise une seconde expérimentation, il est possible de la construire explicitement pour tester ces hypothèses nouvelles. Par exemple Karlan et Zinman [2007] et deMel et al. [2009] ont trouvé des résultats différents chez les hommes et chez les femmes. Ces différences étaient inattendues et peuvent être dues au hasard. Mais à partir du moment où l’étude est dupliquée ailleurs, ces différences peuvent former le socle d’un nouvel ensemble d’hypothèses à tester (Pour une discussion plus détaillée de ces points, voir Duflo [2007]).

67Enfin, différents articles récents (Manski [2000, 2002, 2004] ; Deheijia [2005] ; Hirano et Porter [2005]) cherchent à rendre tout ceci moins ad hoc. Les auteurs veulent intégrer le processus d’évaluation et d’apprentissage dans le cadre explicite de l’élaboration des programmes. Ainsi, ils tentent de se mettre eux-mêmes, de manière explicite, à la place d’un décideur politique essayant de décider non seulement s’il doit ou non mettre en œuvre un programme, mais qui se demande également comment (le programme doit-il être obligatoire ? Doit-on laisser des marges de manœuvre au gestionnaire pour choisir les participants ?). Le décideur politique a accès aux variables de contrôle concernant les bénéficiaires potentiels ainsi qu’aux résultats des expérimentations aléatoires. Ces travaux tentent de développer une théorie sur la manière dont un gestionnaire devrait prendre des décisions, en tenant compte à la fois de l’hétérogénéité et de l’incertitude des bénéfices d’un programme conditionnés par les variables de contrôle. Anotre connaissance, ces outils n’ont pas été utilisés dans la recherche en économie du développement. Nous avons donc devant nous des pistes de travail très riches.

3.6. Relations avec l’estimation structurelle

68Initialement, la plupart des articles portant sur l’approche expérimentale se concentraient sur des estimations en forme réduite des effets d’un programme. Cependant, il n’y a pas de raison de ne pas utiliser ces données pour extraire des paramètres structurels quand cela est possible. Les estimations structurelles demandent plus d’hypothèses, mais elles peuvent être utiles pour vérifier et confirmer des résultats et d’une manière plus générale, pour soutenir leur validité externe. Par ailleurs, si nous avons confiance dans les hypothèses qui sous-tendent ces estimations, il est possible d’en tirer des conclusions politiques qui iront bien au-delà de ce que l’on obtient à partir des formes réduites.

69Parmi les premiers exemples de ces méthodes appliquées au développement, on trouve les travaux d’Attanasio et al. [2001] et de Todd et Wolpin [2006] qui ont tous deux utilisés les données de PROGRESA. Todd et Wolpin [2006] utilisent l’expérimentation comme moyen de valider le modèle structurel : ils ont évalué un modèle structurel sur l’échantillon non traité, et vérifier que le modèle prédisait correctement l’impact du traitement. Un autre exemple du potentiel qu’il y a à associer expérimentation et estimation structurelle est présenté dans Duflo et al. [2007]. Après avoir présenté les résultats des formes réduites, l’article exploite la non-linéarité dans les incitations auxquelles font fasse les enseignants de Seva Mandir (les enseignants percevaient un salaire minimum de $10 s’ils étaient présents moins de 10 jours par mois, et un bonus de $1 par jour supplémentaire) pour obtenir une estimation du coût d’opportunité et de l’élasticité de l’absence au bonus. Le modèle est extrêmement simple : en venant à l’école les premiers jours du mois, l’enseignant augmente sa chance de percevoir $1 supplémentaire par jour à la fin du mois et doit renoncer à son utilité de ne pas aller à l’école ce jour là. Ce modèle fait néanmoins surgir des problèmes d’estimation très intéressants à partir du moment où l’on essaye d’introduire de manière réaliste une hétérogénéité et une auto-corrélation au cours du temps dans le coût d’opportunité de se rendre au travail. Comme pour Todd et Wolpin [2006] cet article compare ensuite les prévisions du modèle pour le comportement du groupe témoin, et pour le groupe traitement après un changement dans les règles de paiement de Seva Mandir.

70En principe, il devrait être possible d’exploiter davantage les complémentarités entre estimation structurelle et expérimentations. L’un des avantages des expérimentations réside dans leur souplesse quant à la collecte de données et au choix du traitement (dans les limites des règles éthiques et des règles applicables aux études portant sur des sujets humains, et de ce que les partenaires veulent – et peuvent – mettre en œuvre). Il devrait être possible de concevoir l’expérimentation pour faciliter l’estimation structurelle en s’assurant qu’elle inclut des sources de variation qui aideraient les chercheurs à identifier les paramètres nécessaires et à collecter les données appropriées. Les expérimentations en économie du développement comportent de plus en plus souvent des structures complexes et des groupes de traitement nombreux. Il est donc possible d’introduire une variation qui pourrait aider à identifier les paramètres structurels d’intérêt. On pourrait aussi estimer un modèle structurel à partir des données initiales avant que les résultats expérimentaux ne soient connus afin de procéder à une validation « en aveugle » des modèles structuraux. Nous ne disposons pas encore d’exemples de travaux de ce type : ceux dont nous parlons exploitent la variation expérimentale, ex post plutôt qu’ils ne l’introduisent à dessein.

3.7. Relations à la théorie

71Les expérimentations peuvent être et ont été utiles pour tester les théories (cf. Banerjee [2005] et Duflo et al. [2006] pour un exposé plus exhaustif de ces questions). Comme l’identification des résultats expérimentaux de base ne dépend pas de la théorie, il est possible de tester la théorie de manière irréfutable (c’est-à-dire que l’on peut disposer d’un test qui ne va pas dépendre également d’autres théories). Ainsi, les résultats expérimentaux nous ont amené à repenser certains éléments de base de la théorie de la demande.

72Plusieurs études par assignation aléatoire portant sur la demande en produits de santé préventive, sont parvenues à la conclusion que l’élasticité de la demande au prix est énorme. Au Kenya, Kremer et Miguel [2007] montrent que le fait d’augmenter le prix des médicaments antiparasites de 0 à 30 cents par enfant réduit la fraction d’enfants prenant le médicament de 75 % à 19 %. Toujours au Kenya, Cohen et Dupas [2007] ont découvert que le fait d’augmenter le prix des moustiquaires imprégnées d’insecticide de 0 à 60 cents réduit de 60 % le nombre de ceux qui achètent les moustiquaires. En Zambie, le fait d’augmenter le prix d’un désinfectant de l’eau de 9 à 24 cents a réduit de 30 % la part des personnes acceptant l’offre (Ashraf et al. [2007]). On retrouve des réponses importantes similaires à celles-ci dans le cas des petites subventions : en Inde, Banerjee et al. [2008b] ont constaté qu’en offrant aux mères un kilo de lentilles (d’une valeur d’environ 60 cents) à chaque vaccination et une série de bols lorsque le programme de vaccination était terminé, on augmentait de 20 % la probabilité que l’enfant reçoive l’ensemble des vaccins nécessaires. Plus remarquable encore : au Malawi, une récompense de 10 cents a eu pour conséquence que 20 % de personnes supplémentaires sont allées chercher les résultats de leur test de dépistage du sida (Thornton [2007]).

73Après avoir passé en revue tous ces résultats (ainsi que plusieurs articles sur l’éducation qui aboutissent tous à des conclusions similaires), Holla et Kremer [2008] concluent que ces élasticités de la demande ne peuvent provenir du modèle standard de demande de santé. Par exemple, on peut imaginer que des agents économiques rationnels et conventionnels pourraient décider soit de faire un test de dépistage du sida (sachant que le fait de connaître leur statut va leur permettre de prolonger leur vie et celle desautres) soit de ne pas le faire (le test peut être très stressant et source de honte). Ce qui est plus difficile à comprendre c’est qu’autant d’entre eux changent d’avis à cause de 10 cents alors qu’il s’agit de quelque chose qui risque fort de bouleverser totalement leur vie.

74Kremer et Holla [2008] avancent l’hypothèse qu’un tel schéma de demande correspond à un modèle dans lequel les gens désirent vraiment le produit mais en remettent toujours l’acquisition à plus tard : il est tentant de retarder le moment où il faut payer le prix dans la mesure où les bénéfices se situent dans le futur. Cependant, si les gens veulent vraiment acheter des moustiquaires, ou s’ils veulent connaître les résultats de leur test, mais reculent sans arrêt la décision de le faire, alors ils doivent être extrêmement naïfs, compte tenu des bénéfices potentiels en termes de vie sauvée que représentent ces deux actions. Or, en termes de produits financiers, les résultats (expérimentaux) tendent à montrer que les gens ne sont pas naïfs. Ashraf et al. [2006] montrent ainsi que ceux qui ont des préférences hyperboliques sont prêts à adopter des dispositifs d’engagement afin de bloquer leur épargne, ce qui indique un niveau élevé de conscience de soi. Duflo et al. [2008c] montrent que les fermiers kenyans qui déclarent ne pas avoir suffisamment d’argent pour acheter des engrais au moment des semailles, sont prêts à bloquer de l’argent au moment de la récolte, pour acheter les engrais qui seront utilisés plusieurs mois plus tard. Ainsi, lorsqu’on leur donne ex ante (avant la récolte) le choix du moment auquel les engrais étaient proposés aux fermiers, près de la moitié des fermiers demandent que les vendeurs passent les voir immédiatement après la récolte plutôt qu’au moment où ils ont besoin des engrais, car ils savent qu’ils auront l’argent nécessaire à ce moment-là. Leur demande de livraison immédiate tend à prouver que les fermiers se contrôlent suffisamment pour garder l’engrais sans le revendre.

75Il arrive que les expérimentations donnent des résultats qui sont encore plus troublants par rapport à la théorie existante (pour une analyse plus détaillée, voir Duflo [2007]). Bertrand et al. [2009] donnent un exemple frappant qui ne cadre avec aucune théorie économique existante : ils montrent que des modifications apparemment mineures (comme la présence d’une photographie sur une publicité) ont autant d’effet sur les éventuels emprunteurs que des changements importants du taux d’intérêt.

76Dans toutes ces recherches, les expériences de terrain jouent le rôle traditionnellement joué par les expériences de laboratoire, mais avec plus de crédibilité. L’objectif est de disposer de meilleures théories, mais est-ce que la théorie peut nous aider à concevoir de meilleures expériences et à mieux interpréter les résultats afin d’élaborer de meilleures politiques ? Une direction possible consiste à utiliser les résultats expérimentaux pour évaluer les modèles structurels. La théorie peut aussi jouer un rôle plus basique mais tout aussi important : nous avons besoin d’un cadre qui nous permette d’interpréter des résultats isolés. Par exemple, pouvons-nous aller au-delà de la simple observation du fait que différentes ressources introduites dans les écoles ont des productivités différentes ? Ou est-ce que chaque résultat expérimental constitue un résultat sui generis ? Pour atteindre cet objectif, il est peu probable que l’on ait besoin d’une théorie très compliquée. La théorie doit nous permettre de réduire la dimensionnalité sur la base d’un ensemble de prémices raisonnables. Il est essentiel que d’autres travaux soient réalisés dans ce sens.