Notes
-
[1]
. Le contenu de ce compte rendu n’engage que son auteur.
-
[2]
. Méthode permettant de mesurer l’effet d’une intervention en comparant deux groupes constitués par assignation aléatoire : un groupe expérimental (recevant l’intervention) et un groupe de contrôle (ne recevant pas l’intervention).
-
[3]
. Évaluateur et cofondateur de Quadrant Conseil.
-
[4]
. Consultante et chercheuse à Quadrant Conseil.
-
[5]
. Professeure associée en sociologie à Sciences Po Paris.
-
[6]
. Directeur de recherche au Centre population et développement.
-
[7]
. Commanditaires, structures intermédiaires, bénéficiaires finaux, groupes tiers affectés par la politique, etc.
-
[8]
. Étymologiquement, « évaluer » c’est « juger de la valeur », ici d’une politique. Or ce jugement peut se faire en fonction de différents registres de valeurs (efficacité, durabilité, etc.).
-
[9]
. En sociologie de l’innovation, la traduction représente le processus de diffusion négociée d’une innovation. Les membres d’un réseau agissent en tant que médiateurs, travaillant à enrôler de nouveaux acteurs, ajustant et adaptant au passage l’innovation aux intérêts spécifiques de chaque membre du réseau.
1 En 2008, une révision de la constitution française attribue au parlement un nouveau rôle : l’évaluation des politiques publiques, définie en 1990 par le fait de « rechercher si les moyens juridiques, administratifs ou financiers mis en œuvre permettent de produire les effets attendus de cette politique et d’atteindre les objectifs qui lui sont assignés » (décret n° 90-82 du 22 janvier 1990). Bien que cette révision marque une étape majeure de l’institutionnalisation de l’évaluation et de la reconnaissance de son enjeu démocratique, la simplicité de la définition de 1990 masque la myriade d’approches et de méthodologies mobilisées par les évaluateurs (expérimentation par assignation aléatoire [2], étude de cas, etc.). Ces dernières ne sont pas toujours compatibles et font parfois l’objet de débats houleux entre leurs partisans. À cette diversité de pratiques s’ajoute une diversité de praticiens, l’évaluation des politiques publiques pouvant être menée par des fonctionnaires, des consultants ou des chercheurs, ces derniers s’attachant à des disciplines variées, telles que l’économie, la sociologie ou les sciences de l’éducation.
2 L’ouvrage collectif Évaluation, dirigé par T. Delahais [3], A. Devaux-Spatarakis [4], A. Revillard [5] et V. Ridde [6], vise à familiariser le public francophone avec les débats ayant traversé le champ de l’évaluation et la diversité des approches qu’ils ont fait émerger. Cette anthologie rassemble des textes traduits de la littérature anglo-saxonne sur l’évaluation, comprenant des extraits de livres, de manuels et de publications scientifiques. La sélection des textes vise à refléter la diversité des approches existantes et l’évolution historique des débats dans ce domaine. Structuré en cinq parties, l’ouvrage aborde l’utilisation des résultats (partie 1), le rôle des parties prenantes [7] (partie 2), le rôle des valeurs [8] en évaluation (partie 3), la scientificité de l’évaluation (partie 4) et la pluralité des paradigmes en évaluation (partie 5). Chaque section est précédée d’une synthèse des textes établie par les auteurs d’Évaluation et suivie d’une discussion de la question par des chercheurs et praticiens francophones contemporains.
3 Le chapitre 1, intitulé « À quoi sert l’évaluation ? », rassemble des textes abordant la question de l’utilisation des résultats de l’évaluation. Classiquement, l’évaluation vise à produire des connaissances sur des politiques que les décideurs peuvent utiliser pour améliorer l’action publique (Campbell, 1969). Pourtant, d’autres formes d’utilisation sont possibles : l’article de M. C. Alkin et S. M. Taut (2003), dont des extraits sont traduits dans ce chapitre, synthétise les recherches sur la multiplicité des usages et des utilisateurs d’une évaluation. Ces auteurs identifient trois types d’utilisations : instrumentale (modification de l’intervention publique), conceptuelle (changement de la façon d’appréhender la politique) et symbolique (légitimation d’une décision préexistante ou renforcement de la réputation d’une personne ou d’une institution).
4 Pour maximiser les utilisations des résultats d’une évaluation, M. Patton suggère, dans un article partiellement traduit dans cet ouvrage (1978), de négocier en amont avec les potentiels utilisateurs les objectifs d’usage de l’évaluation. Une fois l’évaluation réalisée, le rôle de l’évaluateur ne sera pas de simplement rédiger un rapport mais de tenter d’obtenir les utilisations négociées. Cependant, dans sa réponse à M. Patton figurant dans ce chapitre, C. H. Weiss (1988) soutient que la faible utilisation des résultats ne constitue pas un échec de l’évaluateur, soulignant que d’autres influences, notamment politiques, interviennent dans les processus institutionnels de décision. En outre, le texte d’Y. Rajkotia (2018), également traduit dans cette partie, montre qu’il existe des « mésusages » des résultats, par exemple en taisant les résultats négatifs et en sélectionnant ceux positifs pour servir des intérêts politiques.
5 Le chapitre 2, intitulé « Qui évalue ? », présente des textes portant sur le rôle des parties prenantes dans le processus d’évaluation. Ces discussions reposent sur la perspective selon laquelle l’évaluation ne se réduit pas à une méthode de mesure et de description mais constitue plutôt un processus de construction d’un jugement de valeur sur une politique : est-elle une « bonne » politique ? (Perret, 2012). Selon cette conception, l’évaluateur ne se contente pas de construire des faits comme le ferait un scientifique : il transforme ces derniers en arguments justifiant un certain jugement sur la politique et motivant des prises de décision. Le problème est que ce jugement évaluatif peut être établi selon divers registres de valeurs. La politique atteint-elle ses objectifs ? Le fait-elle de façon efficiente ? A-t-elle un effet important sur ses bénéficiaires ? Est-elle juste ? Permet-elle de se rapprocher d’un idéal tel que la solidarité ou l’égalité homme-femme ? Est-elle respectueuse de l’environnement ? Le choix des valeurs à partir desquelles évaluer oriente le type de résultats produits et les arguments fabriqués à partir de ces derniers. L’évaluation a ainsi une dimension politique car elle pourrait donner aux évaluateurs ou aux commanditaires une capacité à influencer les futures politiques publiques.
6 Dans leur livre sur le rôle des valeurs en évaluation, dont un extrait est inclus dans ce chapitre, E. R. House et K. R. Howe (1999) insistent de ce fait sur l’importance de faire ces choix de façon transparente et délibérative, en incluant toutes les parties prenantes (commanditaire, bénéficiaire final, etc.). Une autre solution serait celle de D. M. Mertens qui préconise, dans un article dont sont également traduits des extraits (Mertens, 2017), de concevoir l’évaluation à partir du point de vue des groupes dominés dont les valeurs et les intérêts sont peu pris en compte par les politiques existantes (femmes, minorités ethniques, etc.).
7 Évaluation est un ouvrage d’intérêt à la fois pour les professionnels de l’évaluation, qui y trouveront une mise en perspective théorique de leurs pratiques, et pour les chercheurs, susceptibles d’y découvrir des « théories issues de la pratique » ainsi que des aspects peu discutés dans les ouvrages méthodologiques, tels que l’utilisation des résultats. Bien que ces questions aient déjà été abordées dans des ouvrages francophones antérieurs (Ridde et Dagenais, 2012), Évaluation s’en distingue par une approche anthologique qui permet d’exposer de façon vivante comment les positions s’articulent, se répondent et se succèdent.
8 Les traductions réalisées par les auteurs s’inscrivent dans un processus plus large de traduction au sens sociologique [9] (Callon et al., 1999). Ce processus, entamé dans les années 1990 en France (Delahais et Devaux-Spatarakis, 2018), vise à diffuser et à adapter les approches de l’évaluation nées aux États-Unis et soulève donc la question de leur applicabilité en contexte européen. Évaluation ne se présente ni comme un guide ni comme un manuel : les textes choisis abordent des questions qui sont plus liées à la démarche générale de l’évaluation qu’à sa méthodologie ou à sa mise en œuvre, ce qui explique d’ailleurs le peu d’exemples empiriques développés. Il revient donc aux évaluateurs francophones de poursuivre le travail de traduction nécessaire pour mettre en pratique ces approches dans leur propre contexte.
Références bibliographiques
- Alkin M. C., Taut S. M., 2003, Unbundling Evaluation Use, Studies in Educational Evaluation, vol. 29, n° 1, p. 1-12.
- Callon M., Lhomme R., Fleury J., 1999, Pour une sociologie de la traduction en innovation, Recherche et formation, n° 31, p. 113-126.
- Campbell D. T., 1969, Reforms as Experiments, American Psychologist, vol. 24, n° 4, p. 409-429.
- Delahais T., Devaux-Spatarakis A., 2018, Évaluation des politiques publiques et sociologie : état des lieux d’une relation distanciée, Sociologies pratiques, vol. 36, n° 1, p. 47-56.
- House E., Howe K., 1999, Values in Evaluation and Social Research, Thousand Oaks, Sage.
- Mertens D. M., 2017, Transformative Research: Personal and Societal, International Journal for Transformative Research, vol. 4, n° 1, p. 18-24.
- Patton M. Q., 1978, Utilization-Focused Evaluation, Beverly Hills, Sage.
- Perret B., 2012, La construction d’un jugement, in Ridde V., Dagenais C., Approches et pratiques en évaluation de programmes, Montréal, Presses de l’Université de Montréal, p. 53-69.
- Rajkotia Y., 2018, Beware of the Success Cartel: A Plea for Rational Progress in Global Health, BMJ Global Health, vol. 3, n° 6, p. 1-3.
- Ridde V., Dagenais C. (dir.), 2012, Approches et pratiques en évaluation de programmes, Montréal, Presses de l’Université de Montréal.
- Weiss C. H., 1988, If Program Decisions Hinged Only on Information: A Response To Patton, American Journal of Evaluation, vol. 9, n° 3, p. 15-28.
Notes
-
[1]
. Le contenu de ce compte rendu n’engage que son auteur.
-
[2]
. Méthode permettant de mesurer l’effet d’une intervention en comparant deux groupes constitués par assignation aléatoire : un groupe expérimental (recevant l’intervention) et un groupe de contrôle (ne recevant pas l’intervention).
-
[3]
. Évaluateur et cofondateur de Quadrant Conseil.
-
[4]
. Consultante et chercheuse à Quadrant Conseil.
-
[5]
. Professeure associée en sociologie à Sciences Po Paris.
-
[6]
. Directeur de recherche au Centre population et développement.
-
[7]
. Commanditaires, structures intermédiaires, bénéficiaires finaux, groupes tiers affectés par la politique, etc.
-
[8]
. Étymologiquement, « évaluer » c’est « juger de la valeur », ici d’une politique. Or ce jugement peut se faire en fonction de différents registres de valeurs (efficacité, durabilité, etc.).
-
[9]
. En sociologie de l’innovation, la traduction représente le processus de diffusion négociée d’une innovation. Les membres d’un réseau agissent en tant que médiateurs, travaillant à enrôler de nouveaux acteurs, ajustant et adaptant au passage l’innovation aux intérêts spécifiques de chaque membre du réseau.