Notes
-
[1]
École des hautes études en santé publique – avenue Léon Bernard – 35043 Rennes cedex – France – EA4360 – APEMAC – Université de Nancy – France.
-
[2]
Coordinateur de Couleurs Santé (2006-2008) – Rennes – France.
-
[3]
FEES – Nice – France.
-
[4]
Loi n° 2002-303 du 4 mars 2002 relative aux droits des malades et à la qualité du système de santé.
-
[5]
Loi n° 2004-806 du 9 août 2004 relative à la politique de santé publique. Journal officiel de la République française, Paris (France).
-
[6]
Loi n° 2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires.
-
[7]
Centres de loisirs, bibliothèques, médiathèques, organismes associatifs.
-
[8]
L’un étant issu de la structure départementale d’éducation pour la santé, l’autre d’une autre association (Ligue contre le cancer, Association de prévention en alcoologie et addictologie).
-
[9]
Rectorat, Direction régionale des affaires sanitaires et sociales, Union régionale des caisses d’assurance maladie.
-
[10]
Nous avons opté pour la terminologie suivante : programme pour le cadre de référence donné par le niveau régional, démarches locales à propos du processus mis en place au niveau des sites, projets pour l’ensemble des actions réalisées au niveau local.
Le contexte de la promotion de la santé et de l’évaluation en France
1Malgré des avancées significatives ces dernières années, la promotion de la santé peine encore à acquérir une pleine reconnaissance dans les politiques de santé publique. L’émergence du concept de promotion de la santé est encore récente en France et sa reconnaissance formelle dans les textes ne date que de quelques années [1]. Évoquée dans la loi de 2002 [4] à propos des missions de l’Institut national de prévention et d’éducation à la santé (INPES), elle y est définie comme une sous-catégorie de la prévention. La loi relative à la santé publique de 2004 [5] n’y fait guère référence et le terme ne figure toujours pas dans le sigle de l’INPES. Bien que la loi Hôpital patients, santé, territoires [6] en fasse mention à plusieurs reprises et instaure la protection des fonds qui lui sont dédiés, le cadre organisationnel et stratégique pour le développement des activités n’est pas précisé. Pour autant, l’inscription des acteurs de santé publique dans l’esprit de la charte d’Ottawa est bien réelle, à en juger par le nombre croissant de projets conduits dans ce domaine. Cependant, promotion de la santé, prévention et éducation pour la santé sont des notions encore trop souvent confondues.
2Dans ce domaine, l’évaluation est une activité plus présente, qu’elle émane de l’initiative des acteurs locaux ou des prescriptions des financeurs. Appliqué à la promotion de la santé, le concept reste flou au regard de l’hétérogénéité des concepts et des approches, de la diversité des pratiques (entre éducation à la santé et démarche de santé communautaire) et de la variété des attentes (entre reddition de comptes, amélioration de l’action et démonstration d’efficacité). Ainsi, les demandes d’évaluation reflètent ces ambiguïtés et les démarches engagées puisent dans un ensemble de registres, de l’autoévaluation à la démarche qualité ou encore la mobilisation des méthodes expérimentales, chacun d’eux disposant de ses propres outils et méthodes.
3Dans un article récent, Potvin et al. 2012 [2], discutent la relation entre les modèles conceptuels des programmes et les pratiques d’évaluation. Selon ces auteurs, deux modèles, issus de deux traditions philosophiques majeures de conception de la réalité dominent : le modèle réaliste empirique qui conçoit le programme comme « une structure d’objets réels et distincts » de son contexte et le modèle idéaliste selon lequel un programme est le fruit des représentations que les acteurs ont du problème et de ses solutions. Dans le premier cas, l’évaluation a pour but de s’assurer de la conformité de la mise en œuvre de l’intervention et d’estimer sa capacité à produire les changements recherchés. Dans le second, les effets des programmes sont jugés à l’aune de l’expérience des acteurs et l’évaluation s’intéresse principalement aux liens entre les représentations du problème et les représentations du programme. Potvin et al. proposent une troisième voie, le modèle réaliste critique qui intègre la réalité et les représentations des acteurs, lesquels opèrent un décodage des manifestations de la réalité et agissent sur ces manifestations. Dans cette optique, le programme n’est plus figé ; il est considéré comme un « objet changeant et complexe (…) construit par approximations successives » [2] et l’évaluation, en relation étroite avec le programme, s’intéresse principalement aux mécanismes à l’origine des changements observés.
4Les interventions dans le champ de l’éducation pour la santé ou de la promotion de la santé peuvent être classées dans ces modèles. Si les « actions de prévention » sont principalement bâties en référence au premier, c’est-à-dire conformément au modèle classique de la programmation en santé, les « actions en promotion de la santé » quant à elles, relèvent plutôt du second ou du troisième. En effet, les interventions communautaires s’appuient sur une démarche qui exige une capacité d’adaptation aux réalités, contraintes et enjeux des partenaires mobilisés. Ainsi, une intervention en promotion de la santé n’est pas une structure stable mais un cadre mouvant dépendant des contributions plus ou moins prévisibles des acteurs.
5Le programme Couleurs Santé déployé en Bretagne est une illustration de ce type d’intervention. Il est né de la volonté des structures d’éducation pour la santé de déployer, à l’échelle régionale, une démarche de mobilisation communautaire dans le but de développer les compétences psychosociales des enfants et des adolescents, afin qu’ils soient en mesure de faire des choix éclairés pour leur santé. Inspiré des principes fondamentaux de la promotion de la santé [3], il entendait créer autour d’eux, un environnement propice à l’adoption d’un comportement favorable à la santé, le milieu scolaire étant le terrain privilégié du programme. Trois axes d’intervention caractérisaient ce programme : (1) le développement d’actions visant le renforcement des compétences psychosociales des enfants et des adolescents ; (2) la conception et la mise en œuvre d’un projet mobilisant l’ensemble de la communauté éducative au contact des enfants et des adolescents ou en capacité d’agir sur leur environnement ; (3) la modification des pratiques des organisations à même d’offrir les conditions de renforcement des aptitudes pour le jeune public et les professionnels les encadrant. Les acteurs visés par le programme étaient, d’une part, les professionnels du cadre scolaire et extrascolaire (enseignants, animateurs des centres de loisirs, documentalistes, personnels de santé scolaire et des services de protection maternelle et infantile, médecins généralistes) et d’autre part, les parents et les institutions (Éducation nationale, collectivités territoriales, établissements scolaires, médiathèques).
6L’évaluation était une composante intégrée au programme. Elle devait faire la preuve de l’efficacité d’une démarche inédite et juger de sa transférabilité dans d’autres territoires. Pour les équipes engagées dans la mise en œuvre de Couleurs Santé, elle revêtait une importance majeure dans la mesure où étaient en jeu la reconnaissance et le devenir du programme. Quant aux évaluateurs, ils étaient, d’une part, confrontés à un programme de facture peu classique, et, d’autre part, pris dans un faisceau de représentations et d’attentes pas toujours convergentes. Ainsi, ils ont été conduits à revisiter leur pratique pour développer une méthode plus conforme au modèle du programme et réaliser un travail qui réponde aux besoins des divers utilisateurs.
7Sur la base de la réflexion proposée par Potvin et al., cet article analyse les interactions entre un programme de promotion de la santé et l’activité d’évaluation, à savoir leur capacité d’influence réciproque. Il retrace l’évolution de l’approche évaluative de Couleurs Santé, au fur et à mesure que progressait la compréhension du programme par les évaluateurs, et montre comment l’évaluation a contribué à réviser la conception même du programme en mettant à jour les diverses interprétations des opérateurs.
Méthode
8Dans un premier temps, le processus d’évaluation a été analysé dans ses différentes composantes : cadre de l’évaluation (objectifs, questions évaluatives), modalités organisationnelles (groupes de travail, modes de fonctionnement), méthode (approche, référentiel), avec un focus sur les relations entre trois types d’acteurs (opérateurs, évaluateur, décideur). Ensuite, les interactions entre l’évaluation et le programme ont été étudiées afin d’apprécier, d’une part, la capacité de l’évaluation à transformer et soutenir le programme et, d’autre part, l’influence des parties prenantes sur l’approche évaluative. Les évolutions ont été analysées à travers trois dimensions : la structuration de l’intervention (objectifs, cibles, résultats attendus, logique d’action), les pratiques des opérateurs du programme (positionnement, relations avec les partenaires, représentation de leur rôle, mode d’animation du projet), le pilotage régional (rôle de coordination, relations entre acteurs, exercice de la fonction). Enfin, les conceptions du programme selon les différents acteurs et la démarche d’évaluation ont été mises en perspective, au regard des trois modèles proposés par Potvin.
9Après avoir présenté Couleurs Santé, nous aborderons l’évaluation dans sa fonction de soutien au programme puis le jeu des interactions entre le programme et son processus d’évaluation.
Couleurs Santé, un programme mis en œuvre dans 6 territoires
10La stratégie du programme consistait à susciter l’adhésion des acteurs de la communauté d’un territoire afin de créer une dynamique locale et construire un projet d’éducation pour la santé incluant les différents milieux de vie des jeunes.
Une démarche de mobilisation communautaire
11La démarche de mobilisation communautaire (tableau I) a été appliquée dans six territoires de la région, conçus comme des sites d’expérimentation. Chaque site correspondait à un espace géographique centré sur des établissements scolaires, incluant, dans la mesure du possible, les trois niveaux d’établissements (écoles primaires, collèges, lycées), ainsi que les autres structures présentes dans l’environnement [7] et les institutions responsables de politiques ou interventions à destination des jeunes. Il s’agissait d’agir sur les milieux de vie des jeunes, tant au sein des établissements scolaires que dans les autres structures fréquentées en dehors des temps scolaires. La présence des trois niveaux d’établissements scolaires était recherchée car le programme prévoyait un focus sur les périodes jugées sensibles dans les parcours des élèves, à savoir les passages de l’école primaire au collège (CM2/6e) et du collège au lycée (3e/seconde).
Une démarche en plusieurs étapes
Une démarche en plusieurs étapes
12Dans chaque site, un binôme de professionnels en éducation pour la santé [8] (les chargés de projet) avait pour mission d’accompagner les acteurs locaux dans cette démarche, en observant deux principes : respecter la volonté des acteurs de s’inscrire ou non dans le programme et soutenir les acteurs sans agir à leur place.
Une coordination régionale pour la cohérence et l’apprentissage collectif
13La coordination régionale était chargée de soutenir les chargés de projet, de veiller à une mise en œuvre homogène, d’analyser les interrogations spécifiques à chaque territoire, de capitaliser les expériences dans leur diversité et favoriser un apprentissage collectif. Ainsi, un groupe (groupe technique régional) associant les équipes implantées dans les six territoires (binômes et quelques personnes ressources dont les documentalistes des structures d’éducation pour la santé) avait été mis en place pour permettre une remontée d’informations et une analyse collective des conditions de déploiement de la démarche. Par ailleurs, les équipes locales avaient la possibilité de solliciter, en fonction de leurs besoins spécifiques, le niveau régional pour un appui méthodologique, disponible sous différentes formes (recherche documentaire, mise à disposition d’outils, formations).
14Un comité de pilotage du programme, installé au lancement du programme, associait des représentants des institutions impliquées [9] et de la structure responsable du programme (tableau II).
Mode d’organisation du programme
Mode d’organisation du programme
Des actions diverses, selon les types de publics et les catégories d’âge
15Les actions réalisées ciblaient plusieurs publics : jeunes, parents, enseignants. Les enseignants ont bénéficié de formations en vue de l’utilisation d’outils pédagogiques et d’animation avec les élèves. Dans les classes de maternelle et primaire, les enseignants ont développé, à partir de contes, mimes, autoportraits, photolangage, des activités favorisant l’expression des enfants sur leurs sentiments, sur leurs représentations de leur propre santé, sur les relations à autrui. Ils ont également travaillé sur des thèmes qui avaient été identifiés comme problèmes, tels les rythmes de vie ou les relations à l’écran (télévision, jeux vidéo), parfois avec la coopération des parents (enquête sur les habitudes de vie à domicile). La restitution des productions des enfants a donné lieu à des évènements festifs ou des expositions occasionnant la rencontre, au sein de l’école entre enseignants, parents et enfants. Le travail de liaison entre les classes de CM2 et de 6e a pris la forme de rencontres festives (courses d’orientation, jeux collectifs, rallye lecture) ou de visites de collèges organisées en amont de la rentrée. Dans un site, un agenda pour les futurs élèves de 6e a été réalisé, outil facile d’emploi, convivial, agrémenté de messages en faveur d’une vie saine. Des conférences et des soirées d’échanges ont été spécifiquement organisées dans certains sites à l’intention des parents sur les thèmes du sommeil, des rythmes de vie et de la parentalité. Concernant les adolescents des collèges et des lycées, l’émergence de situations de crise (violences, consommations d’alcool ou de cannabis) au sein de quelques établissements ont conduit à centrer les actions sur la question des dépendances aux produits psychoactifs : mise en place de commissions de réflexion « Savoir dire non », élaboration de protocoles d’orientation et de prise en charge pour les élèves en difficulté avec les produits, tenue de forums santé. Ces activités ont été assez souvent conduites avec la participation de la communauté environnante.
16Couleurs Santé a produit ou renforcé une dynamique dans la majorité des sites avec de nouvelles activités et un style qui progressivement rénovait les pratiques, même si l’approche basée sur les compétences psychosociales n’était pas toujours adoptée, la culture professionnelle étant fortement imprégnée des approches thématiques. Au regard des dynamiques préexistantes et des contraintes propres au territoire, le déploiement du programme a été inégal selon les sites (tableau III) et l’analyse des démarches locales a mis en évidence des résultats contrastés, notamment en termes d’autonomie et d’appropriation des valeurs et principes de Couleurs Santé [4].
Variété des sites et des démarches
Variété des sites et des démarches
L’évaluation, une dimension essentielle du programme
17L’évaluation a été initiée par le comité de pilotage du programme après deux ans de mise en œuvre et confiée à un prestataire externe (deux évaluatrices). Un groupe de travail associant les chargés de projet, le coordonnateur du programme et les évaluatrices (groupe Évaluation) a été installé afin de discuter collectivement les options retenues à chaque étape de la démarche (tableau II).
• Diversité des enjeux et des attentes et émergence des questions évaluatives
18Compte tenu du caractère novateur de cette démarche, la phase d’évaluation était intégrée à la démarche. Néanmoins, la finalité n’était pas perçue de façon identique par les décideurs et par les professionnels dans la mesure où la dimension expérimentale même du projet recouvrait une conception différente. Pour les premiers, l’expérimentation était la mise à l’épreuve du modèle d’intervention et l’évaluation devait juger de son efficacité et de sa transférabilité à d’autres territoires. Pour les seconds, elle relevait de l’exploration d’un modèle innovant favorisant l’adoption de nouvelles pratiques par les partenaires locaux. Dans cette optique, l’évaluation devait, non seulement, produire de la connaissance pour les acteurs du programme, mais aussi, faire évoluer le modèle dans des contextes variés, grâce à une meilleure connaissance des mécanismes générateurs de changement.
19De fait, leurs attentes n’étaient pas identiques. Pour les structures d’éducation pour la santé, il s’agissait de valoriser des pratiques différentes, de démontrer l’intérêt et les contraintes de l’approche communautaire mais aussi, de bénéficier d’un soutien dans la mise en œuvre de ce programme conçu comme une innovation. Par ailleurs, les chargés de projet locaux souhaitaient que soient développés des outils pour l’évaluation des compétences psychosociales, pour eux-mêmes et pour les enseignants. Pour les représentants institutionnels du secteur de l’éducation, il était important de montrer dans quelle mesure le programme réussissait à introduire l’éducation pour la santé en milieu scolaire et mettre en cohérence les différentes actions conduites au sein d’un établissement. Au terme de longs débats, les acteurs institutionnels et professionnels se sont accordés sur des objectifs d’évaluation réalistes, recentrés sur trois axes : la capacité de la démarche à générer des projets, leur impact dans l’environnement des jeunes et la transférabilité de l’expérimentation à d’autres territoires.
• Méthode et conduite de l’évaluation
20Pour chaque site, une monographie a été rédigée, reconstituant l’implantation des démarches dans chaque site. Les situations locales ont été comparées au regard de mobilisation des acteurs locaux et des facteurs contextuels influençant le développement des projets. L’évolution de l’approche santé en milieu scolaire était étudiée en considérant l’étendue des acteurs engagés, les représentations et pratiques des enseignants et les innovations au sein des établissements. Les informations ont été recueillies à partir des différents documents disponibles, d’une cinquantaine d’entretiens individuels auprès des acteurs régionaux et locaux, d’un entretien de groupe, de multiples réunions de travail ainsi que des visites sur sites.
21L’évaluateur et le coordinateur ont co-animé l’évaluation jusqu’à l’étape de discussion des résultats, où le coordinateur s’est mis à distance afin de libérer la parole des chargés de projet. Ces derniers ont été présents tout au long du processus, participant aux choix des questions, à la construction des outils de collecte et de suivi et à la validation des monographies. Le comité de pilotage, très présent au lancement de la démarche, s’est ensuite moins impliqué, laissant la responsabilité du suivi de l’évaluation au coordonnateur du programme.
L’évaluation comme fonction de soutien au programme
22Au démarrage de l’évaluation, le programme avait deux ans d’existence et peu d’actions étaient effectivement initiées, du fait d’un processus de mobilisation plus long que prévu, du faible engagement des enseignants, des décalages entre le calendrier scolaire et celui du programme. Face à des avancées inégales d’un site à l’autre, le niveau régional peinait à restaurer une cohérence à la mosaïque d’expériences locales. Au niveau local, les chargés de projet avaient des points de vue divergents sur la stratégie, leurs missions et marges de manœuvre et attendaient des orientations sur la conduite à adopter dans les sites en difficulté.
L’explicitation de la théorie d’action
23Couleurs Santé était indifféremment présenté comme un programme (avec ses objectifs), une stratégie (participation des acteurs) et une démarche (six étapes) devant aboutir à des projets visibles au niveau local.
• S’accorder sur un langage commun concernant Couleurs Santé
24Pour développer un cadre d’évaluation, il était indispensable de démêler les concepts véhiculés par chacun des termes employés, faire expliciter les différents niveaux de mise en œuvre, préciser les résultats attendus et s’accorder sur un langage commun [10]. Les objectifs ont été discutés afin de leur donner une traduction concrète, à savoir identifier les changements attendus, en termes de pratiques institutionnelles ou professionnelles de compétences à travailler et de publics concernés. L’utilisation de l’outil suisse de catégorisation des résultats [5] a été utile à tous à plusieurs titres. Tout d’abord, il a permis aux évaluateurs de classer les actions, de les relier entre elles et de restaurer de la cohérence. Ensuite, il a favorisé l’expression des interprétations plurielles de l’approche Couleurs Santé, mis en évidence les cultures et méthodes de travail des acteurs et éclairé les relations entre les différentes composantes du programme. Enfin, il a rendu lisible la compréhension de la démarche par les décideurs et permis d’atténuer les oppositions conceptuelles initiales. Parce qu’il introduisait une rationalité acceptable pour tous, il a pu réconcilier les parties prenantes sur le choix des questions évaluatives (figure 1).
Le programme Couleurs Santé selon le modèle de catégorisation des résultats
Le programme Couleurs Santé selon le modèle de catégorisation des résultats
Des activités ont été identifiées avec les acteurs de la communauté impliqués. Deux types de publics cibles sont visés : les cibles ultimes représentées par les enfants et les adolescents (Ci1) et les cibles intermédiaires représentées par les professionnels de la communauté éducative, (Ci2), les institutions (Ci3) et les parents (Ci4).• Analyser les stratégies d’intervention
25S’agissant des interventions auprès des enfants et des jeunes, deux stratégies avaient été retenues : le développement des compétences psychosociales et l’amélioration de la transition entre les établissements. L’approche basée sur les compétences psychosociales, a trouvé une traduction dans le travail des enseignants auprès des jeunes enfants. En revanche, elle a eu moins de résonance dans le secteur secondaire, l’existence de situations critiques au sein des établissements, qu’il s’agisse de l’expression de comportements violents ou de consommation de produits psychoactifs, réintroduisant une approche thématique, en contradiction avec l’esprit Couleurs Santé.
L’hypothèse selon laquelle la transition entre les établissements (maternelle/primaire et primaire/secondaire) était une période à risque, fondait des interventions spécifiques sur les classes de passage. Le bilan réalisé a montré que les actions n’étaient réalisées que pour les élèves de CM2, des modalités d’intervention adaptées pour les élèves de 3e n’ayant pas trouvé de terrain d’expression.« On a dû revoir la stratégie d’action, assurer l’accompagnement du chef d’établissement pour essayer de ramener une équipe à voir ce que l’on peut faire en interne autour du développement des compétences psychosociales (…) est-ce que c’est sur la gestion de la crise qu’on peut intervenir ou est-ce qu’on n’a pas à travailler en amont ? »
« On s’est interrogé pour savoir si, en agissant sur les deux leviers, on prenait en compte la préoccupation des conduites à risque (…) il fallait qu’il y ait un affichage pour respecter les préoccupations des familles. »
Une réflexion sur les étapes de la démarche
26La démarche, commune aux six sites, ne faisait pas l’objet d’une compréhension commune.
27En premier lieu, la délimitation des sites était une phase délicate.
« Chacun a fait une interprétation de ce qui était couché sur le papier, nous, on a cru qu’il fallait suivre les enfants deux ans, on a pris seulement deux petites zones, il y en a qui ont pris un seul territoire avec plusieurs écoles. »
« Certains disaient, un site c’est une articulation CM2/6e (…) finalement chacun a été renvoyé à sa propre définition du site. »
« La définition des sites, c’est devenu ce que le terrain nous permettait de faire. »
29Ensuite, si le principe de mobilisation des acteurs locaux était admis, la méthode pour y parvenir et le positionnement du chargé de projet à leurs côtés restaient flous. Que faire en l’absence de réactivité de la communauté ?
« J’étais dans un projet régional avec une certaine démarche, en disant : je ne fais pas le travail, par exemple, de définition des objectifs, à la place des établissements. C’est hors de question. Je veux bien les aider mais le boulot (…) c’est aux équipes projet de les faire. Avec le recul, je me dis, c’est une erreur stratégique, j’aurais mieux fait de partir avec eux, même si je trouvais que la méthode n’était pas adaptée (…) finalement, je suis intervenu avec eux sur des séances d’informations, le rapport de confiance avec les gens des établissements, est venu à ce moment-là, c’est ça qui permet que les gens commencent à parler un langage commun (…) la méthodologie d’éducation pour la santé ou de promotion de la santé, on va faire un état des lieux des attentes des jeunes, un état des lieux des attentes des adultes et tout ça, ils n’en ont rien à faire ! Ce qu’ils veulent, c’est que j’intervienne auprès de leurs élèves ! »
31Le souci de produire, les échéances de calendrier incitaient à une démarche plus volontariste, parfois en contradiction avec les principes fondamentaux de Couleurs Santé.
« À un moment donné, je me suis positionnée comme animateur principal… Du coup, on n’était plus partenaires, j’étais un peu dans le forcing pour qu’ils le fassent (…) Pour ce qui est des enseignants, des proviseurs, des infirmières, des CPE sur le site, c’est devenu des cibles. Pour moi dans l’idée du partenariat il y a vraiment l’idée de construire avec, mais plus ça allait, plus on est devenu une sorte de producteurs. »
« La première année, la mobilisation générale, la seconde, donner envie puis la troisième année, faire parce que l’évaluation approche ! »
33Enfin, étaient questionnés le point d’aboutissement de la démarche et les critères de réussite de la démarche, pointant les risques de l’évaluation.
« La réussite est là où on ne l’attendait pas, le projet visait le travail des établissements, on s’aperçoit qu’il y a très peu de choses qui se sont mis en place, que ça a été très compliqué, finalement pour arriver à des embryons de quelque chose mais que la réussite elle est plutôt dans des partenariats extérieurs (…) dans des dynamiques autres (…) du coup, elle ne peut pas être rattachée directement au projet. »
35Les chargés de projet ont dû composer avec le dynamisme territorial préexistant, le degré d’engagement des partenaires et la présence ou non d’un relais local. L’expérience de chacun, l’histoire de sa structure d’appartenance et de ses relations avec la structure régionale, la nature des sollicitations, ont façonné la posture adoptée (animateur, accompagnateur, opérateur), les uns restant fidèles à l’esprit Couleurs Santé, les autres s’autorisant à déroger au principe du « faire faire » et à aménager des réponses, de type « faire avec » voire « faire à la place ».
« Le fait que nous, on ait déjà une expérience de la démarche, on s’est accordé des libertés, de les retricoter et pas de les décliner coûte que coûte. »
La confrontation des situations pour faire évoluer les pratiques
37La démarche évaluative a fait émerger les ambiguïtés de certains aspects de la démarche, confronté des pratiques, révélé des malaises jusqu’alors non exprimés dans l’espace collectif. En particulier, l’hétérogénéité d’implantation du programme déployé dans des environnements contraignants questionnait individuellement les animateurs locaux dans leur habilité à conduire des projets, voire leur responsabilité dans le succès d’un programme ressenti porteur d’enjeux pour le niveau régional et plus généralement pour les structures d’éducation pour la santé.
« Moi, je trouvais qu’à certains moments, il y avait une espèce de… pas un classement mais il y avait des projets qui ne marchaient pas. »
« J’ai senti le fait qu’on n’avait pas le droit à se planter. Il y avait de tels enjeux de représentations régionales du réseau. »
39Le niveau régional n’avait été qu’exceptionnellement sollicité par les chargés de projet, soit qu’ils estimaient devoir assumer pleinement la responsabilité qui leur avait été confiée, soit qu’ils considéraient de la responsabilité de l’échelon régional de prendre des décisions face à des situations locales difficiles.
« On a notre responsabilité (…) au lieu de s’ouvrir sur le CRES, prendre un téléphone et dire, voilà, il y a un truc qui va pas, moi, j’ai continué à me recentrer sur le site en disant, je vais bien trouver, moi, la solution ! »
41Les activités liées aux fonctions régionales de coordination et d’allocation des financements instauraient une relation pseudo-hiérarchique avec le niveau départemental, situation inhabituelle dans l’histoire des structures d’éducation pour la santé. Le niveau régional à la recherche d’un équilibre entre le respect de l’autonomie des structures départementales et une prise de position interventionniste, avait opté pour une position de neutralité, ce qui expliquait que les situations locales critiques n’avaient pas été abordées dans les réunions régionales.
Les influences réciproques entre le programme et l’évaluation
42Couleurs Santé présente les caractéristiques d’une intervention complexe [6-8]. Mise en œuvre par des acteurs porteurs de représentations et de logiques plurielles, elle combine plusieurs stratégies. Son devenir est incertain, dépendant des contributions imprévisibles des acteurs et soumis aux aléas du contexte. Les interactions entre les effets des actions, le jeu des acteurs et les évènements de l’environnement sont multiples. Enfin, les principales parties prenantes sont prises dans un faisceau de relations ambiguës et en tension entre des objectifs contradictoires ; tels les chargés de projet dans une double contrainte entre le respect des principes du programme (ne pas intervenir à la place de) et la mission à accomplir (faire naître et réaliser des actions).
43L’évaluateur également affrontait des paradoxes. Bien que la commande initiale ait été formulée à l’issue d’un débat entre, les partenaires institutionnels et le porteur de Couleurs Santé, le paradigme réaliste empirique avait dominé le débat pour le choix des questions évaluatives, la démonstration de l’efficacité propre de la démarche étant en filigrane la préoccupation majeure en vue de sa transférabilité. Or, le succès de la mobilisation communautaire est intimement lié aux facteurs contextuels et l’évaluation a bien montré comment, dans chacun des sites, le projet s’est incarné en fonction des contraintes locales et des représentations que les acteurs ont développées à partir du référentiel du programme. L’évaluation doit se préoccuper des interactions entre le programme, l’environnement et les acteurs, les principaux facteurs reliés au contexte devant être identifiés et pris en compte aux principaux stades de l’évaluation [9].
44L’évolution de la compréhension du programme et de ses enjeux dans les différents contextes, l’appréciation des besoins des opérateurs et des possibles bénéfices de cette évaluation, ont influencé la trajectoire de l’évaluation, en l’orientant vers ce qui semblait possible et le plus utile pour les utilisateurs : reconstruire la cohérence de l’intervention, promouvoir une réflexion sur les pratiques en promotion de la santé, identifier les facteurs de réussite pour renforcer l’action locale. Ce constat rejoint les trois éléments du cadre d’analyse de la pratique des évaluateurs proposé par Kundin [10] : la prise de conscience du contexte, le raisonnement pratique et la pratique réflexive définie comme la façon dont l’évaluateur combine connaissances, expérience, perception du contexte et affects pour appliquer sa théorie de l’évaluation sur un terrain nouveau et souvent imprévisible. Si l’évaluation a contribué à influencer le programme et les représentations des acteurs, inversement, le programme a modelé l’approche évaluative. Ces évolutions mutuelles ont été rendues possibles par la relation de réciprocité entre les promoteurs et l’évaluateur.
45L’intégration de l’évaluation à l’activité de programme reste un défi à relever qui suppose de faire évoluer les repères pour les deux exercices afin qu’il soit possible de s’engager sur la troisième voie, l’adoption d’un modèle commun réconciliant plusieurs approches de la réalité.
46Aucun conflit d’intérêts déclaré
Bibliographie
Références
- 1Jabot F, Gerhart C, Auclair A. Des progrès en promotion de la santé en France ? In : Cherubini B (dir.) Agir pour la promotion de la santé : une politique ouverte à l’innovation ? Paris : Éditions Erès, collection « Action santé » ; 2011.
- 2Potvin L, Bilodeau A, Gendron S. Trois conceptions de la nature des programmes : implications pour l’évaluation des programmes complexes en santé publique. The Canadian journal of Program Evaluation. 2012;26(3):91-104.
- 3Organisation mondiale de la santé. Charte d’Ottawa pour la promotion de la santé. Ottawa : Organisation mondiale de la santé, Santé et Bien-être social Canada et Association canadienne de santé publique ; 1986.
- 4Jabot F, Bauchet M. 2007. Évaluation du programme « Couleurs Santé » en Bretagne, Rapport remis au Comité régional d’éducation pour la santé, 207 p.
- 5Promotion Santé Suisse. Guide pour la catégorisation des résultats de projets de promotion de la santé et de prévention, 2e version, Berne, juillet 2005.
- 6Rogers P. Using Program Theory to Evaluate Complicated and Complex Aspects of Intervention. Evaluation: the international journal of theory, research and practice. 2008;14(1):29-48.
- 7Stame N. Theory-Based Evaluation and Types of Complexity. Evaluation. 2004;10(1):58-76.
- 8Zimmerman BJ, Dubois N, et al. En quoi la complexité a-t-elle des répercussions sur l’évaluation ? The Canadian Journal of Program Evaluation. 2012;26(3):xiii-xx.
- 9Conner F, Fitzpatrick JL, Rog DJ. A First Step Forward: Context Assessment. In: Rog DJ, Fitzpatrick JL, Conner F. (dir.) An introduction to Context and Its Role in Evaluation Practice. New Directions of Evaluation. 2012;135(3):89-105.
- 10Kundin DM. A Conceptual Framework for How Evaluators Make Everyday Practice Decisions. American Journal of Evaluation. 2010; 31(3):347-62.
Mots-clés éditeurs : programme de santé communautaire, promotion de la santé, évaluation, milieu scolaire
Mise en ligne 09/07/2013
https://doi.org/10.3917/spub.133.0175Notes
-
[1]
École des hautes études en santé publique – avenue Léon Bernard – 35043 Rennes cedex – France – EA4360 – APEMAC – Université de Nancy – France.
-
[2]
Coordinateur de Couleurs Santé (2006-2008) – Rennes – France.
-
[3]
FEES – Nice – France.
-
[4]
Loi n° 2002-303 du 4 mars 2002 relative aux droits des malades et à la qualité du système de santé.
-
[5]
Loi n° 2004-806 du 9 août 2004 relative à la politique de santé publique. Journal officiel de la République française, Paris (France).
-
[6]
Loi n° 2009-879 du 21 juillet 2009 portant réforme de l’hôpital et relative aux patients, à la santé et aux territoires.
-
[7]
Centres de loisirs, bibliothèques, médiathèques, organismes associatifs.
-
[8]
L’un étant issu de la structure départementale d’éducation pour la santé, l’autre d’une autre association (Ligue contre le cancer, Association de prévention en alcoologie et addictologie).
-
[9]
Rectorat, Direction régionale des affaires sanitaires et sociales, Union régionale des caisses d’assurance maladie.
-
[10]
Nous avons opté pour la terminologie suivante : programme pour le cadre de référence donné par le niveau régional, démarches locales à propos du processus mis en place au niveau des sites, projets pour l’ensemble des actions réalisées au niveau local.
