Introduction
1La diffusion des soins palliatifs par l’enseignement est une stratégie importante pour le développement des compétences dans ce domaine. Tout comme dans l’enseignement médical en général, les soins palliatifs s’intéressent aussi à évaluer l’impact de leurs interventions pédagogiques [1, 2].
2La question suivante se pose : que voulons-nous évaluer ?
3Miller propose un modèle d’apprentissage sous forme pyramidale. A sa base, il situe la connaissance (« le savoir »). Le niveau suivant représente la capacité d’appliquer le savoir (« le savoir comment »). Vient ensuite le troisième niveau qui représente la démonstration de la compétence (performance, « la démonstration par le comment »). C’est à ce niveau que commence à se manifester l’application pratique des compétences. Le haut de la pyramide, le plus difficile à évaluer, est le niveau de ce que fait l’apprenti dans la vie réelle (« action ou comportement »). Les attitudes sont attachées à ces différents niveaux. La distinction entre « performance » et « comportement » est importante parce que si l’apprenti peut réussir le test auquel il est soumis (avec un patient standardisé par exemple), il peut, par contre, hors examen, se comporter différemment lorsqu’il est confronté à une situation réelle.
4Il existe plusieurs méthodes d’évaluation de ces différents niveaux [5]. Chacune a son lot d’avantages et d’inconvénients. Par exemple, un questionnaire à choix multiple (QCM), construit selon les règles établies, permet d’évaluer les changements de connaissances tout en étant une méthode peu coûteuse. Les QCM, cependant, ne peuvent évaluer que très difficilement les changements d’attitude et de compétences. Or, les attitudes peuvent être aisément mesurées par des échelles de type Likert grâce auxquelles les apprentis indiquent leur niveau d’approbation (ou de désapprobation) en rapport avec l’exposition du problème soumis. Les patients simulés et les examens cliniques objectifs structurés de type « ECOS » sont utiles pour mesurer la performance. Cependant ces types d’évaluation requièrent des ressources considérables. L’utilisation de plusieurs méthodes pour une même évaluation est souvent justifiée, ces combinaisons renforçant ainsi la validité et la fiabilité du test [5, 6].
5L’évaluation de l’efficacité d’une intervention pédagogique devrait être principalement, mais pas exclusivement, basée sur l’acquisition d’objectifs pré-établis mesurables et réalistes et sur l’acquisition des compétences [7, 8, 9, 10].
6Cet article décrit le cadre d’évaluation choisi pour évaluer l’impact d’un cours de huit heures de soins palliatifs à des étudiants de médecine de 4e année de l’Université de Lausanne. Il décrit également le développement des instruments utilisés et les résultats obtenus. La fin de l’article recouvre l’analyse des résultats et la discussion.
Méthode
« Design » du cours
7En 2007, les huit heures de cours élaborées pour les étudiants de médecine de 4e année s’inscrivent dans les onze heures concernant les soins palliatifs tout au long du curriculum de formation universitaire de six ans de médecine. Les huit heures sont réparties en modules de deux heures dispensés une fois par semaine. Les quatre modules, dirigés chacun par deux enseignants travaillant en soins palliatifs mais de formation professionnelle différente (médecin, infirmière, aumônier), sont destinés à des groupes d’étudiants d’environ vingt-cinq personnes/groupe/module. Chaque semaine un tournus des groupes entre les modules se fait. Les thèmes présentés par chaque couple d’enseignants sont toujours les mêmes, seuls les groupes d’étudiants changent (cf. tableau I).
Plan du cours
Plan du cours
8Les buts généraux des cours visent à introduire la philosophie et les concepts de base des soins palliatifs afin de provoquer grâce à l’enseignement par groupe, des changements d’attitude, d’auto-perception des compétences et des connaissances par l’approche d’e-learning (cf. tableau II). Dans un deuxième temps, ces cours devraient permettre de familiariser les étudiants à l’interdisciplinarité par le modèle pédagogique proposé (enseignants de différentes professions) et à l’approche de « l’apprentissage par problème », méthode de plus en plus utilisée au niveau pédagogique.
Description des modules
Description des modules
9En parallèle aux modules cités ci-dessus, huit modules concernant la gestion de symptômes ont été créés via le e-learning. Les thèmes présentés allaient de la gestion de la douleur (évaluation, physiopathologie, traitement par opioïdes et traitement par adjuvants), à la gestion d’autres problèmes tels que la dyspnée, nausée, agitation/confusion et troubles du transit. Ces modules d’e-learning d’une durée moyenne de quinze minutes ont été conçus grâce au logiciel Presenter. Celui-là a permis de visionner des présentations powerpoint avec narration et commentaires concomitants de l’auteur en rapport avec le sujet traité. A noter que l’application de ces modules e-learning et leur accessibilité ont été largement limitées par un réseau informatique interne très complexe : ces modules n’ont pas pu être visionnés dans les lieux de travail habituels des étudiants.
Méthodes d’évaluation
10En raison d’un temps restreint à disposition pour donner les cours, le temps d’évaluation ne pouvait dépasser vingt minutes et devait se montrer cohérent face aux objectifs fixés. Il a donc été décidé de construire une échelle d’évaluation axée sur les changements d’attitude et sur l’auto-perception des compétences en soins palliatifs. A souligner que l’évaluation des compétences des étudiants, bien que ne figurant pas parmi les objectifs fixés, ne s’est pas faite en raison du peu de temps disponible.
11Attachant de l’importance à l’utilisation d’instruments de mesure ayant déjà fait leur preuve (validité et fiabilité), nous avons opté pour divers instruments à disposition dans le domaine de l’éducation en soins palliatifs, tels que ceux concernant l’attitude [11, 12, 13, 14], la connaissance (savoir) [15, 16, 17, 18] et l’auto-perception des compétences [19, 20]. A noter aussi la possibilité d’utiliser des combinaisons [21].
12Pour notre cours, en raison des limites de certains instruments, nous avons développé d’autres outils de mesure plus adaptés. Bien qu’il n’existe aucune version pour la plupart des instruments, nous avons suivi les recommandations internationales pour mesurer l’attitude [22] et la connaissance en utilisant les questions à choix multiple [23].
13Les instruments suivants ont été construits (cf. tableaux I à V dans la partie des résultats) :
- Dix questions utilisant les cinq points de l’échelle de Likert variant de 1 (totalement en désaccord) à 5 (totalement en accord) pour évaluer l’attitude face aux soins donnés aux patients en fin de vie et à leur famille. Pour des raisons linguistiques, certaines questions ont du être traduites avec une formulation négative.
- Six questions à choix multiples (QCM) pour évaluer la connaissance dans la prise en charge des symptômes.
- Quelques questions ouvertes pour évaluer le cours dans son ensemble (méthode et qualité).
- Quelques questions ouvertes pour estimer les modules e-learning (méthode et qualité).
14Le questionnaire a été distribué juste avant le 1er module et directement après le dernier module. A noter que ce questionnaire a aussi été créé de manière à être un outil d’apprentissage (catalyseur d’intérêt).
Méthode statistique
15Les données pré/post-cours des étudiants n’ont pas été pariées (par simplification et par respect de l’anonymat des étudiants). De plus, certains étudiants n’ont rempli que l’un ou l’autre des questionnaires.
16Les données de l’évaluation des échelles de Likert (attitudes, évaluation du cours) ainsi que celles de l’échelle modifiée de Likert (l’auto-perception des compétences) ont été traitées comme des données continues. Les résultats concernant la connaissance ont été traités de manière dichotomique (réponse juste ou fausse). L’independant samples t-test a été utilisé pour calculer les moyennes pré- et post-cours. Une valeur p < 0.05 a été considérée comme une différence significative.
17Le coefficient alpha (?) de Cronbach a été adopté pour calculer la fiabilité interne des échelles de même que la formule de Richardson 20 (KR20) a été choisie pour déterminer la fiabilité interne du test de connaissance. Précisons que le très petit nombre des questions limite déjà la mesure de la fiabilité interne des tests. Le logiciel utilisé pour l’analyse des données est la version 14 SPSS.
18L’étude a été acceptée par la commission d’éthique locale.
Résultats
Participation
19En comparaison à 2006, la participation des étudiants au cours de 2007 était un peu plus importante. En effet, en 2006, 45 étudiants sur 100 ont commencé le cours et 21 étudiants ont été comptés à la fin du cours. En 2007, 78 sur 104 ont participé à la première session (dont 48 ont rempli le questionnaire pré-cours). Au dernier cours, 45 étudiants étaient présents et 36 ont rempli le questionnaire post-cours.
Attitudes
20Les étudiants ont complété le questionnaire en répondant à la demande suivante : « Veuillez entourer le nombre qui décrit le mieux votre position en rapport à chaque énoncé (totalement en désaccord = 1, totalement en accord = 5) » (cf. tableau III). Le coefficient ? de Cronbach (mesure de la fiabilité interne) est de 0.54, mesure jugée acceptable au vu du petit nombre de questions. Les améliorations, démontrées par des scores plus petits, sont présentes dans 9 items sur 10. Parmi ces résultats, 4 sont statistiquement significatifs. L’item numéro 10 montre la plus forte amélioration.
Résultats des changements d’attitude pré- versus post-cours (1 = totalement en désaccord, 5 = totalement en accord ; bas scores désirés)
Résultats des changements d’attitude pré- versus post-cours (1 = totalement en désaccord, 5 = totalement en accord ; bas scores désirés)
Auto-perception des compétences
21Les étudiants ont répondu à la demande suivante : « Entourer le nombre qui décrit le mieux le degré de votre compétence dans votre contexte d’étudiant concernant les situations suivantes en lien avec des patients palliatifs (avec maladie incurable progressive) ». Le coefficient ? de Cronbach est de 0.827. Nous retrouvons une amélioration significative dans les 7 items (cf. tableau IV).
Résultats de l’auto-perception des compétences pré- versus post-cours (1 = me sens pas du compétent, 5 = me sens très compétent ; hauts scores désirés)
Résultats de l’auto-perception des compétences pré- versus post-cours (1 = me sens pas du compétent, 5 = me sens très compétent ; hauts scores désirés)
Connaissance
22Le test de connaissance se trouve dans l’appendix A. Une discrète augmentation du nombre d’étudiants ayant répondu juste est retrouvée dans 3 questions sur 6 sans atteindre un seuil statistiquement significatif. Comparativement aux réponses « pré-test », les résultats « post-test » montrent une amélioration significative (p = 0.02) au niveau du thème de la dyspnée, mais une baisse de performance non significative dans le thème des opioïdes (cf. figure 1).
Test de connaissances
Test de connaissances
Changements dans les connaissances pré versus post-cours
Changements dans les connaissances pré versus post-cours
E-learning
23Parmi les 36 étudiants ayant répondu au questionnaire, seuls 7 ont utilisé les modules e-learning. Les modules ont été vus entre 2 à 8 fois chacun.
24Par rapport au focus-groupe organisé (13 étudiants présents), 11 étudiants n’ont pas utilisé les modules e-learning. Ils ont avancé les raisons suivantes : le manque de temps et/ou la difficulté d’accès. Malgré le fait qu’ils n’avaient jamais utilisé de e-learning auparavant, ils ont évoqué le fait qu’ils n’aimaient pas étudier via l’e-learning. Tous ont exprimé qu’ils préféraient l’apprentissage en classe à l’apprentissage par internet. Plusieurs ont défendu qu’ils n’avaient pas été mis au courant de ce module. Une étudiante les a trouvés utiles et riches d’intérêt mais n’a pu faire que deux modules e-learning, en raison du problème d’accès au site Internet à la maison.
Cours en général
25A la question : « Qu’avez-vous apprécié le plus dans ces cours ? », le tableau V indique un haut niveau de satisfaction. Plusieurs réponses peuvent être données par personne (le pourcentage des réponses dépasse proportionnellement le nombre d’étudiants).
26Soixante-douze sur cent (26/36) des étudiants ont répondu à cette question en citant l’organisation des cours (travail en petits groupes, discussions et interactions, communication libre avec les enseignants). Les autres thèmes ressortis incluaient l’ambiance (cours interactif, intéressant et varié, non conventionnel, dynamique) ; la qualité des enseignants (engagement, bonne humeur, humour, disponibilité, motivation, expertise, manière d’enseigner, bon apport par la présence des deux formateurs) ; la matière enseignée (espace de réflexion et de discussion sur le sujet, matière concrète, intéressante, pratique clinique des enseignants).
27A la question : « Qu’avez-vous apprécié le moins dans ces cours ? ». Il nous a été rapporté un manque d’exercices pratiques (pas assez de jeux de rôles), un manque de temps pour aborder les différentes matières, un manque de théorie médicale et 11% des étudiants ont trouvé le cours ennuyeux et désorganisé.
Discussion
28Cette évaluation permet de démontrer qu’il est possible de construire un cours en fixant des objectifs mesurables et de construire des moyens simples d’évaluation qui se veulent respectueux du temps imparti.
29Le changement mesuré des attitudes face aux soins palliatifs est important puisqu’il s’agit du but principal fixé pour ce cours. L’amélioration significative constatée dans cette étude est appréciée, les attitudes étant difficiles à changer et à mesurer [24]. Il peut y avoir malgré tout un biais de mesure avec le risque des réponses orientées plus vers le « politiquement correct » que le « sincèrement ressenti ». L’instrument n’étant pas suffisamment sensible pour faire la distinction entre les deux tendances, il aurait été judicieux d’élargir le questionnaire pour explorer plus en profondeur les propriétés psychométriques de l’instrument.
Appréciation des cours (échelle de Likert où 1 = totalement en désaccord ; 5= totalement en accord)
Appréciation des cours (échelle de Likert où 1 = totalement en désaccord ; 5= totalement en accord)
30Les étudiants ont reporté une mauvaise auto-perception des compétences en soins palliatifs (niveau assez bas) concernant sept items. Nous pouvons expliquer ce résultat par le fait qu’ils n’ont reçu aucune formation antérieure. De plus, on note dans cette étude une amélioration des résultats post-cours dans sept items. Cela démontre le bénéfice des cours traitant des thèmes autour de : « Annonce de mauvaises nouvelles » et « Docteur, combien de temps me reste-t-il à vivre ? ». Par contre, on relève des résultats surprenants autour de certains sujets tels que : « Répondre à une demande d’euthanasie » ou encore « Docteur, est-ce que je vais souffrir ? » puisque ces sujets n’ont pas été traités spécifiquement dans les différents modules ! Nous supposons qu’il s’agit d’une capacité de généralisation des thèmes spécifiquement abordés au cours dans l’auto-perception des compétences rendant ainsi les étudiants plus à l’aise face à d’autres thèmes (il s’agit là de l’apprentissage dans l’apprentissage avec des capacités de transférer les apprentissages à d’autres situations).
31Concernant la connaissance, les résultats n’ont montré qu’une faible amélioration (principalement pour la dyspnée). Cela relève surtout de l’absence des étudiants aux modules théoriques d’e-learning.
32Concernant les modules e-learning les résultats mettent en lumière l’importance de l’accessibilité à améliorer (étendre l’accès intranet à l’Internet de façon à ce que les étudiants puissent consulter ces modules en tout temps). Les résultats retrouvés dans le focus group soulignent que les étudiants ne sont pas encore préparés à étudier avec une nouvelle méthode. Or, comme tendent à le montrer certaines études, les étudiants, confrontés aux « a priori » de la méthode informatique, présentent des performances équivalentes à ceux qui étaient au bénéfice d’une méthode plus classique [25, 26]. En effet, William et al., ont mené une étude randomisée en simple aveugle avec un groupe contrôle : 166 étudiants de médecine ont été évalués avec deux outils pédagogiques distincts (enseignement par lecture structurée et enseignement via l’informatique) [27]. Les résultats ont montré dans les deux groupes une amélioration significative au niveau de leurs connaissances. Bien que l’auto-évaluation de compétences dans le groupe ayant reçu les cours par le support informatique était marquée plus sévèrement, l’acquisition de leurs compétences était plus élevée. Les étudiants recommandaient également ce nouveau support pédagogique, le trouvant plus attrayant.
33Dans l’ensemble, le cours a été évalué très positivement par les étudiants. L’apprentissage par problème en petits groupes et l’apport de la matière enseignée avec l’esprit d’interprofessionalité ont été particulièrement appréciés.
34La présence partielle des étudiants aux cours de soins palliatifs est probablement plurifactorielle. N’ayant pas interrogé les étudiants qui n’ont partiellement ou pas du tout participé au cours, nous ne pouvons que spéculer sur la/les raison(s) de leur absence. Lors du focus group, il nous a été rapporté que l’absence d’examens à ce sujet finit par « démotiver » certains étudiants qui préfèrent se concentrer sur les branches notées et évaluées. Le premier cours semble décisif pour certains dans leur choix de rester ou non. L’absence de contrôle des présences pourrait être un autre facteur. Cependant, en dépit de ces deux facteurs démobilisateurs, la participation des étudiants fut plus importante par rapport à l’année précédente.
Limites
35Seul l’impact sur l’apprentissage post-cours a été évalué, et non celui à long terme. Il est probable qu’avec le temps l’impact diminue. Nous ne pouvons également pas généraliser les résultats puisque les instruments d’évaluation ont été limités dans leur nombre. Par faute d’évaluation des étudiants qui n’ont pas participé au cours, nous ne pouvons comparer les résultats obtenus de cette étude avec un groupe contrôle. Nous relevons en outre une limite concernant la méthode qualitative utilisée dans les focus groups (prise de notes), sans données enregistrées, ni retranscription des « verbatim ».
Conclusion
36Un cours de huit heures reste largement insuffisant pour apporter de manière constructive un changement dans les différents niveaux d’apprentissage. Nous avons donc adressé des propositions dans ce sens en associant les résultats de cette évaluation à la commission médicale prégraduée de l’Université de Lausanne. Une augmentation des heures de cours (non encore définie au moment de l’écriture de l’article) ainsi que la création de seize heures de stage clinique dans le service de soins palliatifs du CHUV (et unités de soins palliatifs de Suisse romande) nous ont été accordées. A l’avenir, grâce à l’évaluation de ce cours, nous pourrons affiner la construction du suivant, tant au niveau des objectifs qu’au niveau des moyens pédagogiques. Pour conclure, la diffusion des soins palliatifs à travers l’enseignement ainsi que l’évaluation de cet enseignement par des instruments de mesure appropriés sont des stratégies importantes pour le développement des compétences professionnelles des étudiants.
Remerciements
Nous remercions la Dr C. Mazzocato, la Dr J. Michel, Mme S. Ducret et M. D. Pétremand pour la construction et l’enseignement de ce cours. Nous remercions le Dr R. Bonvin pour ses précieux conseils.Références bibliographiques
- 1Dauphinee WD, Wood-Dauphinee S. The need for evidence in medical education : The development of best evidence medical education as an opportunity to inform, guide, and sustain medical education research. Acad Med, 2004 ; 79 : 925-930.
- 2MacLeod RD, James CR. Improving the effectiveness of palliative care education. Palliat Med 1997 ; 11 (5) : 375-380.
- 3Kirkpatrick D. Great Ideas Revisited. Techniques for Evaluating Training Programs. Revisiting Kirkpatrick’s Four-Level Model. Training and Development. 1996 ; 50 (1) : 54-59.
- 4Kirkpatrick D. Kirkpatrick J. Evaluating training programs : The four levels. 3rd Edition. Berret-Koehler Publishers, Inc. San Francisco, Ca. 2006.
- 5Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990 ; 65 : S63-S7.
- 6Verhoeven BH, Hamers JGHC, Scherpbier AJJA, Hoogenboom RJI, van der Vleuten CPM. The effect on reliability of adding a separate written assessment component to an objective structured clinical examination. Medical Education 2000 ; 34 (7) : 525-529.
- 7Shumway J, Harden R. AMEE Guide N° 25 : The Assessment of learning outcomes for the competent and reflective physician. Medical Teacher. 2003 ; 25 : 569-584.
- 8Epstein RM, Hundert EM. Defining and assessing professional competence. JAMA. 2002 ; 287 : 226-235.
- 9Wass V, Van der Vleuten C, Shatzer J, Jones R. Assessment of clinical competence. Lancet 2001 ; 357 : 945-949.
- 10Epstein RM. Assessment in Medical Education. NEJM. 2007 ; 356 : 387-396.
- 11Mason S, Ellershaw J. Assessing undergraduate palliative care education : validity and reliability of two scales examining perceived efficacy and outcome expectancies in palliative care. Medical Education. 2004 ; 38 : 1103-1110.
- 12Frommelt KH. Attitudes toward care of the terminally ill : an educational intervention. Am. J. Hosp. Palliat. Care 2003 ; 20 (1) : 13-22.
- 13Lloyd-Williams M, Dogra N. Caring for dying patients-What are the attitudes of medical students ? Support Care Cancer 2003 ; 11 ; 696-699.
- 14Robbins R. A. Bugen’s Coping with Death Scale : Reliability and further validation. Omega 1991 ; 22 ; 287-299.
- 15Oneschuk D, Fainsinger R, Hanson J, Bruera E. Assessment and knowledge in palliative care in second year family medicine residents. J Pain Symptom Manage. 1997 ; 14 : 265-273.
- 16Weissman D. Multiple Choice Questionnaire Pool, EPERC. Available at www. eperc. mcw. edu/ format_mcq. htm.
- 17Ross MM, McDonald B, McGuinness J. The palliative care quiz for nursing (PCQN) : the development of an instrument to measure nurses’ knowledge of palliative care. Journal of Advanced Nursing 1996 ; 23 : 26-137.
- 18Adriaansen MJM, Achterberg TV. A test instrument for palliative care. Int J of Nursing Studies. 2004 ; 41 : 107-117.
- 19Fischer SM, Gozansky WS, Kutner JS, Chomiak A, Kramer A. Palliative care education : an intervention to improve medical residents’ knowledge and attitudes. J Palliat Med. 2003 ; 6 : 391-399.
- 20Mason S, Ellershaw J. Assessing undergraduate palliative care education : validity and reliability of two scales examining perceived efficacy and outcome expectancies in palliative care. Medical Education. 2004 ; 38 : 1103-1110.
- 21Jubelirer, SJ, Welch, C, and et al. Competencies and concerns in end-of-life care for medical students and residents. West V Med J 1997 ; 2 : 118-121. 2001.
- 22Pereira J. The Development and Psychometric Assessment of an Instrument to Assess the Palliative Care Competencies. (Masters of Science in Medical Education Degree Thesis). Publisher : Ottawa : Library and Archives Canada ; 2007. ISBN : 978049192566.
- 23Henerson ME, Morris LL, Fitz-Gibbon CT. How to measure attitudes. SAGE Publications, Newbury Park, California. 1987.
- 24Case SM, Swanson DB. Constructing Written Test Questions For the Basic and Clinical Sciences. 3rd Edition revised. National Board of Medical Examiners, Philadelphia, PA. Available at : http:// www. nbme. org/ publications/ item-writing-manual. html.
- 25Oppenhheim AN. (1992) Questionnaire Design, Interviewing and Attitude Measurement. 2nd Ed.Pinter Publications, London.
- 26Kells HF, Ponton MK, Rovai AP. A comparison of student evaluations of teaching between online and face-to-face courses. The Internet and Higher Education 2007 ; 10 (2) : 89-101.
- 27Utts J, Sommer B, Acredolo C, Maher MW, Matthews HR. A Study Comparing Traditional and Hybrid Internet-Based Instruction in Introductory Statistics Classes. Journal of Statistics Education 2003 ; 11 (3) : available at www. amstat. org/ publications/ jse/ v11n3/ utts. html (last accessed in July 2007).
- 28Williams C, Aubin S, Harkin P, Cottrell D. A randomized, controlled, single-blind trial of teaching provided by a computer-based multimedia package versus lecture. Medical Education 2001 ; 35 (9) : 847-854.
Mots-clés éditeurs : outils d'évaluation, interprofessionalisme, soins palliatifs, pédagogie, e-learning
Date de mise en ligne : 01/03/2009
https://doi.org/10.3917/inka.091.0003