1 Au cours des dernières années, le développement rapide d’Internet et de ses divers usages a provoqué une forte croissance de l’utilisation du Web dans la recherche scientifique. La recherche empirique n’échappe pas à cette tendance, car le Web permet aux chercheurs d’accroître l’étendue et l’efficience de leurs recherches (M.P. Couper et P.V. Miller, 2008). En fait, l’utilisation d’Internet dans la recherche a transformé radicalement les façons de faire, notamment en ce qui concerne la collaboration entre chercheurs, la collecte de données et la diffusion des résultats (R. Kraut et al., 2004). Le présent article s’inscrit dans ce mouvement et présente le cas d’une étude quantitative ayant utilisé un questionnaire en ligne comme mode de collecte de données (E. Jean, 2012). L’étude en question porte sur le rôle médiateur de la résolution de problème dans la relation entre les conflits interrôles et la détresse psychologique. Bien que ce mode de collecte possède de multiples avantages, les défis sont nombreux pour le chercheur. Cet article a comme objectifs de présenter dans un premier temps, les avantages de la collecte de données en ligne. Dans un deuxième temps, il précise les principaux enjeux de ce type de collecte (figure 1). Chacun des enjeux est accompagné d’une présentation de la démarche effectuée dans le cadre de l’étude.
1. Avantages de la collecte de données en ligne
2 La croissance des réseaux informatisés de communication dans le monde est phénoménale, particulièrement en ce qui concerne le Web. De 2010 à 2013, les utilisateurs d’Internet dans le monde sont passés (pour 100 personnes) de 29,3 % à 38,1 % (La Banque mondiale, 2014). Au Canada en 2012, 83 % des ménages avaient accès à Internet à la maison, comparativement à 79 % en 2010 (Statistiques Canada, 2013). Conséquemment, Internet est un outil particulièrement intéressant pour les chercheurs parce qu’il permet l’accès à un très large nombre de participants potentiels pour un très faible coût, ce qui conduit à une plus grande démocratisation de la recherche (D. Frippiat et N. Marquis, 2010). En effet, alors que les modes de collecte plus traditionnels nécessitent des dépenses liées à l’utilisation de laboratoires, au matériel spécialisé et au temps nécessaire à la passation des tests, le questionnaire Web implique peu de frais une fois sa mise en ligne effectuée (T. Buchanan et J.L. Smith, 1999). Qui plus est, comme l’ensemble du processus est automatisé, le coût marginal de chaque nouveau participant demeure très faible.
3 Autre avantage, un questionnaire en ligne bien conçu est plus flexible et peut être moins exposé aux erreurs de réponse que le questionnaire papier-crayon. En effet, le Web permet de contrôler et d’orienter la progression dans le questionnaire, en fonction des réponses précédentes, minimise les problèmes d’interprétation des consignes (p. ex., saut de question automatique) et élimine les erreurs liées à la retranscription manuelle des données (R. Kraut et al., 2004). La qualité des données recueillies par Internet, au même titre que les autres méthodes, demeure une préoccupation importante pour le chercheur. Toutefois, il semble que l’utilisation du Web ne comporte pas plus de problèmes que les autres types de collecte(K.O. McGraw, M.D. Tew et J.E. Williams, 2000 ; L. Singh, 2011). De plus, plusieurs études démontrent que les résultats de recherches issues d’Internet peuvent concorder avec ceux obtenus avec des méthodes plus traditionnelles et ce, pour divers construits psychologiques (E. Davidov et F. Depner, 2011 ; S.D. Gosling, S. Vazire, S. Srivastava et O.P. John, 2004 ; P. Ward, T. Clark, R. Zabriskie et T. Morris, 2012).
4 Enfin, l’utilisation du Web offre d’autres bénéfices liés à la vitesse de transmission des données et à la communication asynchrone, qui permet aux participants de répondre au moment qui leur est le plus propice. Même si cette forme de collecte diminue le contrôle du chercheur sur l’environnement de recherche, elle s’effectue sans intermédiaire. Par conséquent, la collecte en ligne peut accroître la fiabilité des données par l’élimination des biais liés à l’intervieweur (K. Braunsberger, H. Wybenga et R. Gates, 2007). Quant au caractère éphémère véhiculé par ce mode de collecte, cette caractéristique peut rendre les participants en ligne plus ouverts et moins enclins à la désirabilité sociale, grâce à une distanciation et une sensation d’intimité accrues (D. Heerwegh, 2009 ; A. Joinson, 1999).
Principaux enjeux de la collecte de données en ligne.
Principaux enjeux de la collecte de données en ligne.
2. Enjeux soulevés par la collecte de données en ligne
2.1. Premier enjeu : la déontologie
5 Sur le plan de la déontologie, une étude par Internet ne comporte pas plus de risques pour les participants qu’une recherche comparable, utilisant une autre forme de collecte. Toutefois, l’utilisation du Web peut changer la nature des risques et la capacité du chercheur à évaluer ces derniers (R. Kraut et al., 2004). À titre d’exemple, il peut être plus difficile d’évaluer la réaction des individus à l’égard de l’étude lorsque la collecte se déroule en ligne. De même, l’identification des participants et l’assistance en cas de besoin peuvent nécessiter la mise en place de mesures spécifiques (The British Psychological Society, 2007). Le chercheur doit prêter une attention particulière au processus de collecte afin d’adapter ce dernier aux exigences de l’organisme règlementaire concerné, particulièrement en ce qui concerne la confidentialité et la sécurité des données (J.R. Evans et A. Mathur, 2005). Lorsque la recherche concerne des humains, ces exigences touchent notamment la description des méthodes de collecte utilisées, la conservation et la destruction des données, les risques inhérents à la participation au projet, la rémunération ou la compensation accordée et le consentement éclairé des participants (Conseil de recherches en sciences humaines du Canada, Conseil de recherches en sciences naturelles et en génie du Canada, et Instituts de recherche en santé du Canada, 2010). Il est impératif que ces questions soient traitées préalablement à l’envoi des demandes d’autorisation de recherche.
2.1.1. Implications déontologiques pour la collecte réalisée
6 Dans le présent cas, la méthode de collecte de données utilisée comportait uniquement un questionnaire en ligne. Aucune entrevue ou observation n’a été requise et aucun matériel biologique humain (p. ex., le cortisol salivaire comme marqueur des états de stress) n’a été prélevé. Les données de recherche ont été recueillies sur un serveur sécurisé. La base de données, extraite aux fins d’analyses statistiques, est conservée sur le poste informatique du responsable de l’étude qui est protégé par un mot de passe. La durée prévue de conservation des données de recherche est conforme aux normes de l’American Psychological Association (APA, 2010), qui est au minimum de cinq années suivant la fin des publications liées au projet de recherche.
7 Les participants ne couraient aucun risque psychologique, physique ou social. Toutefois, il est possible que la participation à la recherche ait amené des participants à prendre conscience de leur réalité ou de certaines de leurs difficultés familiales et professionnelles. En cas d’inconfort, les coordonnées d’une clinique universitaire de psychologie étaient indiquées à la page de clôture du questionnaire. Une entente avait été conclue à cet effet avec la clinique. Les coordonnées du responsable du projet étaient également présentées. Aucune rémunération ou compensation n’a été accordée pour la participation à la recherche. En ce qui concerne le consentement des participants, la recherche n’impliquait pas de personnes de moins de 18 ans. Le consentement des parents ou tuteurs n’était donc pas nécessaire. Lorsque celui-ci est requis, certaines procédures peuvent être mises en place. Pour des précisions sur ces procédures, voir l’article de S.D. Rhodes, D.A. Bowie et K.L. Hergenrather (2003). Comme le questionnaire était en ligne et anonyme, le consentement ne pouvait se faire par écrit. Le processus de collecte prévoyait un consentement sur le Web, préalable à l’accès au questionnaire. Un énoncé stipulait qu’en appuyant sur le lien d’accès au questionnaire, le participant déclarait avoir lu et compris les informations présentées. La page d’accueil comportait les informations suivantes :
- la nature de la recherche ;
- le nom du responsable ;
- les conditions d’admissibilité ;
- des retombées potentielles ;
- les mesures de confidentialité mises en place ;
- les autres modalités particulières de participation (participation volontaire, absence de rémunération, possibilité de quitter le questionnaire en tout temps, respect de l’anonymat, coordonnées du responsable).
9 Les informations ont été regroupées sous forme de protocole de recherche. Une autorisation de recherche avec des êtres humains a été obtenue auprès du comité d’éthique de l’université concernée.
2.1.2. Points saillants du premier enjeu
10 En ce qui concerne la déontologie de la recherche, cinq éléments sont à retenir :
- lorsque les précautions adéquates sont prises, un questionnaire en ligne ne comporte pas plus de risques pour les humains que des recherches comparables faisant appel à d’autres formes de collecte de données ;
- les données recueillies par questionnaire Web doivent être sécurisées. Le recours à une ressource spécialisée est recommandé pour s’assurer que les logiciels et les équipements informatiques utilisés possèdent les caractéristiques techniques requises.
- l’utilisation d’Internet requiert un ajustement des procédures de collecte, notamment pour le consentement des participants et l’assistance offerte, particulièrement lorsque la participation est anonyme ;
- si l’anonymat est prévu, les participants doivent être informés des moyens mis en place pour respecter cet engagement (notamment l’impossibilité de produire des résultats personnalisés). De plus, seules les informations essentielles à l’étude devraient être demandées ;
- lorsqu’un commentaire ou une demande peuvent être adressés par courriel au chercheur, ces communications devraient être soumises à partir d’une page Web indépendante du questionnaire (p. ex., accueil ou clôture). Cela permet, lorsque l’anonymat est requis, que cette correspondance ne soit pas liée au participant dans le fichier de données.
2.2. Deuxième enjeu : la conception
12 Le réseau Internet et les nombreux outils informatiques disponibles offrent la possibilité d’effectuer de larges enquêtes à peu de frais. Cette démocratisation du processus a conduit à une prolifération des questionnaires en ligne et il peut être très difficile de distinguer les études scientifiques des autres enquêtes. Par conséquent, la conception du questionnaire Web doit être soignée et adaptée aux objectifs de la recherche (M.P. Couper, 2000). Même si les données disponibles démontrent que la grande majorité des Canadiens navigue sur Internet, le facteur technologique doit être sérieusement considéré. Afin de maximiser l’accès au questionnaire, éviter les abandons et minimiser les erreurs lors de l’entrée des données, il importe de s’assurer que la conception du questionnaire demeure simple et que son utilisation est facile pour l’ensemble des utilisateurs (E.M. Daley, R.G. McDermott, K.R. Brown et M.J. Kittleson, 2003). En effet, il existe chez les participants une grande variété de configurations d’ordinateurs et d’appareils, de systèmes d’exploitation, de fureteurs, de vitesses d’accès à Internet, d’options d’affichage et divers ajustements personnels. Ces mêmes variations technologiques peuvent s’appliquer du côté du concepteur, particulièrement en ce qui concerne les logiciels utilisés et le type de serveur informatique (S. Crawford, 2002). Ces facteurs combinés peuvent produire une différence entre le visuel du questionnaire pour le chercheur et celui du participant (L.M. Christian, N.I. Parsons et D.A. Dillman, 2009). Il est toutefois peu probable, tel que soulevé par H. Knapp et S.A. Kirk (2003), que les participants déjà utilisateurs d’Internet répondent différemment aux questions en raison des particularités de ce mode de collecte.
13 Même si un certain nombre de chercheurs tente de proposer des standards, tant sur le plan de la présentation visuelle que du processus de navigation dans le questionnaire (M.P. Couper, R. Tourangeau, F.G. Conrad et S.D. Crawford, 2004 ; S. Crawford, S.E. McCabe et D. Pope, 2005 ; U. Matzat, C. Snijders et W. van der Horst, 2009), leur diffusion demeure encore limitée. Comme le développement de ces standards évolue parallèlement à la recherche et aux nombreux changements technologiques, la mise en ligne d’un questionnaire de qualité demeure une opération délicate. Il existe de nombreux outils de création de questionnaires ; plus de 300 de ceux-ci sont répertoriés sur le site www.websm.org. Ils se distinguent généralement selon les standards adoptés, les options offertes de même que la gamme de prix. Ces outils peuvent être classés, selon S. Crawford (2002), sous trois catégories : les produits de base prêts à l’emploi (libres ou propriétaires), les fournisseurs d’applications hébergées et les systèmes avancés de collecte de données. Le choix d’un produit devrait être guidé par l’expérience du chercheur avec ce mode de collecte, les ressources financières disponibles, la fréquence d’utilisation prévue, la complexité des questionnaires à développer et l’accessibilité au soutien informatique (S. Crawford, 2002). Lorsqu’un chercheur désire utiliser les infrastructures informatiques de son organisation et s’il recherche un logiciel simple et peu coûteux à court terme, la première catégorie de produits peut s’avérer judicieuse. La deuxième catégorie de produits permet au chercheur d’obtenir de la part du fournisseur, en plus du logiciel et du soutien technique, l’hébergement du questionnaire sur un serveur informatique. Bien que cette catégorie de produits offre de nombreux avantages logistiques à court et moyen termes, son coût est relativement plus élevé. La troisième catégorie regroupe des produits très coûteux, mais offrant des fonctionnalités avancées. Cette catégorie de produits s’adresse particulièrement au chercheur ayant des besoins à moyen et long termes pour ce mode de collecte et qui doit concevoir des questionnaires complexes dans le cadre de nombreux projets de recherche.
14 Dans un contexte d’accroissement des enquêtes en ligne, le succès de cette méthode est tributaire de la volonté des personnes contactées à participer à la recherche et de leur motivation à remplir le questionnaire. L’un des éléments pris en compte dans le processus de décision est la durée prévue du questionnaire. Lorsque cette durée est perçue comme trop élevée, le nombre d’accès au questionnaire et la motivation des participants peuvent tendre à diminuer (W. Matzat et al., 2009). Cette tendance n’est toutefois pas toujours observée dans les écrits (C. Cook, F. Heath et R. Thompson, 2000 ; K. Sheehan, 2001). Certains auteurs suggèrent néanmoins d’ajouter une barre de progression afin d’augmenter la motivation des participants potentiels (D.A. Dillman, J.D. Smyth et L.M. Christian, 2009). Cet indicateur peut prendre diverses formes : linéaire (vitesse constante), dégressive (plus rapide au début), progressive (plus rapide à la fin). Il peut aussi se présenter sous forme de texte (pourcentage complété). Les quelques recherches répertoriées sur l’impact de ces indicateurs ne fournissent toutefois pas de résultats concluants (D. Heerwegh, 2004 ; W. Matzat et al., 2009 ; Y. Ting, F.G. Conrad, R. Tourangeau et M.P. Couper, 2011). Un questionnaire de longue durée peut également inciter les participants à le remplir hâtivement, particulièrement lorsque des mesures incitatives sont offertes (C. Montag et M. Reuter, 2008). Compte tenu de l’impact potentiel de la durée du questionnaire sur le comportement des participants, celle-ci devrait être prise en compte lors de la planification d’une collecte de données sur le Web.
2.2.1. Conception du questionnaire utilisé
15 Dans la présente étude, la collecte de données a été réalisée à l’aide d’un logiciel de la catégorie des produits prêts à l’emploi. Le choix de ce logiciel est fondé principalement sur l’expérience du chercheur, les besoins de l’étude, les ressources disponibles, les caractéristiques techniques du produit et sa longue présence sur le marché. Ce logiciel est spécialisé dans la gestion d’enquête et l’analyse statistique des données. Le module d’enquête permet, entre autres, la création de questionnaires en ligne, le transfert sur un serveur informatique, la validation automatique des réponses, le contrôle des accès ainsi que la compilation et l’exportation des données. Ce logiciel possède également les fonctions nécessaires à une gestion sécuritaire des données de recherche.
16 Afin de faciliter le processus de collecte, un nom de domaine a été enregistré auprès d’un organisme spécialisé et accrédité par l’Autorité canadienne pour les enregistrements Internet. Ce nom de domaine a constitué le lien unique utilisé pour la promotion de la recherche et l’accès au questionnaire. À partir de la page d’accueil de la recherche, les participants étaient redirigés sur un serveur universitaire sécurisé afin de remplir le questionnaire. Pour marquer le caractère scientifique de la recherche et rassurer les participants quant à la sécurité des données, le nom de l’université était conservé dans la barre de navigation du fureteur Web lors de l’accès au questionnaire.
17 La version définitive du questionnaire en ligne comportait 161 questions réparties sur 12 pages Web. À ces pages s’ajoutaient l’accueil, la soumission finale et la clôture du questionnaire, pour un total de 15 pages. Des essais préliminaires en ligne, effectués par un nombre restreint de personnes ayant le profil recherché, ont permis d’estimer que le temps de passation du questionnaire était d’au plus 45 minutes. Compte tenu de la variabilité des résultats de recherche relativement à l’impact de la durée des questionnaires en ligne sur le taux et la qualité des réponses (M. Galesic et M. Bosnjak, 2009), le nombre de pages ainsi que la durée de passation du questionnaire ont été jugés acceptables. Toutefois, il avait été prévu que la durée relativement élevée du questionnaire pourrait avoir un impact sur la motivation des participants à terminer le processus.
18 La mise en ligne d’un questionnaire comporte un certain nombre d’étapes. Comme l’utilisation d’une démarche structurée est importante au succès d’un processus de collecte (StatPac Inc., 2006), la procédure suivante a été utilisée :
- création du questionnaire initial. Cette première étape permet, à partir des options par défaut du logiciel, de décrire les variables, leur nom et leur format. Les instructions pour le saut automatique de certaines questions et la validation des réponses ont également été prévues à cette étape ;
- adaptation du questionnaire. Certains ajustements et ajouts ont été nécessaires : barre de progression, fenêtres d’aide, instructions, types de questions (p. ex., boutons radio, listes déroulantes, boîtes de texte), précision des choix forcés, utilisation d’un mot de passe et apparence générale (p. ex., bannière, couleurs, pagination) ;
- prétest du questionnaire. Des essais ont été réalisés sur le poste informatique du chercheur. Les messages d’erreurs par défaut du logiciel, uniquement en anglais (p. ex., lorsqu’une réponse obligatoire n’est pas complétée), ont dû être traduits en français ;
- transfert du questionnaire en ligne. Le questionnaire a été exporté sur un serveur à l’aide de l’option de transfert du logiciel. Quelques problèmes techniques liés aux paramètres du serveur ont dû être résolus (p. ex., autorisations de lecture et d’écriture des données) ;
- test du questionnaire. L’accès et la progression dans le questionnaire ont été vérifiés à l’extérieur du réseau informatique de l’université. Diverses configurations d’ordinateur ont été testées sans problème. Cette étape a également permis de vérifier la durée totale du questionnaire (accueil, consentement, questions, soumission, clôture) ;
- test de récupération des données. Les données introduites lors du test ont été récupérées avec succès à l’aide de l’option de récupération du logiciel ;
- mise en ligne du questionnaire. La collecte de données a débuté ;
- récupération des données. Les données ont été récupérées à plusieurs reprises en cours de collecte afin de suivre l’évolution du nombre de participants et d’assurer une sauvegarde régulière du fichier de données ;
- transfert des données. Le fichier de données final a été exporté vers un logiciel d’analyses statistiques.
20 Les participants potentiels ont été mis en contact avec la recherche par courriel. L’adresse Web de l’étude ainsi que le code d’accès étaient intégrés aux communications envoyées. Chaque personne accédait à la page d’accueil du questionnaire, prenait connaissance des informations présentées, appuyait sur le bouton d’accès, entrait le code et remplissait le questionnaire. Après avoir répondu à la dernière question, le participant était invité à cliquer sur un bouton afin de transmettre ses réponses. Puis, le participant était redirigé sur la dernière page du questionnaire, sur laquelle figuraient les remerciements, un lien pour être informé de la publication des résultats de recherche, les coordonnées d’une clinique universitaire de psychologie de même que celles du responsable du projet. À la fin de la période de recrutement, la page d’accueil du questionnaire a été remplacée par une page d’information signalant que la collecte de données était terminée. Elle indiquait également les coordonnées du responsable de l’étude. Ces renseignements ont été disponibles sur le Web jusqu’à la fin du projet de recherche.
2.2.2. Points saillants du deuxième enjeu
21 Pour ce qui est de la création et de la mise en ligne du questionnaire, cinq éléments peuvent être retenus :
- afin de maximiser le taux de réponse, la conception doit démontrer le caractère scientifique du questionnaire, assurer un mode d’utilisation simple et minimiser les risques de bogues technologiques. Il est très important de tester l’ensemble du processus de collecte ;
- puisqu’il existe de nombreux produits de création de questionnaires en ligne, il importe de s’assurer que le choix effectué permet de répondre aux exigences d’une démarche scientifique ;
- le succès de la collecte de données est tributaire de la qualité du questionnaire en ligne. Cela requiert une approche méthodique afin de minimiser les risques d’erreurs dans la conception, la mise en ligne et la récupération des données de recherche ;
- la durée du questionnaire peut être liée à la motivation des participants. Certaines précautions, comme informer le participant de cette durée et inclure un indicateur de progression, peuvent contribuer à augmenter ou maintenir cette motivation ;
- si le chercheur désire informer les participants des résultats du projet de recherche, une procédure doit être prévue à cet effet (p. ex., hyperlien vers une page Web d’information ou courriel automatisé de demande d’information).
2.3. Troisième enjeu : l’échantillonnage
23 En ce qui concerne la qualité des données recueillies, une préoccupation importante concerne la représentativité de l’échantillon et la généralisation des résultats de recherche. À titre d’exemple, la composition aléatoire des numéros de téléphone d’une population donnée à partir d’une liste à jour permet, dans les meilleures conditions, d’obtenir un échantillon aléatoire représentatif de cette population. Même si le nombre d’utilisateurs du Web est en forte croissance, son utilisation diffère selon diverses caractéristiques sociodémographiques (Statistiques Canada, 2010) (p. ex., l’âge) et il est beaucoup plus difficile d’obtenir une telle représentativité (D. Frippiat et N. Marquis, 2010 ; R. Kraut et al., 2004).
24 Le taux de réponse, bien que variable selon la population à l’étude, peut en moyenne être inférieur de 10 à 11 % au taux obtenu par d’autres méthodes de collecte (K.L. Manfreda, M. Bosnjak, J. Berzelak, I. Haas et V. Vehovar, 2008 ; T.H. Shih et X. Fan, 2008). Ce taux peut être, d’autre part, difficile à calculer. Lorsqu’une collecte est diffusée librement sur Internet, il est pratiquement impossible de calculer le nombre de personnes ayant été informées de la recherche, mais n’ayant pas participé. L’utilisation d’un compteur d’accès à la page d’accueil du questionnaire pourrait permettre d’estimer ce taux, mais cela exige un contrôle des accès répétés d’une même personne, ce qui est problématique lorsque plus d’un appareil est utilisé (M. Van Selm et N.W. Jankowski, 2006).
25 Même lorsque des invitations sont envoyées par courriel à chaque participant potentiel, le suivi des invitations (messages envoyés, reçus, ouverts) est techniquement difficile. De plus, lorsque l’échantillon est composé de volontaires, les participants peuvent être plus intéressés, informés ou concernés par le sujet de l’étude que les non-participants. Comme dans le cas des questionnaires papier-crayon, s’il existe une probabilité que les individus de ces deux groupes (participants et non-participants) puissent différer d’une manière importante sur un ensemble de variables, ce mode de collecte peut générer un biais dû à la non-réponse et ainsi limiter la généralisation des résultats (J. Herrero et J. Meneses, 2006).
26 Il faut également noter qu’à l’instar des questionnaires par la poste, l’utilisation du Web ne permet pas de s’assurer que le participant ayant rempli le questionnaire est bien l’individu sollicité ou une personne admissible (E.M. Daley et al., 2003). Même lorsqu’un code d’accès est fourni, il est très difficile d’attester que le participant est le destinataire initial. De plus, la détection des participants ayant soumis le questionnaire à plusieurs reprises est possible, par exemple en identifiant l’appareil utilisé (adresse IP), mais exige qu’un moyen de contrôle soit mis en place. Enfin, alors que la recherche en laboratoire permet au chercheur de vérifier certaines caractéristiques du participant (sexe, âge, identité) et de surveiller son comportement, l’utilisation d’Internet prive le chercheur d’une certaine forme de contrôle sur l’environnement de recherche. À moins d’utiliser un système de contrôle à distance (p. ex., une caméra Web), il apparaît clair que l’impact de facteurs ou d’événements aléatoires qui pourraient influencer le participant est inconnu au chercheur. Ce contexte devrait pousser l’investigateur à tester les instructions et le questionnaire d’une façon plus approfondie qu’il ne le ferait en laboratoire (R. Kraut et al., 2004).
2.3.1. Stratégie de recrutement utilisée
27 Afin de constituer l’échantillon de la présente recherche, les participants potentiels ont été contactés par courriel. Les informations ont été extraites à partir de répertoires publics d’entreprises. Puisque le fait d’exprimer un besoin d’aide dans le sujet du courriel d’invitation peut avoir un impact positif sur le taux de participation à une recherche en ligne (S.R. Porter et M.E. Whitcomb, 2005 ; A.R. Trouteaud, 2004), cette stratégie a été utilisée. De plus, afin de stimuler le taux de réponse, les messages ont été personnalisés au nom de chacun des destinataires (D. Heerwegh, 2005 ; J. Pearson et R.A. Levine, 2003). En début de collecte, quelques participants ont demandé par courriel comment leurs coordonnées professionnelles avaient été communiquées au responsable de la recherche. Cette information a donc été ajoutée dans les communications subséquentes. Également, afin de tenir compte de l’impact positif des rappels sur le taux de réponse, deux relances ont été effectuées (T.H. Shih et X. Fan, 2008). Il est recommandé par F. Muñoz-Leiva, J. Sánchez-Fernández, F. Montoro-Ríos et J.A. Ibáñez-Zapata (2010) d’utiliser un maximum de quatre communications (incluant l’invitation initiale et le rappel de clôture), afin d’éviter que les participants ne classent les messages comme des pourriels.
28 À partir des données sur le nombre de courriels correctement acheminés lors de la période de recrutement et le nombre de participants ayant rempli le questionnaire (en tout ou en partie), le taux de réponse est estimé à près de 12 %. La base de données initiale comportait, au moment de son importation dans le logiciel statistique, un total de 872 participants hommes et femmes. Après un examen rigoureux des questionnaires incomplets, la base de données a été diminuée à 608 participants, ce qui correspond à une réduction de 30 %. Compte tenu de la durée du questionnaire, une réduction était attendue mais difficilement chiffrable au moment de la planification de la collecte.
2.3.2. Points saillants du troisième enjeu
29 En ce qui concerne l’échantillonnage, cinq éléments sont à retenir :
- même si le taux d’utilisation d’Internet au Canada est en croissance, la collecte en ligne impose une limite à la généralisation des résultats ;
- un envoi direct et personnalisé des invitations peut encourager la participation et offre un meilleur contrôle sur la gestion du processus de collecte ;
- calculer avec précision le taux de réponse exige la mise en place de mécanismes de contrôle des invitations et de la participation ;
- le libellé de la ligne « Objet » du courriel doit être soigneusement composé, car ce dernier peut avoir un impact positif sur la participation ;
- la gestion du processus de recrutement (p. ex., constitution des listes d’envoi, invitations, rappels, suivi des demandes d’aide) exige beaucoup de temps. L’utilisation d’un logiciel spécialisé et performant est fortement recommandée. En ce qui concerne les rappels, ces derniers devraient être en nombre limité.
2.4. Quatrième enjeu : la mesure
31 L’utilisation d’un questionnaire en ligne soulève forcément la question de l’équivalence d’un instrument de mesure lorsque celui-ci a initialement été conçu en format papier-crayon (D.H. Granello et J.E. Wheaton, 2004). À cet égard, certaines recherches ont démontré que l’utilisation d’Internet permet de conserver les qualités psychométriques de divers instruments de mesure utilisés en psychologie et en gestion (T. Buchanan et J.L. Smith, 1999 ; De A. Beuckelaer et F. Lievens, 2009 ; J. Herrero et J. Meneses, 2006 ; B.B. Laughlin, 2002 ; J.F. Salgado et S. Moscoso, 2003). Toutefois, le transfert d’une version papier-crayon vers le Web limite la capacité du chercheur à exercer un contrôle sur les éléments externes pouvant influencer le déroulement du test. Il est donc prudent de ne pas considérer comme acquis le maintien de ses qualités psychométriques. L’équivalence devra être démontrée lorsque cela est jugé nécessaire par le chercheur. Des analyses similaires pour chaque version, par exemple la cohérence interne et la structure factorielle de l’instrument, devraient produire des résultats équivalents (T. Buchanan et J.L. Smith, 1999).
32 Pour la cohérence interne, cela s’exprime par des coefficients alpha comparables. Pour l’analyse factorielle, cela signifie un même nombre de facteurs (comprenant les mêmes items), des proportions de variance comparables et des relations semblables entre les facteurs. Par conséquent, si un instrument est nouveau et peu répandu, s’il n’a jamais été administré sur le Web ou s’il constitue une variable centrale de l’étude concernée, ses qualités psychométriques pourraient devoir être démontrées.
2.4.1. Instruments de mesure utilisés
33 Les principaux instruments utilisés dans le cadre de cette recherche mesuraient l’engagement dans les rôles de vie, les conflits interrôles, la résolution de problèmes et la détresse psychologique. La version papier-crayon de chacun de ces instruments a été transférée intégralement en version Web. L’engagement des rôles a été mesuré à l’aide d’une version française (L. Lachance et B. Tétreau, 1999) du Life Role Salience Scale de E.S. Amatea, E.G. Cross, J.E. Clark et C.L. Bobby (1986). Les conflits interrôles ont été mesurés par l’Échelle sur les conflits interrôles de S. Viviers, L. Lachance, M.F. Maranda et C. Ménard (2007). La résolution de problèmes a été mesurée à l’aide de l’Inventaire de résolution de problèmes sociaux (IRPS-R) de P. Gosselin, M.J. Dugas et R. Ladouceur (2002). Ce questionnaire est une adaptation française du Social Problem-Solving Inventory – Revised (SPSI-R) de A. Maydeu-Olivares et T.J. D’Zurilla (1996). Enfin, la détresse a été mesurée par l’Indice de détresse psychologique de l’Enquête de Santé Québec (IDPESQ-14).
34 Afin de vérifier les qualités psychométriques des versions Web utilisées, des analyses similaires à celles effectuées par les auteurs des instruments ont été réalisées. Compte tenu des objectifs de la recherche, ces analyses ont été exécutées à l’aide d’un sous-échantillon masculin. Il a été démontré, pour chaque instrument, que la collecte en ligne a permis de reproduire certaines des qualités psychométriques (structure factorielle et coefficient alpha) associées à la version papier-crayon (voir tableau 1). Cette démonstration suggère une équivalence entre les versions Web et papier-crayon des instruments, ce qui fournit une justification empirique supplémentaire aux chercheurs qui désirent utiliser Internet afin de recueillir des données de recherche. Pour plus d’information sur les instruments utilisés, se référer à l’étude (E. Jean, 2012).
2.4.2. Points saillants du quatrième enjeu
35 En ce qui concerne les qualités psychométriques des instruments de mesure administrés en ligne, les trois éléments suivants sont soulevés :
36 Même si la version Web d’un instrument de mesure peut présenter des qualités psychométriques semblables à la version papier-crayon, il demeure prudent de ne pas considérer comme acquis cette équivalence.
37 La décision de procéder à l’analyse des qualités psychométriques d’un instrument de mesure en version Web repose sur le jugement scientifique du chercheur.
38 Lorsque l’équivalence doit être démontrée, des analyses similaires entre les versions papier-crayon et Web d’un instrument devraient produire des résultats équivalents.
Coefficient alpha et variance totale expliquée par les facteurs pour chacun des instruments de mesure selon les versions (papier-crayon et en ligne)
| Papier-crayon | En ligne (N=291) | ||||||||
| Instruments | items | facteurs (items) | a | % variance | items | facteurs (items) | a | % variance | |
| Conflits interrôles | 8 | CTF (4) | 0,88 | 67,8 | 8 | CTF (4) | 0,84 | 61 | |
| CFT (4) | 0,79 | CFT (4) | 0,71 | ||||||
| LRSS-FR | 10 | ERT (5) | 0,83 | 50,1 | 10 | ERT (5) | 0,84 | 56,3 | |
| ERP (5) | 0,72 | ERP (5) | 0,73 | ||||||
| IRPS-R | 52 | OPP (5) | 0,72 | 46,4 | 51 | OPP (5) | 0,68 | 41,2 | |
| ONP (10) | 0,91 | ONP (10) | 0,88 | ||||||
| SRR (19) | 0,93 | SRR (19) | 0,92 | ||||||
| SIN (10) | 0,85 | SIN (10) | 0,79 | ||||||
| SE (7) | 0,81 | SE (6) | 0,81 | ||||||
| IDPESQ-14 | 14 | dépression (6) | 0,83 | 65 | 14 | dépression (6) | 0,84 | 68,4 | |
| anxiété (2) | 0,72 | anxiété (2) | 0,74 | ||||||
| irritabilité (4) | 0,79 | irritabilité (4) | 0,83 | ||||||
| prob. cognitif (2) | 0,76 | prob. cognitif (2) | 0,84 | ||||||
| éch. globale (14) | 0,89 | éch. global(14) | 0,91 | ||||||
| Note. CTF = Conflits travail-famille; CFT = Conflits famille-travail; LRSS-FR = Life Role Salience Scale – français; ERT = Engagement dans le rôle de travailleur; ERP = Engagement dans le rôle de parent; IRPS-R = Inventaire de résolution de problèmes sociaux – révisé; OPP = Orientation positive face aux problèmes; ONP = Orientation négative face aux problèmes; SRR = Style résolution rationnelle; SIN = Style impulsif/négligent; SE = Style évitement; IDPESQ-14 = Indice de détresse psychologique de l’Enquête Santé Québec – 14 items. | |||||||||
Coefficient alpha et variance totale expliquée par les facteurs pour chacun des instruments de mesure selon les versions (papier-crayon et en ligne)
Conclusion
39 Le développement des technologies de l’information offre aux chercheurs de nouvelles avenues méthodologiques, particulièrement en ce qui concerne la collecte de données en ligne. En contrepartie, ce mode de collecte comporte un certain nombre d’enjeux qu’il convient d’approcher avec méthode (figure 2). Sur le plan déontologique, une attention particulière doit être accordée à la sécurité et à la confidentialité des données, ce qui peut impliquer le recours à une ressource spécialisée. De plus, certaines procédures, comme le consentement éclairé des participants, doivent être adaptées afin de répondre aux exigences des organismes règlementaires concernés. Le choix du logiciel de création et de mise en ligne du questionnaire est également une question importante pour le recrutement des participants. Même si les solutions informatiques facilitent le travail du chercheur, des décisions doivent être prises en ce qui concerne la conception du questionnaire. Certains éléments, comme la présentation visuelle, la simplicité d’utilisation, le mode de navigation et la durée du questionnaire, doivent être soigneusement analysés afin de maximiser le taux de participation. La conception du questionnaire devrait aussi s’adapter à l’évolution des habitudes de connexion sans fil (appareils mobiles, tablettes électroniques, téléphones intelligents). En effet, 59 % des ménages canadiens connectés ont utilisé un appareil portable sans fil pour accéder à Internet en 2012 (Statistique Canada, 2013). Enfin, l’utilisation en ligne d’instruments de mesure développés à l’origine en format papier-crayon demeure une question sensible. Comme les résultats de recherches sur l’équivalence psychométrique de ces deux formats pour divers instruments (particulièrement en psychologie) ne sont pas toujours concordants (P. Ward et al., 2012), la prudence est de mise. En somme, la collecte de données en ligne offre de nombreux avantages, mais elle exige de la part des chercheurs une planification minutieuse afin de contrer, minimiser ou repousser ses limites actuelles.
Organigramme méthodologique des principaux enjeux d'une collecte de données en ligne.
Organigramme méthodologique des principaux enjeux d'une collecte de données en ligne.
40 Le présent article présente une démarche méthodologique issue d’une étude canadienne en psychologie du travail et ses conclusions se limitent principalement à ce champ de recherche. Il est toutefois envisageable que les chercheurs et les étudiants d’autres disciplines, de même que les gestionnaires et les professionnels en entreprise puissent rencontrer les mêmes enjeux dans le cadre de leurs enquêtes et projets de recherche. Des travaux supplémentaires seraient néanmoins nécessaires afin de déterminer les particularités de leur environnement respectif.
Bibliographie
- Amatea, E.S., Cross, E.G., Clark, J.E. et Bobby, C.L. (1986). Assessing the work and family role expectations of career-oriented men and women : The Life Role Salience Scales. Journal of Marriage and the Family, 48 (4), 831-838.
- APA. (2010). Publication manual of the American Psychological Association (6th ed.) : American Psychological Association.
- Braunsberger, K., Wybenga, H. et Gates, R. (2007). A comparison of reliability between telephone and web-based surveys. Journal of Business Research, 60 (7), 758-764. doi : 10.1016/j.jbusres.2007.02.015
- Buchanan, T. et Smith, J.L. (1999). Research on the internet : Validation of a World-Wide Web mediated personality scale. Behavior Research Methods, Instruments and Computers, 31 (4), 565-571.
- Christian, L.M., Parsons, N.L. et Dillman, D.A. (2009). Designing scalar questions for Web surveys. Sociological Methods & Research, 37 (3), 393-425. doi : 10.1177/0049124108330004
- Conseil de recherches en sciences humaines du Canada, Conseil de recherches en sciences naturelles et en génie du Canada et Instituts de recherche en santé du Canada. (2010). Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains. Récupéré de http://ethique.gc.ca/pdf/fra/eptc2/EPTC_2_FINALE_Web.pdf
- Cook, C., Heath, F. et Thompson, R. (2000). A meta-analysis of response rates in Web- or internet -based survey. Educational & Psychological Measurement, 60 (6), 821-836.
- Couper, M. P. (2000). Web surveys : A review of issues and approaches. Public Opinion Quarterly, 64 (4), 464-494.
- Couper, M. P. et Miller, P. V. (2008). Web Survey Methods. Public Opinion Quarterly, 72 (5), 831-835.
- Couper, M. P., Tourangeau, R., Conrad, F. G. et Crawford, S.D. (2004). What they see is what we get : Response options for web surveys. Social Science Computer Review, 22 (1), 111-127.
- Crawford, S. (2002). Evaluation of Web survey data collection systems. Field Methods, 14 (3), 307-321.
- Crawford, S., McCabe, S. E. et Pope, D. (2005). Applying web-based survey design standards. Journal of Prevention and Intervention in the Community, 29 (1-2), 43-66.
- Daley, E. M., McDermott, R. J., Brown, K. R. M. et Kittleson, M. J. (2003). Conducting Web-based survey research : A lesson in Internet designs. American Journal of Health Behavior, 27 (2), 116-124.
- Davidov, E. et Depner, F. (2011). Testing for measurement equivalence of human values across online and paper-and-pencil surveys. Quality and Quantity, 45 (2), 375-390. doi : http://dx.doi.org/10.1007/s11135-009-9297-9
- De Beuckelaer, A. et Lievens, F. (2009). Measurement equivalence of paper-and-pencil and internet organisational surveys : A large scale examination in 16 countries. Applied Psychology : An International Review, 58 (2), 336 -361. doi : 10.1111/j.1464-0597.2008.00350.x
- Dillman, D. A., Smyth, J. D. et Christian, L. M. (2009). Internet, mail, and mixed-mode surveys : The tailored design method (3rd ed) : John Wiley & Sons Inc : Hoboken.
- Evans, J. R. et Mathur, A. (2005). The value of online surveys. Internet Research, 15 (2), 195-219.
- Frippiat, D. et Marquis, N. (2010). Web Surveys in the Social Sciences : An Overview. Population, 65 (2), 285-311.
- Galesic, M. et Bosnjak, M. (2009). Effect of questionnaire length on participation and indicators of response quality in a Web survey. Public Opinion Quarterly, 73 (2), 349-360.
- Gosling, S. D., Vazire, S., Srivastava, S. et John, O.P. (2004). Should we trust web-based studies ? A comparative analysis of six preconceptions about internet questionnaires. American Psychologist, 59 (2), 93-104.
- Gosselin, P., Dugas, M. J. et Ladouceur, R. (2002). Inquiétude et résolution de problèmes sociaux : le rôle de l’attitude négative face au problème. Journal de Thérapie Comportementale et Cognitive, 12 (2), 49-58.
- Granello, D. H. et Wheaton, J. E. (2004). Online Data Collection : Strategies for Research. Journal of Counseling and Development : JCD, 82 (4), 387-393.
- Heerwegh, D. (mai 2004). Using progress indicators in Web surveys. Communication présentée à la 59th AAPOR Conference, Phoenix, AZ.
- Heerwegh, D. (2005). Effect of personal salutation in e-mail invitation to participate in a web survey. Public Opinion Quarterly, 4, 588-598.
- Heerwegh, D. (2009). Mode differences between face-to-face and web surveys : An experimental investigation of data quality and social desirability effects. International Journal of Public Opinion Research, 21 (1), 111-121. doi : 10.1093/ijpor/edn054
- Herrero, J. et Meneses, J. (2006). Short web-based versions of the perceived stress (PSS) and center for epidemiological studies-depression (CESD) scales : A comparison to pencil and paper responses among internet users. Computers in Human Behavior, 22 (5), 830-846.
- Jean, E. (2012). Conflits interrôles et détresse psychologique des hommes gestionnaires ou professionnels : le rôle médiateur de la résolution de problèmes sociaux. Thèse de doctorat inédite, Université du Québec à Trois-Rivières. Repéré à http://depot-e.uqtr.ca/5195/1/030329307.pdfJoinson, A. (1999). Social desirability, anonymity, and Internet-based questionnaires. Behavior Research Methods, Instruments & Computers, 31 (3), 433-438.
- Knapp, H. et Kirk, S. A. (2003). Using pencil and paper, internet and touch-tone phones for self-administered surveys : Does methodology matter ? Computers in Human Behavior, 19 (1), 117-134.
- Kraut, R., Olson, J., Banaji, M., Bruckman, A., Cohen, J. et Couper, M. (2004). Psychological research online : Report of board of scientific affairs’ advisory group on the conduct of research on the internet. American Psychologist, 59 (2), 105-117.
- La Banque mondiale. (2014). Utilisateurs Internet. Rapport sur le développement des télécommunications dans le monde et base de données de l’Union internationale des télécommunications et estimations de la Banque mondiale. Récupéré de http://donnees.banquemondiale.org/indicateur/IT.NET.USER.P2/countries?display=graph&cid=DEC_SS_WBGDataEmail_EXT
- Lachance, L. et Tétreau, B. (1999). Importance des rôles dans la vie : qualités psychométriques de la version française de Life Role Salience Scale. Canadian Journal of Counselling, 33 (3), 246-256.
- Laughlin, B. D. (2002). Assessment of the psychometric characteristics of an employee opinion survey and the use of web versus paper survey dissemination methodologies at a fortune 500 company. 62, ProQuest Information & Learning, US.
- Manfreda, K. L., Bosnjak, M., Berzelak, J., Haas, I. et Vehovar, V. (2008). Web surveys versus other survey modes : A meta-analysis comparing response rates. International Journal of Market Research, 50 (1), 79.
- Matzat, U., Snijders, C. et van der Horst, W. (2009). Effects of different types of progress indicators on drop-out rates in web surveys. Social Psychology, 40 (1), 43-52. doi : 10.1027/1864-9335.40.1.43
- Maydeu-Olivares, A. et D’Zurilla, T. J. (1996). A factor-analytic study of the social problem-solving inventory : An integration of theory and data. Cognitive Therapy and Research, 20 (2), 115-133.
- McGraw, K.O., Tew, M.D. et Williams, J.E. (2000). The integrity of Web-delivered experiments : Can you trust the data ? Psychological Science, 11 (6), 502-506.
- Montag, C. et Reuter, M. (2008). Does speed in completing an online questionnaire have an influence on its reliability ? CyberPsychology & Behavior, 11 (6), 719-721. doi : 10.1089/cpb.2007.0258
- Muñoz-Leiva, F., Sánchez-Fernández, J., Montoro-Ríos, F. et Ibáñez-Zapata, J.Á. (2010). Improving the response rate and quality in Web-based surveys through the personalization and frequency of reminder mailings.
- Quality and Quantity, 44 (5), 1037-1052. doi : http://dx.doi.org/10.1007/s11135-009-9256-5
- Pearson, J. et Levine, R.A. (septembre 2003). Salutation and response rates to online surveys. Communication présentée à la Fourth International Conference on the Impact of Technology on the Survey Process, University of Warwick, England.
- Porter, S.R. et Whitcomb, M.E. (2005). E-mail subject lines and their effect on web survey viewing and response. Social Science Computer Review, 23 (3), 380-387.
- Rhodes, S.D., Bowie, D.A. et Hergenrather, K.C. (2003). Collecting behavioural data using the world wide web : Considerations for researchers. Journal of Epidemiology and Community Health, 57 (1), 68-73. doi : 10.1136/jech.57.1.68
- Salgado, J.F. et Moscoso, S. (2003). Internet-based personality testing : Equivalence of measures and assessees’ perceptions and reactions. International Journal of Selection and Assessment, 11 (2), 194-205.
- Sheehan, K. (2001). E-mail survey response rates : a review. Journal of Computer-Mediated Communication, 6 (2). Récupéré de http://jcmc.indiana.edu/vol6/issue2/sheehan.html
- Shih, T.-H. et Fan, X. (2008). Comparing response rates from Web and mail surveys : A meta-analysis. Field Methods, 20 (3), 249-271. doi : 10.1177/1525822x08317085
- Singh, L. (2011). Accuracy of Web Survey Data : The State of Research on Factual Questions in Surveys. Information Management and Business Review, 3 (2), 48-56.
- Statistique Canada. (2013). Utilisation d’Internet et du commerce électronique par les particuliers. Récupéré le 17 septembre 2014 de http://www.statcan.gc.ca/daily-quotidien/131126/dq131126d-fra.htmStatPac Inc. (2006). StatPac for Windows User’s Guide. Bloomington, MN : Statpac Inc.
- The British Psychological Society. (2007). Report of the working party on conducting research on the Internet : Guidelines for ethical practice in psychological research online. Récupéré de www.bps.org.uk/sites/default/files/documents/conducting_research_on_the_internetguidelines_for_ethical_practice_in_psychological_research_online.pdf
- Ting, Y., Conrad, F. G., Tourangeau, R. et Couper, M. P. (2011). Should I Stay or Should I go : The Effects of Progress Feedback, Promised Task Duration, and Length of Questionnaire on Completing Web Surveys. International Journal of Public Opinion Research, 23 (2), 131-147. doi : 10.1093/ijpor/edq046
- Trouteaud, A. R. (2004). How you ask counts : A test of internet-related components of response rates to a web-based survey. Social Science Computer Review, 22 (3), 385-392.
- Van Selm, M. et Jankowski, N. W. (2006). Conducting Online Surveys. Quality and Quantity, 40 (3), 435-456. doi : http://dx.doi.org/10.1007/s11135-005-8081-8
- Viviers, S., Lachance, L., Maranda, M.-F. et Ménard, C. (2007). Étude des facteurs psychosociaux et organisationnels associés à la santé psychologique des ophtalmologistes québécois. Québec : Auteurs.
- Ward, P., Clark, T., Zabriskie, R. et Morris, T. (2012). Paper/Pencil Versus Online Data Collection : An Exploratory Study. Journal of Leisure Research, 44 (4), 507-530.
Mots-clés éditeurs : Web, Collecte de données, Questionnaire, enquête en ligne, Internet
Date de mise en ligne : 04/12/2015
https://doi.org/10.3917/rsg.272.0013
