Améliorer le taux de réponse aux enquêtes par correspondance et aux courriers
Summary
En s’appuyant sur des preuves et des exemples tirés de la littérature sur les expérimentations et les enquêtes par correspondance, cette ressource propose des stratégies pour améliorer le taux de réponse à ce type d’enquêtes et aux courriers ciblant un groupe fixe de répondants dans le cadre d’une évaluation aléatoire.
Nous n’aborderons pas ici les arbitrages à opérer concernant le choix de l’enquête par correspondance par rapport aux autres méthodes d’enquête, mais certaines stratégies présentées dans cette ressource peuvent également s’appliquer à des méthodes comme les enquêtes par SMS ou les enquêtes en ligne. En outre, la plupart des principes à respecter pour contacter les répondants et les encourager à interagir avec la documentation envoyée s’appliquent également à d’autres formes d’interaction par courrier, comme les actions de proximité, les campagnes d’information ou les interventions de type « nudge » (encouragement).
Introduction
Un chercheur peut estimer que l’envoi de la documentation de l’étude ou de l’enquête par courrier postal est la stratégie la plus adaptée au contexte et au budget de son évaluation. Comparé aux enquêtes en face à face, par téléphone ou à tout autre mode d’enquête effectué par un enquêteur, les envois par courrier sont un moyen relativement économique et logistiquement simple de toucher un grand nombre d’individus. Dans certains cas, les courriers peuvent aussi être particulièrement adaptés au contexte cible, par exemple si les organisations gouvernementales ou non gouvernementales communiquent déjà avec les individus par courrier. Dans bien des cas, le courrier est le premier point de contact, voire le seul moyen de communication avec les participants de l’étude.1 La présente ressource part du principe que les chercheurs prévoient d’utiliser des enquêtes par correspondance dans le cadre de leur étude, mais n’exclut pas l’utilisation d’autres méthodes d’enquête par ailleurs (comme indiqué plus loin dans cette ressource).
Quelle que soit la méthode d’enquête choisie, des taux de réponse trop faibles peuvent menacer la puissance statistique de l’évaluation. En outre, la non-réponse représente également une menace pour l’interprétation de l’analyse, car les personnes qui sont les plus difficiles à joindre peuvent avoir des caractéristiques qui diffèrent systématiquement de celles des personnes qui répondent à l’enquête. Dans le cas d’une évaluation aléatoire, l’existence d’un taux de réponse différentiel peut introduire un biais dans l’analyse si les caractéristiques des personnes qui répondent sont différentes d’un groupe expérimental à l’autre.
Bien que l’envoi de courriers soit une méthode fondamentale des enquêtes et des études scientifiques en sciences sociales aux États-Unis, les taux de réponse aux enquêtes par courrier ont diminué au fil des ans, avec une baisse d’environ 35 points de pourcentage depuis les années 1970, par rapport à une moyenne initiale de 77 % (Stedman et al. 2019). Cette ressource traite donc des stratégies possibles pour améliorer le taux de réponse aux courriers postaux envoyés dans le cadre du travail de proximité d’une étude.2 La pertinence, l’efficacité et le coût de chaque stratégie sont susceptibles de varier considérablement selon le contexte de l’évaluation (notamment la population cible, la question de recherche, la taille d’échantillon ou le taux de réponse nécessaires pour atteindre la puissance statistique adéquate, ou encore la possibilité de faire appel à des organismes externes pour la collecte des données). Par conséquent, nous ne formulons pas ici de recommandations spécifiques, et nous ne pouvons pas donner d’indications sur le rapport coût-efficacité de ces stratégies.
Causes du faible taux de réponse aux courriers et aux enquêtes par correspondance
Le taux de réponse aux enquêtes par voie postale utilisées dans le cadre d’évaluations aléatoires varie considérablement, de sorte qu’il est difficile d’estimer un taux de réponse « classique ». Récemment, des chercheurs ont étudié diverses techniques et mesures incitatives pour maximiser le taux de réponse aux enquêtes par panel en ligne dont les participants sont initialement recrutés par le biais de courriers (Yan et al. 2018). Les personnes interrogées dans le cadre de ces études recevaient un courrier les invitant à participer à l’enquête avec un lien vers le site Internet pour y répondre. Les taux de réponse observés allaient de deux à onze pour cent. Bien qu’il ne s’agisse pas à proprement parler d’enquêtes par correspondance, le premier point de contact pour ces enquêtes était un courrier postal, et les taux de réponse sont donc comparables.
Bien que les chercheurs ne puissent pas remédier à toutes les causes de la non-réponse (comme les problèmes de santé ou l’absence des personnes contactées), il existe néanmoins un certain nombre de problèmes qu’ils peuvent résoudre. Il s'agit notamment des cas de non-contact (lorsque les enquêtes envoyées par la poste ne parviennent pas aux répondants prévus), de refus (lorsque les enquêtes envoyées par la poste parviennent au répondant potentiel mais n’obtiennent pas de réponse), d’interruption (lorsque les enquêtes envoyées par la poste n’obtiennent qu’une réponse partielle parce que le répondant abandonne en cours de route), et des barrières linguistiques.
Les causes de la non-réponse sont souvent impossibles à déterminer, sauf dans les cas où le courrier est retourné à l’expéditeur parce que l’adresse est incorrecte, ou lorsque l’enquête renvoyée n’est que partiellement remplie.3 Face à cette incertitude, les chercheurs doivent s’efforcer de remédier aux problèmes de non-réponse de manière anticipée. Pour ce faire, ils peuvent notamment :
- Intensifier les efforts déployés pour prendre contact avec les répondants ;
- Rendre l’enquête moins contraignante et faire en sorte qu’il soit plus facile pour les participants d’y répondre ;
- Encourager la coopération et favoriser l’adhésion.
Certaines suggestions visant à améliorer le taux de réponse aux enquêtes postales peuvent se révéler plus importantes que d’autres selon le rôle que joue l’enquête dans le cadre de l’évaluation (qui peut être, par exemple, de mesurer les variables de résultat de l’intervention ou de transmettre des encouragements dans le cadre de l’enquête). Par exemple, si une intervention est intégrée à une enquête, les chercheurs doivent veiller à dissocier l’effet de l’intervention proprement dite de l’effet conjoint des éléments de l’enquête qui encouragent les participants à répondre. Les chercheurs peuvent en outre envisager de corriger le différentiel de taux de réponse entre le groupe de traitement et le groupe témoin.
Prendre contact
- Identifiez soigneusement la population cible. Définissez les caractéristiques démographiques, géographiques et temporelles (Lavrakas 2008) de la population cible et décidez du type d’unités à inclure (par exemple, individus ou ménages). Cela facilitera la prise de décisions concernant le calendrier de l’enquête, son mode de mise en œuvre et l’instrument d’enquête. Par exemple, si l’enquête s’adresse aux parents d’enfants d’âge scolaire qui travaillent, il vaut peut-être mieux éviter d’envoyer les courriers aux périodes où ils sont le moins susceptibles de les recevoir, comme pendant les vacances scolaires. En outre, il faut tenir compte du fait que le taux de réponse peut être corrélé avec certaines caractéristiques démographiques. Par exemple, les populations plus âgées peuvent être moins susceptibles de déménager et/ou plus enclines à répondre aux enquêtes ou aux courriers postaux. Un intérêt personnel pour le sujet de l’étude ou une expérience dans ce domaine sont également susceptibles d’avoir une influence sur le taux de réponse. Par exemple, les personnes échantillonnées à partir d’une liste d’électeurs inscrits sur les listes électorales sont plus susceptibles de répondre à une enquête sur les opinions politiques qu’une personne issue d'une liste de la population générale. De même, des individus sélectionnés parmi les personnes ayant visité une région donnée sont plus susceptibles de répondre à une enquête sur cette région qu’une personne issue de la population générale (Neher et Neher, 2018).
- Envisagez la possibilité de constituer votre échantillon en n’incluant que des répondants qui se sont déclarés prêts à répondre à l’enquête. Les chercheurs peuvent sélectionner leur échantillon à partir d’un groupe de répondants ayant déjà consenti à participer, ou procéder à l’échantillonnage et à la randomisation sur la base des personnes ayant répondu à une première campagne de prise de contact. Cependant, si l’étude vise une population plus spécifique et plus difficile à atteindre, la représentativité de l’échantillon risque de constituer un problème pour les chercheurs.
Étude de cas : Dans une étude (Liebman et Luttmer 2012), les chercheurs ont interrogé les répondants d’un panel en ligne sur leur connaissance des prestations de sécurité sociale et leur perception des liens entre ces prestations et la main-d’œuvre disponible. Le panel avait été pré-recruté par un organisme indépendant et les chercheurs ont ainsi pu sélectionner un échantillon représentatif de la population cible en filtrant les individus sur la base des caractéristiques démographiques qui les intéressaient. Étant donné que les membres du panel avaient déjà choisi de participer à des enquêtes et sondages futurs, un échantillon tiré de ce groupe avait toutes les chances de générer un taux de réponse élevé et de réduire les coûts de déploiement. L’utilisation d'un panel pré-recruté soulève toutefois un problème potentiel, à savoir l’existence de répondants « professionnels » (des individus qui participent souvent à des enquêtes et ont donc une certaine expérience en la matière), qui risquent de donner des réponses biaisées du fait de l’expérience accumulée au fil des enquêtes.
- Procurez-vous des coordonnées actualisées. En plus d’améliorer le taux de contact et de réduire le nombre de courriers non distribuables et de réexpéditions, cela permettra également de réduire les frais de matériel, de main-d’œuvre et d’expédition. Pour actualiser les coordonnées des personnes à contacter, il existe plusieurs possibilités :
- La base de données National Change of Address (NCOA) fournit les adresses les plus récentes de tous les individus et ménages qui ont enregistré leur changement d’adresse auprès de l’USPS.
- Les agences d’évaluation du crédit, comme Experian,4 tiennent d’importants répertoires de profils de crédit et de registres de biens qui contiennent les numéros de téléphone et les adresses des consommateurs bénéficiant d’un crédit.
- Les agences privées d’enquête civile et les outils industriels souvent utilisés pour recouvrer des créances, comme par exemple LexisNexis Accurint et TransUnion TLO, peuvent permettre de localiser les personnes qui sont difficiles à trouver.5
- Multipliez les points de contact. Les répondants ont ainsi plus de moyens et d’occasions de répondre à l’enquête, et donc plus de chances d’y répondre. Une méta-analyse portant sur les taux de réponse aux questionnaires envoyés par la poste a démontré l’efficacité de la multiplication des points de contact (P. Edwards et al. 2002; P. J. Edwards et al. 2009). Toutefois, il n’existe actuellement aucune preuve quantitative de l’ampleur de l’impact marginal de chaque point de contact supplémentaire sur le taux de réponse. Le délai séparant les différents points de contact a son importance. Un délai de deux semaines peut ainsi être efficace pour effectuer un rappel en se donnant le temps de recevoir les réponses aux envois précédents.
- Envoyez des lettres de notification préalable. Lorsque les participants ont été informés à l’avance de la réalisation d’une étude par correspondance, ils semblent plus enclins à y répondre (Rao et al. 2010). Une lettre d’information préalable peut leur fournir des informations sur le sujet, l’objectif et l’organisation de l’enquête à venir. La présentation de la lettre doit être visuellement similaire à celle du questionnaire qui va suivre et doit respecter les recommandations en matière de lisibilité (voir le point sur la présentation et la lisibilité des documents envoyés par la poste dans la section intitulée « Encourager la coopération et favoriser l’adhésion ») (Holbrook, Krosnick, et Pfent 2007). Si les chercheurs ont d’autres coordonnées que l’adresse postale pour les répondants, par exemple des numéros de téléphone ou des adresses e-mail, ils peuvent également envoyer des SMS ou des e-mails d’information pour avertir les répondants qu’ils vont recevoir le fascicule du questionnaire. Le Centre américain pour le contrôle et la prévention des maladies (CDC) recommande de faire parvenir la notification aux participants une semaine avant l’envoi du questionnaire (CDC 2018a).
- Envoyez des relances et des rappels, en multipliant les moyens de communication. Les chercheurs peuvent commencer par les moyens de communication les moins contraignants, comme les e-mails ou les SMS, avant de recourir à des méthodes de relance qui nécessitent davantage de main-d’œuvre, comme des appels téléphoniques pour les répondants les plus difficiles à joindre. Le nombre de tentatives et de contacts dépendra sans doute du budget et des moyens logistiques de l’organisme de mise en œuvre. Dans le cadre de l’étude OHIE (Finkelstein et al. 2010), les chercheurs ont opté pour quatre points de contact avec les répondants dans le cadre de leur enquête initiale, à savoir une carte postale de présélection, deux envois de l’enquête par voie postale et un appel téléphonique de relance. En suivant ce protocole, les chercheurs ont obtenu un taux de réponse effectif de 45 %. L’envoi de cartes postales de rappel peut constituer une méthode de relance peu coûteuse mais efficace, car elles sont relativement bon marché et n’ont pas besoin d’être ouvertes (Levere et Wittenburg, 2019). Cependant, dans la mesure où le contenu de la carte postale est accessible à tous, les chercheurs doivent veiller à ne pas y inclure d’informations personnelles ou sensibles.
- Envoyez des questionnaires de remplacement. Il a été démontré que l’envoi de questionnaires de remplacement aux non-répondants permettait d’augmenter le nombre de réponses (P. Edwards et al. 2002; P. J. Edwards et al. 2009). Toutefois, cette méthode n’est pas forcément la plus rentable : en effet, l’envoi de questionnaires supplémentaires est plus coûteux que l’envoi de lettres de notification préalable et de rappels, car cela nécessite d’imprimer davantage de documents et d’expédier des courriers plus volumineux. Le CDC (2018a) recommande d’envoyer une carte postale de rappel une semaine après le questionnaire, puis un questionnaire de remplacement deux semaines plus tard.
- Maintenez le contact. Si l’enquête comporte plusieurs vagues de suivi, les chercheurs auront besoin de recontacter les participants à chaque vague. Le fait de maintenir le contact avec les répondants entre les différentes vagues peut augmenter la probabilité qu’ils répondent aux vagues d’enquêtes suivantes. Il peut s’agir, par exemple, de leur envoyer des cartes de remerciement ou des lettres pour répondre à leurs préoccupations. Les chercheurs doivent également se demander si cette prise de contact supplémentaire peut avoir des répercussions sur l’effet du traitement et potentiellement contribuer à l’attrition différentielle et, si oui, de quelle manière.
- Procurez-vous des coordonnées supplémentaires. Pour éviter de perdre de vue les répondants, les chercheurs peuvent recueillir les coordonnées de leur famille et de leurs amis, à savoir leur nom, leur adresse et leur numéro de téléphone. Cette technique peut s’avérer particulièrement utile pour les populations qui déménagent souvent ou changent régulièrement de numéro de téléphone. Les informations relatives aux réseaux sociaux peuvent également être très utiles, car elles ne changent pas, même en cas de déménagement.
- Procédez à un suivi en temps réel et sollicitez des retours d’information. Chaque fois que c’est possible, documentez les causes de la non-réponse en assurant le suivi des envois jusqu’à ce qu’ils parviennent aux répondants. Il arrive en effet que des répondants potentiels ne reçoivent pas les courriers : ils peuvent avoir déménagé ou avoir raté le courrier au moment de sa distribution. Si les chercheurs font appel à un organisme indépendant pour l’expédition des courriers, ils peuvent également demander à ce qu’un courrier de chaque lot d’envois soit adressé à l’équipe de recherche afin de confirmer que les courriers ont bien été expédiés, et ce aux dates prévues.
- Préférez les envois rapides aux envois standard. L’envoi de questionnaires par livraison spéciale (P. J. Edwards et al. 2009), notamment par courrier enregistré, recommandé et certifié, plutôt que par voie standard, permet de s’assurer que le courrier est bien parvenu au destinataire souhaité, d’autant plus qu’une signature est exigée lors de la remise du courrier. En outre, les gens semblent plus enclins à ouvrir les courriers envoyés par des services d’expédition privés comme FedEx ou UPS, sans doute parce que le courrier est alors perçu comme plus important (Cantor et Cunningham 2002).
-
- Suivez les courriers retournés à l’expéditeur. Veillez à indiquer une adresse de retour sur l’enveloppe, de façon à ce que les courriers puissent être renvoyés à l’expéditeur s’ils ne peuvent être distribués. Selon la raison du retour, le chercheur peut alors déterminer comment régler le problème si le nombre de courriers renvoyés est important. Une solution possible consiste à envoyer un courrier « placebo » aux ménages avant le début de l’expérimentation afin d'évaluer le nombre de courriers non distribués et d’éliminer les répondants concernés de l’échantillon. Les chercheurs peuvent également demander une nouvelle adresse au service postal, s’il en a une dans ses fichiers, et mettre à jour la base de données de l’équipe de recherche pour les futurs envois.
Rendre la participation à l’enquête plus facile et moins contraignante
Participer à une enquête comporte un certain nombre de contraintes qui contribuent à la non-réponse, comme le temps que le répondant doit y consacrer et les efforts nécessaires pour la remplir et la renvoyer. Les chercheurs doivent, dans la mesure du possible, s’efforcer de limiter ces obstacles et ces inconvénients.
- Réduisez la longueur et la complexité du questionnaire, en veillant à ce que les questions soient claires. D’après Bradburn (1978), les principaux facteurs de pénibilité pour le répondant sont la longueur de l’enquête, les efforts qu’elle exige du répondant et le stress ressenti par ce dernier. Vous trouverez des recommandations pour concevoir des enquêtes simples et facilement compréhensibles dans la ressource de J-PAL sur la conception des enquêtes.6 Les plateformes de crowdsourcing en ligne comme Amazon Mechanical Turk permettent aux chercheurs de tester les différents aspects de la conception de leur enquête, y compris sa clarté et sa longueur, auprès d’une population similaire à son groupe cible.
- Facilitez le renvoi du questionnaire. Les chercheurs doivent fournir une enveloppe de retour pré-affranchie et pré-adressée afin de faciliter autant que possible le renvoi du questionnaire par les répondants.
- Assurez-vous que les questionnaires et autres documents sont rédigés dans la ou les langues les plus adaptées. Si une part importante de la population cible parle une autre langue que la langue officielle, il peut être rentable de leur fournir une traduction ou un questionnaire bilingue pour surmonter la barrière de la langue.
Encourager la coopération et favoriser l’adhésion
Les participants potentiels à l’étude peuvent avoir des attitudes et des caractéristiques inobservables qui font qu’ils ne sont pas disposés à répondre. Les chercheurs doivent donc s’efforcer de rendre les enquêtes et les courriers aussi attrayants et percutants que possible afin d’encourager les gens à y répondre. La littérature existante sur la conception et l’administration des enquêtes par courrier suggère que ce qui peut rendre attrayantes les différentes composantes de l’enquête varie d’un segment à l’autre de la population. Dans cette section, nous présentons les principales stratégies de développement de l’adhésion qui retiendront l’attention de la plupart des participants.
- Établissez un message sérieux et crédible. Incluez une lettre d’accompagnement et un texte d’accroche contenant des informations sur l’identité des chercheurs et de l’organisme, l’objectif de l’enquête et des documents envoyés, et les avantages de l’enquête. L’utilisation d’éléments graphiques reconnaissables, comme le logo des organismes ou des universités associés à l’étude qui jouissent de la confiance de la population cible, peut contribuer à renforcer la crédibilité des courriers. De même, des témoignages de soutien de la part de personnalités publiques ou de leaders d’opinion peuvent apporter une garantie de confidentialité.
- Offrez des incitations financières. De telles incitations montrent que les chercheurs apprécient et respectent le temps et les efforts investis par les participants. Si elles sont accordées avant la fin de l’enquête, elles sont également un gage de confiance envers les participants.
- Pesez le pour et le contre des différentes options d’incitation. Il existe plusieurs catégories d’incitations : les incitations financières, les incitations en nature et les incitations sous forme de loterie. Les chercheurs qui envisagent de mettre en place une loterie doivent consulter leur IRB et vérifier les lois et réglementations en vigueur dans la région où se déroule l’enquête, car les loteries sont illégales dans certaines juridictions.7 Les études portant sur l’efficacité des incitations ont révélé que les incitations financières (P. J. Edwards 2009) semblent augmenter de plus de deux fois le taux de réponse par rapport aux incitations non financières. Les montants fixes (P. Edwards et al. 2005) semblent produire des taux de réponse plus élevés que la perspective de gagner au tirage au sort. En ce qui concerne les incitations financières, les paiements en espèces génèrent des taux de réponse supérieurs à ceux des chèques ou des codes en ligne (P. Edwards et al. 2005). Les incitations financières sont faciles à mettre en œuvre dans le cadre d’une enquête par courrier et sont plus équitables pour les participants que les tirages au sort. Ceci étant dit, faire en sorte que les répondants doivent faire valoir leurs incitations (par exemple, par le biais de cartes-cadeaux ou de coupons en ligne) peut permettre de contrôler le taux d’ouverture des courriers et de minimiser les coûts liés aux incitations non ouvertes ou aux non-répondants. En définitive, tester différentes options d’incitation auprès de la population cible permettra aux chercheurs de déterminer quelles sont les options les plus efficaces pour atteindre le taux de réponse visé.
- Réfléchissez au moment où vous allez offrir l’incitation. Les incitations versées d’emblée et sans condition sont les plus efficaces en termes de taux de réponse (P. J. Edwards et al. 2009). Lorsque les questionnaires sont associés à des incitations financières, le CDC suggère de joindre directement l’incitation au questionnaire pour faciliter la mise en œuvre (CDC 2018b).
-
- Fixez le montant de l’incitation. Certains participants répondront à l’enquête quel que soit le montant de l’incitation. Les chercheurs doivent donc proposer un montant qui encourage les répondants à la marge à répondre.8
Étude de cas : Dans le cadre de l’étude OHIE (Finkelstein et al. 2010), le premier courrier était accompagné d’une incitation financière de 5 $ et de la possibilité de participer à un tirage au sort pour recevoir 200 $ supplémentaires. Lors de la deuxième série d’envois, les chercheurs ont joint au courrier une incitation financière de 10 $. L’enquête fait 5 pages.
- Personnalisez les courriers. Le CDC recommande plusieurs méthodes de personnalisation, comme le fait d’écrire les adresses à la main sur les enveloppes d’expédition et de retour et la signature individualisée des lettres d’accompagnement (CDC 2018a). Cependant, certaines de ces options ne sont pas forcément réalisables dans le cas d’envois à grande échelle. La rentabilité des courriers personnalisés pour améliorer le taux de réponse est sujette à débat (Gendall 2005).
- Tenez compte de la présentation et de la lisibilité des documents expédiés. Pour améliorer le rendu, envisagez d’imprimer les documents sur du papier glacé et de les plier de manière à ce qu’ils se distinguent clairement des publicités. Créez plusieurs versions du document et organisez des groupes de discussion pour tester le modèle qui génère le taux de réponse le plus élevé et les réponses les plus précises pour la cible démographique envisagée. Pour améliorer la lisibilité de l’enquête, appliquez les quatre principes de base de la conception de documents (Williams 2014) :
- Le contraste (couleur ou épaisseur) permet d’attirer l’attention du lecteur sur des éléments spécifiques de la page. Par exemple, le CDC (2018a) recommande d’utiliser une couleur d’arrière-plan légèrement ombrée avec des cases blanches pour les réponses.
- La répétition de certains éléments (comme des illustrations ou des logos) contribue à la cohérence des documents.
- L’alignement permet de structurer la page et facilite le repérage des informations par le lecteur.
- La proximité permet de mettre en évidence les liens entre les éléments : les éléments qui sont liés les uns aux autres doivent être placés à proximité les uns des autres. Évitez les gros blocs de texte, qui sont souvent difficiles à lire et à assimiler. Au lieu de cela, formez plusieurs paragraphes pour séparer les points clés par des espaces blancs.
- Exploitez les enseignements issus des sciences comportementales. Parmi les applications potentielles des données comportementales à la conception des enquêtes, on peut citer l’utilisation de l’amorçage (par le biais de messages subtils comme des citations), la reformulation du message pour mettre en avant les pertes potentielles (en insistant sur les opportunités perdues ou sur le coût de l’inaction), la personnalisation des informations, et l’évocation des normes et pressions sociales (en mentionnant par exemple le nombre de personnes ayant répondu à l’enquête) dans le formulaire du questionnaire (Behavioural Insights and Public Policy, 2017). Une suggestion particulièrement efficace consiste à inclure un appel à l’action simple et clair. Réunissez les différentes étapes du processus d’appel à l’action (appel à la participation, envoi d’un e-mail pour poser des questions, consultation d’un site internet pour obtenir plus d’informations) en une seule étape (par exemple, “appelez ce numéro pour participer”), et indiquez une échéance précise. Une telle approche peut limiter la confusion cognitive et faire en sorte que la décision de participer devienne le choix par défaut (Johnson et al. 2017). Il peut également être utile de souligner aux participants la valeur de leur contribution et les bienfaits découlant de leur participation à l’enquête. Les chercheurs doivent toutefois faire attention aux formulations susceptibles de produire des réponses biaisées ou d’introduire des différences de taux de réponse.
Une conception adaptative
Même en appliquant les suggestions ci-dessus, il reste toujours un certain degré d’incertitude quant au taux de réponse que les chercheurs vont obtenir. Aborder la conception de l’enquête de manière adaptative permet de faire face à cette incertitude en utilisant les données collectées lors des premières étapes de l’enquête pour orienter les étapes ultérieures de la conception de la recherche et de l’enquête. Il est essentiel de procéder à des essais pilotes pour identifier le protocole d’enquête le plus efficace, en particulier lorsqu’il s’agit de choisir entre différents moyens d’améliorer le taux de réponse. Des pré-tests, des groupes de discussion, des entretiens cognitifs et un suivi en temps réel peuvent fournir des informations précieuses pour orienter la conception de l’enquête pilote, la conception de l’enquête finale, et la mise en œuvre.
- Adoptez une approche de type mixte. De nombreux chercheurs utilisent une combinaison de plusieurs modes d’enquête (par exemple, par courrier, par téléphone, en ligne) afin de maximiser le taux de réponse à l’enquête. Concevoir l’enquête de manière adaptative permet d’évaluer les modes d’enquête qui sont les plus rentables et de les mettre en place lors des enquêtes de suivi, dans la mesure où les chercheurs peuvent ainsi tester les méthodes qui leur permettent d’atteindre le taux de réponse souhaité au sein de la population cible. Les données probantes concernant l’utilisation d’une stratégie de type mixte indiquent que les approches séquentielles (par exemple, l’envoi d’une enquête par courrier, suivi d’un accès à l’enquête en ligne) produisent des taux de réponse plus élevés que les approches simultanées (par exemple, l’envoi d’une enquête par voie postale en même temps que l’accès à l’enquête en ligne). En réalité, les stratégies mixtes simultanées risquent même de ne pas améliorer le taux de réponse par rapport à l’utilisation exclusive d’enquêtes par courrier (Millar et Dillman 2011 ; Medway et Fulton 2012). Si les chercheurs décident de donner aux répondants la possibilité de répondre à l’enquête en utilisant une méthode assistée par ordinateur (comme une enquête en ligne) dans le cadre des vagues d’enquête suivantes, cela peut limiter les contraintes imposées aux répondants et permettre d’adapter les questions à ces derniers en intégrant des sauts de questions. Pour les membres de la population qui sont à l’aise avec Internet et qui y ont accès, les enquêtes en ligne constituent potentiellement une meilleure solution, d’autant plus qu’elles facilitent le suivi du taux de réponse.
- Une autre solution consiste à utiliser l’envoi d'un courrier comme point d’accès à une enquête effectuée par d’autres moyens (comme une enquête en ligne ou une enquête téléphonique). Par exemple, les chercheurs peuvent inclure dans le courrier un code QR ou un lien vers une enquête en ligne, ou bien un numéro de téléphone à composer pour une enquête téléphonique. Le modèle le plus pratique à mettre en œuvre est l’enquête postale suivie d’une enquête en ligne, car elles sont toutes deux auto-administrées et ne nécessitent pas l’intervention d’un enquêteur. Depuis 2016, la stratégie de l’American Community Survey consiste à contacter les ménages par courrier et à leur fournir un lien vers une enquête en ligne afin d’encourager les réponses par internet. En cas de non-réponse, le Census Bureau envoie alors un questionnaire papier (National Academies of Sciences and Medicine 2016).
- Envisagez de procéder à un échantillonnage à plusieurs phases. Dans la mesure où les taux de réponse sont très variables, la conception d’une enquête de manière adaptative se prête particulièrement bien à un échantillonnage à plusieurs phases. Pour une vague d’enquête donnée, le chercheur divise l’échantillon de l’enquête en plusieurs phases de suivi en fonction des taux de réponse obtenus. Les chercheurs doivent donner la priorité aux cas et aux sous-échantillons qui sont particulièrement importants pour l’enquête et veiller à moduler le niveau d’effort et d’incitation pour chaque phase. En supposant que les chercheurs disposent d’un budget fixe, il est important de prendre en compte l’arbitrage entre le biais et la variance : l’augmentation du taux de réponse au sein d’un sous-échantillon et la surpondération de ce dernier permettent de limiter les biais, mais augmentent la variance.9 À ce titre, il est notamment recommandé de commencer par appliquer les méthodes d’enquête les moins intensives à l’ensemble de l’échantillon. Les chercheurs peuvent ensuite relancer un échantillon aléatoire de non-répondants en utilisant des méthodes d’enquête et des mesures incitatives plus intensives lors de la phase suivante.
Étude de cas : Dans le cadre de l’enquête de suivi à douze mois de l’OHIE (Finkelstein et al. 2010), les chercheurs ont utilisé un protocole de relance plus intensif pour trente pour cent des non-répondants. Ce protocole comprenait un appel de relance supplémentaire visant à répondre à une enquête par téléphone, ainsi que l’envoi de deux courriers supplémentaires. Le premier courrier était une carte postale indiquant comment accéder à l’enquête en ligne, accompagnée d’une incitation de 5 $, et proposant aux répondants plusieurs façons de mettre à jour leurs coordonnées : une adresse e-mail, un numéro vert et une carte postale détachable et pré-affranchie. Le second courrier se présentait sous la forme d’une lettre contenant les mêmes informations que la carte postale précédente ainsi qu’une incitation de 10 $, mais sans la carte détachable permettant de mettre à jour son adresse. Les chercheurs ont pondéré les répondants du sous-échantillon proportionnellement à l’inverse de la probabilité de recevoir une relance supplémentaire. Dans le cadre de l’enquête de suivi à douze mois, le protocole de base a permis d’obtenir un taux de réponse initial de 36 %. Avec le protocole intensif de relance, les chercheurs ont ensuite réussi à faire augmenter le taux de réponse effectif global pour atteindre cinquante pour cent.
Considérations budgétaires
Parmi les différentes stratégies présentées dans cette ressource, nombreuses sont celles qui risquent de faire augmenter le budget de l’enquête par correspondance. Les chercheurs doivent être prêts à faire des compromis entre le taux de réponse souhaité et le coût financier, le temps de travail et les contraintes logistiques supplémentaires que ces stratégies représentent. Selon l’envergure de l’enquête par courrier, le coût marginal de chaque courrier supplémentaire (lié notamment aux frais d’affranchissement et aux incitations) peut varier. Voici quelques éléments à prendre en compte pour établir le budget d’une telle enquête (sans ordre d’importance particulier) :
- L’impression des documents et questionnaires à envoyer. Les impressions en couleur et sur papier glacé coûtent généralement plus cher. L’impression et la réimpression des questionnaires peuvent également représenter un coût important si le questionnaire est très long.
- L’affranchissement des courriers. Le coût des différents modes d’envoi postal dépend des procédures d’envoi existantes et de plusieurs autres facteurs, comme la quantité d’enveloppes, leur taille, leur poids, et la distance parcourue par le courrier. L’affranchissement peut constituer l’un des plus gros postes de dépenses de l’enquête postale (Grubert 2017), en particulier si les chercheurs optent pour des livraisons spéciales ou des services d’expédition privés haut de gamme comme FedEx ou UPS.
- Incitations et indemnités destinées aux participants. Outre le montant brut, il faut également tenir compte du nombre de billets et de coupures nécessaires. Par exemple, les enquêtes par courrier privilégient traditionnellement les billets de 2 dollars, car il y a des avantages logistiques à inclure un seul billet de 2 dollars plutôt que deux billets d’un dollar.!10]
- Coût des relances. N’oubliez pas de prévoir un budget pour couvrir le temps de travail supplémentaire du personnel, les ressources additionnelles et les éventuelles prolongations du calendrier du projet. Si le projet implique un suivi intensif des participants, le coût de chaque réponse supplémentaire obtenue dans le cadre de la phase dite « intensive » sera plus élevé que le coût d’une réponse normale.
- Services permettant d’obtenir des coordonnées à jour. Par exemple, le coût d’utilisation de la base de données NCOA varie en fonction du nombre de dossiers, du nombre de variables et du niveau de détail demandés. Il est particulièrement important d’en tenir compte si les chercheurs prévoient de mettre régulièrement à jour les coordonnées dans le cadre de l’envoi de plusieurs courriers.
- Conception des documents à envoyer et des enquêtes. Ces frais incluent le temps que le personnel de recherche consacre à la conception en interne ou le coût du recrutement d’une entreprise extérieure pour faire ce travail.
- Logistique liée aux opérations de l’enquête postale. Lors de la planification et de la mise en œuvre de l’enquête par courrier, les chercheurs doivent effectuer un arbitrage entre le temps de travail du personnel de recherche et le coût financier (par exemple, en cas de sous-traitance de certaines tâches). L’une des principales questions à se poser est de savoir s’il faut confier à un organisme extérieur la gestion de la logistique de l’enquête, en particulier toutes les tâches relatives à l’impression et à l’expédition des questionnaires.
Dernière modification : juin 2021.
Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l’ajout de nouveaux contenus, veuillez remplir ce formulaire.
Nous tenons à remercier Amy Finkelstein, Daniela Gomez Trevino, Jesse Gubb, Amanda Kohn, Eliza Keller, Manasi Deshpande, Neale Mahoney et Ray Kluender pour leurs commentaires précieux. Ce document a été relu et corrigé par Clare Sachsse, et traduit de l’anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien d'Arnold Ventures et de la Fondation Alfred P. Sloan. Merci d’envoyer vos commentaires, questions ou réactions à l’adresse suivante : [email protected]. Toute erreur est de notre fait.
Additional Resources
-
Conception des enquêtes | J-PAL
Cette ressource offre une vue d’ensemble du processus d’élaboration d’une enquête, ainsi que des conseils pratiques, des suggestions de mise en forme et des guides de contrôle de la qualité qui sont essentiels à la conception d’une enquête efficace.
-
Travailler avec un organisme d’enquête externe | J-PAL
Cette ressource donne des conseils pour identifier les cas où il est préférable de faire appel à un organisme d’enquête externe, ainsi que sur l’identification de cet organisme et la procédure de signature du contrat. Elle inclut des considérations relatives à la population étudiée, à la taille de l’échantillon et aux procédures de suivi de l’enquête qu’il peut être utile de passer en revue concernant les taux de réponse.
-
How to design effective communications | Office of Evaluation Sciences (OES)
Cette ressource formule des recommandations pour nouer un dialogue efficace avec les répondants. Elles sont basées sur les connaissances et l’expérience du gouvernement des États-Unis en matière d’envoi de courriers et d’e-mails
References
Behavioural Insights and Public Policy. 2017. OECD. doi:10.1787/9789264270480-en.
Cantor, David, and Patricia Cunningham. 2002. “Studies of Welfare Populations: Data Collection and Research Issues.” In Studies of Welfare Populations, edited by Moffitt Robert, Constance Citro, and Michele Ver Ploeg, 55–85. Washington, D.C.: National Academies Press. doi:10.17226/10206.
CDC. 2018a. “Evaluation Briefs Increasing Questionnaire Response Rates” https://www.cdc.gov/Healthyyouth/evaluation/. Last accessed June 2, 2021.
CDC. 2018b. “Evaluation Briefs Using Incentives to Boost Response Rates When to Offer Incentives.” https://www.cdc.gov/healthyyouth/evaluation/. Last accessed June 2, 2021.
Dutz, D., Ingrid Huitfeldt, Santiago Lacouture. Magne Mogstad, Alexander Torgovitsky, and Winnie van Dijk. 2021. "Selection in Surveys." National Bureau of Economic Research Working Paper Series No. 29549. doi: 10.3386/W29549
Edwards, Phil, Ian Roberts, Mike Clarke, Carolyn DiGuiseppi, Sarah Pratap, Reinhard Wentz, and Irene Kwan. 2002. “Increasing Response Rates to Postal Questionnaires: Systematic Review.” BMJ (Clinical Research Ed.) 324 (7347): 1183. doi:10.1136/bmj.324.7347.1183.
Edwards, Phil, Rachel Cooper, Ian Roberts, and Chris Frost. 2005. “Meta-Analysis of Randomised Trials of Monetary Incentives and Response to Mailed Questionnaires.” Journal of Epidemiology and Community Health 59: 987–99. doi:10.1136/jech.2005.034397.
Edwards, Philip James, Ian Roberts, Mike J. Clarke, Carolyn DiGuiseppi, Reinhard Wentz, Irene Kwan, Rachel Cooper, Lambert M. Felix, and Sarah Pratap. 2009. “Methods to Increase Response to Postal and Electronic Questionnaires.” Cochrane Database of Systematic Reviews. John Wiley and Sons Ltd. doi:10.1002/14651858.MR000008.pub4.
Fredrickson, Doren D., et al. 2005. "Optimal Design Features for Surveying Low-Income Populations." Journal of Health Care for the Poor and Underserved 16 (4): 677-690. doi:10.1353/hpu.2005.0096.
Finkelstein, Amy, and Matthew J Notowidigdo. 2019. “Take-Up and Targeting: Experimental Evidence from SNAP.” The Quarterly Journal of Economics 134 (3): 1505–56. doi:10.1093/qje/qjz013.
Finkelstein, Amy, Sarah Taubman, Heidi Allen, Jonathan Gruber, Joseph P. Newhouse, Bill Wright, Kate Baicker, and Oregon Health Study Group. 2010. “The Short-Run Impact of Extending Public Health Insurance to Low Income Adults: Evidence from the First Year of The Oregon Medicaid Experiment [Analysis Plan].” Working Paper.
Gendall, Philip. 2005. “The Effect of Covering Letter Personalisation in Mail Surveys.” The International Journal of Market Research 47 (4): 365–380. doi:10.1177/147078530504700404.
Grubert, Emily. 2017. “How to Do Mail Surveys in the Digital Age: A Practical Guide.” Survey Practice 10 (1): 1–8. doi:10.29115/sp-2017-0002.
Holbrook, Allyson L., Jon A. Krosnick, and Alison Pfent. 2007. “The Causes and Consequences of Response Rates in Surveys by the News Media and Government Contractor Survey Research Firms.” Advances in Telephone Survey Methodology 60607: 499–528. doi:10.1002/9780470173404.ch23.
Johnson, Amy, Ryan Callahan, Jesse Chandler, and Jason Markesich. 2017. “Using Behavioral Science to Improve Survey Response: An Experiment with the National Beneficiary Survey (In Focus Brief),” 1–2. Mathematica.
Kennedy, Courtney, and Hannah Hartig. 2019. “Phone Survey Response Rates Decline Again | Pew Research Center.” Pew Research Center. https://www.pewresearch.org/fact-tank/2019/02/27/response-rates-in-telephone-surveys-have-resumed-their-decline/. Last accessed June 2, 2021.
Lavrakas, Paul. 2008. “Encyclopedia of Survey Research Methods.” SAGE Publications. Thousand Oaks, California. doi:10.4135/9781412963947.
Lee, David S. 2009. “Training, Wages, and Sample Selection: Estimating Sharp Bounds on Treatment Effects.” Review of Economic Studies 76 (3): 1071–1102. doi:10.1111/j.1467-937X.2009.00536.x.
Levere, Michael, and David Wittenburg. 2019. “Lessons from Pilot Tests of Recruitment for the Promoting Opportunity Demonstration.” Mathematica.
Liebman, Jeffrey B., and Erzo F.P. Luttmer. 2012. “The Perception of Social Security Incentives for Labor Supply and Retirement: The Median Voter Knows More than You’d Think.” Tax Policy and the Economy 26 (1): 1–42. doi:10.1086/665501.
Mayer, Susan E., Ariel Kalil, Philip Oreopoulos, and Sebastian Gallegos. 2019. “Using Behavioral Insights to Increase Parental Engagement.” Journal of Human Resources 54 (4): 900–925. doi:10.3368/jhr.54.4.0617.8835r.
Mcphee, Cameron, and Sarah Hastedt. 2012. “More Money? The Impact of Larger Incentives on Response Rates in a Two-Phase Mail Survey.” National Center for Education Statistics, Institute of Education Sciences, U.S. Department of Education. Washington, DC.
Millar, Morgan M., and Don A. Dillman. 2011. “Improving Response to Web and Mixed-Mode Surveys.” Public Opinion Quarterly 75 (2): 249–69. doi:10.1093/poq/nfr003.
Miller, Sarah, Laura R. Wherry, and Diana Greene Foster. 2018. “The Economic Consequences of Being Denied an Abortion.” NBER Working Paper 26662 53 (9): 1689–99.
Mills, Sarah. 2019. “A $2 Bill or Two $1 Bills: An Experiment That Challenges Standard Protocol.” Field Methods 31, no. 3: 230–40. doi:10.1177/1525822X19844307.
National Academies of Sciences and Medicine, Engineering. 2016. Reducing Response Burden in the American Community Survey: Proceedings of a Workshop. Edited by Thomas J Plewes. Washington, DC: The National Academies Press. doi:10.17226/23639.
Neher, Chris, and K. S. Neher. 2018. “Impact of Sample Frame on Survey Response Rates in Repeat-Contact Mail Surveys.” Park Science 34 (1): 43–46. https://www.nps.gov/articles/parkscience34-1_43-46_neher_neher_3877.htm. Last accessed June 2, 2021.
Rao, Kumar, Olena Kaminska, Allan L. Mccutcheon, Darby Miller Steiger, Julie Curd, Larry Curd, Alison Hunter, Susan Sorenson, and Julie Zeplin. 2010. “Recruiting Probability Samples for a Multi-Mode Research Panel with Internet and Mail Components.” Public Opinion Quarterly 74 (1): 68–84. doi:10.1093/poq/nfp091.
Stedman, Richard C., Nancy A. Connelly, Thomas A. Heberlein, Daniel J. Decker, and Shorna B. Allred. 2019. “The End of the (Research) World As We Know It? Understanding and Coping With Declining Response Rates to Mail Surveys.” Society & Natural Resources 32 (10): 1139–54. doi:10.1080/08941920.2019.1587127.
Williams, Robin. 2014. The Non-Designer’s Design Book. 4th ed. San Francisco, CA: Peachpit Press.
Yan, Alan, Joshua Kalla, and David E. Broockman. 2018. “Increasing Response Rates and Representativeness of Online Panels Recruited by Mail: Evidence from Experiments in 12 Original Surveys.” Stanford University Graduate School of Business Research Paper No. 18-12. doi:10.2139/ssrn.3136245.