En s’appuyant sur des preuves et des exemples tirés de la littérature sur les expérimentations et les enquêtes par correspondance, cette ressource propose des stratégies pour améliorer le taux de réponse à ce type d’enquêtes et aux courriers ciblant un groupe fixe de répondants dans le cadre d’une évaluation aléatoire.
Nous n’aborderons pas ici les arbitrages à opérer concernant le choix de l’enquête par correspondance par rapport aux autres méthodes d’enquête, mais certaines stratégies présentées dans cette ressource peuvent également s’appliquer à des méthodes comme les enquêtes par SMS ou les enquêtes en ligne. En outre, la plupart des principes à respecter pour contacter les répondants et les encourager à interagir avec la documentation envoyée s’appliquent également à d’autres formes d’interaction par courrier, comme les actions de proximité, les campagnes d’information ou les interventions de type « nudge » (encouragement).
Un chercheur peut estimer que l’envoi de la documentation de l’étude ou de l’enquête par courrier postal est la stratégie la plus adaptée au contexte et au budget de son évaluation. Comparé aux enquêtes en face à face, par téléphone ou à tout autre mode d’enquête effectué par un enquêteur, les envois par courrier sont un moyen relativement économique et logistiquement simple de toucher un grand nombre d’individus. Dans certains cas, les courriers peuvent aussi être particulièrement adaptés au contexte cible, par exemple si les organisations gouvernementales ou non gouvernementales communiquent déjà avec les individus par courrier. Dans bien des cas, le courrier est le premier point de contact, voire le seul moyen de communication avec les participants de l’étude.1 La présente ressource part du principe que les chercheurs prévoient d’utiliser des enquêtes par correspondance dans le cadre de leur étude, mais n’exclut pas l’utilisation d’autres méthodes d’enquête par ailleurs (comme indiqué plus loin dans cette ressource).
Quelle que soit la méthode d’enquête choisie, des taux de réponse trop faibles peuvent menacer la puissance statistique de l’évaluation. En outre, la non-réponse représente également une menace pour l’interprétation de l’analyse, car les personnes qui sont les plus difficiles à joindre peuvent avoir des caractéristiques qui diffèrent systématiquement de celles des personnes qui répondent à l’enquête. Dans le cas d’une évaluation aléatoire, l’existence d’un taux de réponse différentiel peut introduire un biais dans l’analyse si les caractéristiques des personnes qui répondent sont différentes d’un groupe expérimental à l’autre.
Bien que l’envoi de courriers soit une méthode fondamentale des enquêtes et des études scientifiques en sciences sociales aux États-Unis, les taux de réponse aux enquêtes par courrier ont diminué au fil des ans, avec une baisse d’environ 35 points de pourcentage depuis les années 1970, par rapport à une moyenne initiale de 77 % (Stedman et al. 2019). Cette ressource traite donc des stratégies possibles pour améliorer le taux de réponse aux courriers postaux envoyés dans le cadre du travail de proximité d’une étude.2 La pertinence, l’efficacité et le coût de chaque stratégie sont susceptibles de varier considérablement selon le contexte de l’évaluation (notamment la population cible, la question de recherche, la taille d’échantillon ou le taux de réponse nécessaires pour atteindre la puissance statistique adéquate, ou encore la possibilité de faire appel à des organismes externes pour la collecte des données). Par conséquent, nous ne formulons pas ici de recommandations spécifiques, et nous ne pouvons pas donner d’indications sur le rapport coût-efficacité de ces stratégies.
Le taux de réponse aux enquêtes par voie postale utilisées dans le cadre d’évaluations aléatoires varie considérablement, de sorte qu’il est difficile d’estimer un taux de réponse « classique ». Récemment, des chercheurs ont étudié diverses techniques et mesures incitatives pour maximiser le taux de réponse aux enquêtes par panel en ligne dont les participants sont initialement recrutés par le biais de courriers (Yan et al. 2018). Les personnes interrogées dans le cadre de ces études recevaient un courrier les invitant à participer à l’enquête avec un lien vers le site Internet pour y répondre. Les taux de réponse observés allaient de deux à onze pour cent. Bien qu’il ne s’agisse pas à proprement parler d’enquêtes par correspondance, le premier point de contact pour ces enquêtes était un courrier postal, et les taux de réponse sont donc comparables.
Bien que les chercheurs ne puissent pas remédier à toutes les causes de la non-réponse (comme les problèmes de santé ou l’absence des personnes contactées), il existe néanmoins un certain nombre de problèmes qu’ils peuvent résoudre. Il s'agit notamment des cas de non-contact (lorsque les enquêtes envoyées par la poste ne parviennent pas aux répondants prévus), de refus (lorsque les enquêtes envoyées par la poste parviennent au répondant potentiel mais n’obtiennent pas de réponse), d’interruption (lorsque les enquêtes envoyées par la poste n’obtiennent qu’une réponse partielle parce que le répondant abandonne en cours de route), et des barrières linguistiques.
Les causes de la non-réponse sont souvent impossibles à déterminer, sauf dans les cas où le courrier est retourné à l’expéditeur parce que l’adresse est incorrecte, ou lorsque l’enquête renvoyée n’est que partiellement remplie.3 Face à cette incertitude, les chercheurs doivent s’efforcer de remédier aux problèmes de non-réponse de manière anticipée. Pour ce faire, ils peuvent notamment :
Certaines suggestions visant à améliorer le taux de réponse aux enquêtes postales peuvent se révéler plus importantes que d’autres selon le rôle que joue l’enquête dans le cadre de l’évaluation (qui peut être, par exemple, de mesurer les variables de résultat de l’intervention ou de transmettre des encouragements dans le cadre de l’enquête). Par exemple, si une intervention est intégrée à une enquête, les chercheurs doivent veiller à dissocier l’effet de l’intervention proprement dite de l’effet conjoint des éléments de l’enquête qui encouragent les participants à répondre. Les chercheurs peuvent en outre envisager de corriger le différentiel de taux de réponse entre le groupe de traitement et le groupe témoin.
Étude de cas : Dans une étude (Liebman et Luttmer 2012), les chercheurs ont interrogé les répondants d’un panel en ligne sur leur connaissance des prestations de sécurité sociale et leur perception des liens entre ces prestations et la main-d’œuvre disponible. Le panel avait été pré-recruté par un organisme indépendant et les chercheurs ont ainsi pu sélectionner un échantillon représentatif de la population cible en filtrant les individus sur la base des caractéristiques démographiques qui les intéressaient. Étant donné que les membres du panel avaient déjà choisi de participer à des enquêtes et sondages futurs, un échantillon tiré de ce groupe avait toutes les chances de générer un taux de réponse élevé et de réduire les coûts de déploiement. L’utilisation d'un panel pré-recruté soulève toutefois un problème potentiel, à savoir l’existence de répondants « professionnels » (des individus qui participent souvent à des enquêtes et ont donc une certaine expérience en la matière), qui risquent de donner des réponses biaisées du fait de l’expérience accumulée au fil des enquêtes.
Participer à une enquête comporte un certain nombre de contraintes qui contribuent à la non-réponse, comme le temps que le répondant doit y consacrer et les efforts nécessaires pour la remplir et la renvoyer. Les chercheurs doivent, dans la mesure du possible, s’efforcer de limiter ces obstacles et ces inconvénients.
Les participants potentiels à l’étude peuvent avoir des attitudes et des caractéristiques inobservables qui font qu’ils ne sont pas disposés à répondre. Les chercheurs doivent donc s’efforcer de rendre les enquêtes et les courriers aussi attrayants et percutants que possible afin d’encourager les gens à y répondre. La littérature existante sur la conception et l’administration des enquêtes par courrier suggère que ce qui peut rendre attrayantes les différentes composantes de l’enquête varie d’un segment à l’autre de la population. Dans cette section, nous présentons les principales stratégies de développement de l’adhésion qui retiendront l’attention de la plupart des participants.
Étude de cas : Dans le cadre de l’étude OHIE (Finkelstein et al. 2010), le premier courrier était accompagné d’une incitation financière de 5 $ et de la possibilité de participer à un tirage au sort pour recevoir 200 $ supplémentaires. Lors de la deuxième série d’envois, les chercheurs ont joint au courrier une incitation financière de 10 $. L’enquête fait 5 pages.
Même en appliquant les suggestions ci-dessus, il reste toujours un certain degré d’incertitude quant au taux de réponse que les chercheurs vont obtenir. Aborder la conception de l’enquête de manière adaptative permet de faire face à cette incertitude en utilisant les données collectées lors des premières étapes de l’enquête pour orienter les étapes ultérieures de la conception de la recherche et de l’enquête. Il est essentiel de procéder à des essais pilotes pour identifier le protocole d’enquête le plus efficace, en particulier lorsqu’il s’agit de choisir entre différents moyens d’améliorer le taux de réponse. Des pré-tests, des groupes de discussion, des entretiens cognitifs et un suivi en temps réel peuvent fournir des informations précieuses pour orienter la conception de l’enquête pilote, la conception de l’enquête finale, et la mise en œuvre.
Étude de cas : Dans le cadre de l’enquête de suivi à douze mois de l’OHIE (Finkelstein et al. 2010), les chercheurs ont utilisé un protocole de relance plus intensif pour trente pour cent des non-répondants. Ce protocole comprenait un appel de relance supplémentaire visant à répondre à une enquête par téléphone, ainsi que l’envoi de deux courriers supplémentaires. Le premier courrier était une carte postale indiquant comment accéder à l’enquête en ligne, accompagnée d’une incitation de 5 $, et proposant aux répondants plusieurs façons de mettre à jour leurs coordonnées : une adresse e-mail, un numéro vert et une carte postale détachable et pré-affranchie. Le second courrier se présentait sous la forme d’une lettre contenant les mêmes informations que la carte postale précédente ainsi qu’une incitation de 10 $, mais sans la carte détachable permettant de mettre à jour son adresse. Les chercheurs ont pondéré les répondants du sous-échantillon proportionnellement à l’inverse de la probabilité de recevoir une relance supplémentaire. Dans le cadre de l’enquête de suivi à douze mois, le protocole de base a permis d’obtenir un taux de réponse initial de 36 %. Avec le protocole intensif de relance, les chercheurs ont ensuite réussi à faire augmenter le taux de réponse effectif global pour atteindre cinquante pour cent.
Parmi les différentes stratégies présentées dans cette ressource, nombreuses sont celles qui risquent de faire augmenter le budget de l’enquête par correspondance. Les chercheurs doivent être prêts à faire des compromis entre le taux de réponse souhaité et le coût financier, le temps de travail et les contraintes logistiques supplémentaires que ces stratégies représentent. Selon l’envergure de l’enquête par courrier, le coût marginal de chaque courrier supplémentaire (lié notamment aux frais d’affranchissement et aux incitations) peut varier. Voici quelques éléments à prendre en compte pour établir le budget d’une telle enquête (sans ordre d’importance particulier) :
Dernière modification : juin 2021.
Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l’ajout de nouveaux contenus, veuillez remplir ce formulaire.
Nous tenons à remercier Amy Finkelstein, Daniela Gomez Trevino, Jesse Gubb, Amanda Kohn, Eliza Keller, Manasi Deshpande, Neale Mahoney et Ray Kluender pour leurs commentaires précieux. Ce document a été relu et corrigé par Clare Sachsse, et traduit de l’anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien d'Arnold Ventures et de la Fondation Alfred P. Sloan. Merci d’envoyer vos commentaires, questions ou réactions à l’adresse suivante : na_resources@povertyactionlab.org. Toute erreur est de notre fait.
Conception des enquêtes | J-PAL
Cette ressource offre une vue d’ensemble du processus d’élaboration d’une enquête, ainsi que des conseils pratiques, des suggestions de mise en forme et des guides de contrôle de la qualité qui sont essentiels à la conception d’une enquête efficace.
Travailler avec un organisme d’enquête externe | J-PAL
Cette ressource donne des conseils pour identifier les cas où il est préférable de faire appel à un organisme d’enquête externe, ainsi que sur l’identification de cet organisme et la procédure de signature du contrat. Elle inclut des considérations relatives à la population étudiée, à la taille de l’échantillon et aux procédures de suivi de l’enquête qu’il peut être utile de passer en revue concernant les taux de réponse.
How to design effective communications | Office of Evaluation Sciences (OES)
Cette ressource formule des recommandations pour nouer un dialogue efficace avec les répondants. Elles sont basées sur les connaissances et l’expérience du gouvernement des États-Unis en matière d’envoi de courriers et d’e-mails