La conception des enquêtes

L’élaboration d’un questionnaire efficace comporte cinq étapes clés :

La présente ressource se concentre sur l’étape 4 : la conception du questionnaire. Comme le suggère le diagramme ci-dessus, il est important d’avoir bien défini les questions de recherche, la théorie du changement et les concepts à mesurer avant de commencer à élaborer le questionnaire. Voir la ressource Introduction aux mesures pour plus d’informations sur les étapes 1 à 3 et la ressource Pilotage du questionnaire pour plus d’informations sur l’étape 5.

• Collectez toujours les métadonnées sur la page de couverture. Comme ce sont des informations d’identification qui devront ensuite être retirées, si vous optez pour une enquête au format papier, elles devront être placées sur une page de couverture détachable. Si vous utilisez une méthode de collecte de données numérique, ces métadonnées devront être chiffrées et stockées séparément des données des modules. Elles doivent inclure :
  • L’identité de l’enquêteur 
  • Le lieu de l’enquête
  • L’identifiant unique
  • L’heure et la date de début et de fin
  • Les informations d’identification du répondant
• Les enquêtes initiales et finales présentent un certain nombre de différences majeures. L’enquête initiale a pour objectif de décrire la population telle qu’elle se présente avant le traitement, et doit donc se concentrer particulièrement sur les covariables. L’enquête finale sert principalement à mesurer les variables de résultat et doit donc inclure des questions visant à obtenir des informations sur la mise en œuvre et les éventuels effets de diffusion. Pour plus d’informations à ce sujet, voir la première section de cet article du blog d’EGAP sur la conception des enquêtes
• Répondre à une enquête représente un coût pour le répondant, à la fois en termes de temps et d’énergie : votre collecte de données doit donc rester brève et paraître aussi attrayante que possible
  • N’incluez que ce dont vous avez besoin pour répondre à vos questions de recherche ou à d’éventuelles questions de recherche futures, et évitez d’inclure une question si vous ne savez pas exactement comment vous allez l’utiliser. Vous pouvez vous référer à cette check-list pour relire chaque question
  • Si votre échantillon est suffisamment grand, vous pouvez raccourcir le questionnaire en assignant aléatoirement certains des répondants à des formulaires différents
• Utilisez des techniques de validation des données soigneusement étudiées chaque fois que c’est possible
  • Dans les enquêtes numériques, on peut limiter les options de réponse possibles (dans SurveyCTO, on parle de « Contraintes »), en limitant par exemple les valeurs d’âge à 0<=âge<120 (voir Programmation des enquêtes)
  • Dans les enquêtes sur papier, les instructions peuvent préciser l’éventail des options possibles et des contrôles réguliers peuvent être effectués pour s’assurer que ces règles sont respectées
• Demandez-vous s’il sera nécessaire d’apparier plusieurs ensembles de données et, si oui, de quelle manière
  • Utilisez des identifiants uniques identiques pour tous les ensembles de données et toutes les vagues d’enquêtes
  • Si vous effectuez à la fois des enquêtes individuelles et des enquêtes auprès des ménages, assurez-vous de disposer d’un code pour les deux, ainsi que d’un moyen de les mettre en correspondance d’une vague d’enquête à l’autre
  • Si vous utilisez des recensements ou d’autres fichiers de données administratives, demandez-vous s’ils contiennent des indicateurs géographiques spécifiques (comme des codes de sous-district) susceptibles de faciliter la mise en relation des différents ensembles de données
• N’oubliez pas de remercier le répondant à la fin de l’enquête ! (Ajoutez une note pour le rappeler aux enquêteurs)
• Voir également ci-dessous la check-list pour la relecture de chaque question

Passer des indicateurs aux questions

Comme indiqué plus en détail dans la ressource Introduction aux mesures et aux indicateurs, les indicateurs servent à mesurer des résultats ou des concepts. Lors de la conception d’une enquête, les premières étapes consistent à rassembler des idées et à commencer à formuler des questions en s’appuyant sur :

• Une revue de la littérature et la consultation d’experts
• Des groupes de discussion : Interroger des petits groupes de personnes (5 à 10 par groupe) pour explorer la question de recherche, évaluer les questions individuelles de l’enquête et se faire une idée de l’éventail des réponses possibles
• Des entretiens cognitifs : Chercher à comprendre le processus cognitif qui entre en jeu pour comprendre et interpréter une question d’enquête puis y répondre, en particulier pour les questions complexes, notamment celles qui nécessitent des calculs ou d’importants efforts de mémoire
  • Pour plus de détails sur les entretiens cognitifs, voir Peterson (2017), Willis et Artino (2013), ainsi que le  guide pratique détaillé publié en 1999 par Gordon Willis pour l’American Statistical Association 

Utiliser des enquêtes existantes

Si vous concevez une enquête de suivi, veillez à prendre comme point de départ le questionnaire de la vague d’enquête précédente. Pour faciliter les comparaisons entre les différentes vagues d’enquêtes, ne modifiez les questions qu’en cas d’absolue nécessité. En règle générale, il est préférable de supprimer ou d’ajouter des questions plutôt que de les modifier.

Même lorsque vous concevez un nouvel instrument, ne partez pas de zéro, mais commencez plutôt par passer en revue les enquêtes existantes qui ont déjà fait leurs preuves dans le même pays ou le même secteur. Lorsque vous compilez des questions provenant d’enquêtes existantes, pensez à ajouter une colonne indiquant la source de chaque question. Voici quelques sources utiles de questions d’enquêtes :

• J-PAL/IPA Datahub for Field Experiments in Economics and Public Policy
• Le catalogue de micro-données de la Banque Mondiale
• Le catalogue de micro-données de l’IFPRI
• Le catalogue d’enquêtes du International Household Survey Network

Types de questions

Au niveau le plus général, les questions peuvent porter sur des faits objectifs ou sur des perceptions et attentes subjectives. Cependant, au sein de ces catégories, il peut également être nécessaire de recueillir des données d’observation, des informations sensibles ou des détails sur des sujets que les gens ne maîtrisent pas bien. Cette section détaille les considérations les plus importantes à prendre en compte à cet égard et donne des conseils pratiques pour chaque type de question.

Les faits objectifs

Lorsque vous mesurez des faits objectifs :

• Envisagez d’utiliser des modules préexistants qui ont déjà été testés dans la zone ou sur le thème de votre enquête ; voir la section « Utiliser des enquêtes existantes » ci-dessus
• En partant de l’utilisation que vous comptez faire des données, remontez jusqu’au niveau de précision minimal requis pour répondre à la question. Ne collectez pas de données plus précises que celles que vous pouvez raisonnablement envisager d’utiliser
  • Pour certaines questions, envisagez d’utiliser des fourchettes plutôt que des estimations ponctuelles. Par exemple, si le répondant doit calculer le montant précis en dollars et en cents dépensé chaque jour pour se nourrir, cela risque d’être long et difficile. En revanche, il y a des chances pour qu’il puisse vous indiquer immédiatement une fourchette de dépenses (par exemple, <1 $, 1-5 $, >5 $)
• Tenez compte des réalités et de la culture locales
  • Ne partez pas du principe que les listes d’items de réponse utilisées ailleurs sont exhaustives dans votre contexte (par exemple, existe-t-il d’autres niveaux ou d’autres types d’éducation ? Y-a-t-il d’autres langues ou dialectes ?)
  • Veillez à ce qu’une personne qui connaît intimement la culture de la région et le contexte local participe au processus de conception de l’enquête, et sélectionnez dans la mesure du possible des enquêteurs originaires de la région
  • Réalisez plusieurs enquêtes pilotes dans des zones aussi proches que possible de vos zones d’enquête 

Questions subjectives

Les questions subjectives visent à évaluer un état psychologique subjectif qui n’est pas vérifiable par des observations extérieures ou dans des dossiers administratifs. Elles permettent de mesurer plusieurs types d’éléments :

• Les croyances relatives à l’objet de l’étude (« L’école de votre enfant lui fournit-elle une éducation adéquate ? »)
• Les attentes, c’est-à-dire les projets d’actions futures (« Avez-vous l’intention d’inscrire votre enfant dans la même école l’année prochaine ? »)  
• Les attitudes vis-à-vis de l’objet de l’étude (« Votre voisin hésite entre inscrire son enfant à l’école secondaire et lui trouver un emploi. Si l’enfant fait des études secondaires, il pourra potentiellement obtenir un emploi mieux rémunéré à l’avenir, mais il ne gagnera pas d’argent pour sa famille dans l’immédiat. Votre voisin décide finalement d’envoyer son enfant à l’école. Êtes-vous d’accord avec sa décision ? »)

Conseils pratiques pour les questions subjectives :

• Lorsque vous abordez des probabilités et des attentes subjectives, utilisez des échelles de Likert (dont les réponses vont de « très probable » à « très peu probable ») ou des échelles cardinales (qui demandent un pourcentage précis) pour obtenir des estimations ponctuelles.
  • Les réponses se concentrent souvent autour des nombres ronds comme les multiples de dix, parce que les répondants arrondissent ou ne sont pas sûrs de leur réponse. Les estimations ponctuelles risquent donc d’être approximatives, de sorte que les échelles de Likert peuvent permettre de gagner du temps et de l’énergie sans pour autant perdre en précision. Une autre possibilité consiste à utiliser une série de questions plutôt qu’une estimation ponctuelle unique afin d’obtenir une estimation plus précise ; voir Bruine de Bruin (2011) pour plus d’informations à ce sujet.
  • L’utilisation d’éléments visuels, comme des échelles ou des visages expressifs, peut aider les répondants à mieux comprendre la question tout en faisant varier le format de l’entretien.
  • Pour en savoir plus sur la mesure des perceptions de la probabilité, voir les articles récents de la Banque mondiale sur la mesure des attentes subjectives.
• Il est parfois difficile d’interpréter les réponses de façon à estimer un niveau absolu de bien-être subjectif, par exemple, ou de déterminer comment agréger différents indices pour obtenir une mesure globale du bien-être. Intégrer des questions qui demandent aux répondants de hiérarchiser les différentes facettes du bien-être peut être un bon moyen d’identifier les éléments auxquels ces derniers accordent une réelle importance. Pour en savoir plus, voir le récent article de la Banque mondiale sur la mesure du bien-être subjectif.
• Les questions subjectives peuvent s’avérer coûteuses en termes de temps et de charge cognitive : à titre indicatif, il faut environ 2 à 5 minutes de temps d’enquête pour obtenir une estimation ponctuelle d’un paramètre subjectif (Delavande, Gine et McKenzie (2009)).
• Les vignettes (de brefs scénarios fictifs) sont un outil utile qui peut contribuer à améliorer la comparabilité de plusieurs échantillons dans le temps ou dans des contextes différents. Pour plus d’informations, voir le récent article de la Banque mondiale sur l’utilisation de vignettes pour ancrer les réponses subjectives.
• Les questions subjectives ne peuvent pas se substituer à l’évaluation d’impact. En effet, lorsque les individus répondent à des questions subjectives, ils peuvent avoir du mal à concevoir un scénario contrefactuel précis (voir par exemple McKenzie (2016)).

Questions sensibles

Si le caractère sensible d’une question varie selon la culture et le contexte, les informations relatives à l’identité, aux pratiques illégales et aux comportements socialement inacceptables sont presque toujours sensibles. Les personnes interrogées peuvent ne pas répondre honnêtement à ce type de questions à cause d’un biais de désirabilité sociale, parce qu’elles sont gênées ou parce qu’elles considèrent qu’il est plus stratégique de donner une autre réponse. Voici quelques stratégies qui peuvent être mises en place pour les questions sensibles :

• Élaborer un plan de sécurité des données et garantir aux répondants que les informations qu’ils fournissent resteront confidentielles. Réfléchir également au cadre le plus adapté pour conduire les entretiens : il doit s’agir d’un lieu privé et confortable, où les pairs des répondants ne risquent pas d’entendre ni influencer les réponses de ces derniers.
• Collecter des données par le biais d’enquêtes en ligne ou de modules à remplir soi-même, ce qui peut éviter que les personnes interrogées se sentent trop gênées pour donner une réponse exacte. Dans le domaine des modules auto-administrés, il existe une innovation récente : l’auto-entretien assisté par ordinateur (Audio Computer Assisted Self-Interviewing, ou ACASI). Voir le guide du Mind and Body Research Group pour des conseils pratiques de mise en œuvre, et Cullen (2020) pour une comparaison randomisée de l’ACASI avec les méthodes classiques d’enquête en face-à-face et la méthode du comptage de réponses.
• Formuler la question sous un angle qui rend acceptable le comportement évoqué (pratique dite du « deliberate loading »). Par exemple : « Apprendre la discipline à ses enfants peut être difficile, et les parents ne s’y prennent pas tous de la même manière. Avez-vous déjà frappé votre enfant pour le punir ? » (Sudman et Bradburn, 1982).
• Éviter de placer les questions sensibles trop tôt ou trop tard dans le questionnaire. Si elles sont posées trop tôt, l’enquêteur n’aura pas eu le temps d’établir un rapport de confiance avec le répondant et celui-ci risque de mettre fin à l’entretien. À l’inverse, si elles sont posées trop tard, le répondant risque de rester sur une impression de malaise à l’issue de l’entretien.
• Faire appel à des enquêteurs que le répondant ne connaît pas personnellement, et envisager de choisir un enquêteur dont les caractéristiques démographiques (par exemple, le sexe ou l’âge) sont susceptibles de rassurer le répondant.
• Utiliser des méthodes d’interrogation indirecte ou des techniques ne relevant pas de l’enquête pour recueillir les informations recherchées. Il peut notamment s’agir de :
  • La méthode du comptage de réponses (exemples 1, 2) : Le groupe de répondants est divisé en deux sous-groupes qui reçoivent chacune une liste d’énoncés et doivent indiquer combien d’entre eux sont vrais. L’un des sous-groupes reçoit uniquement des questions non sensibles, tandis que l’autre reçoit les mêmes questions non sensibles, auxquelles s’ajoute une question sensible. On compare alors la proportion de oui/non obtenus dans les deux groupes pour connaître la part du groupe qui a répondu par l’affirmative à la question sensible.
  • La technique des réponses randomisées (exemple 1) Le répondant tire à pile ou face, puis répond « oui » s’il obtient pile et donne sa vraie réponse s’il obtient face. Les chercheurs savent que, parmi les personnes ayant répondu « oui », 50 points de pourcentage résultent du tirage aléatoire de la pièce ; le reste des réponses affirmatives donne une approximation de la proportion réelle de personnes qui répondraient « oui ».
  • Parmi les autres techniques possibles, citons les isoloirs, la méthode des préférences révélées ; les clients mystères (voir aussi ce résumé) ; les enquêteurs incognito, les marqueurs biologiques comme l’IMC ou les tests VIH ; les dispositifs mécaniques de localisation ; l’imagerie satellite ; les tests d’association implicite ; les expériences et les jeux en laboratoire ; et les contrôles aléatoires inopinés.
  • Cet article de 2013 publié sur le blog de la Banque mondiale présente trois articles qui utilisent certaines de ces techniques (le comptage de réponses, les expériences par approbation et les ajustements pour tenir compte de la réticence) pour obtenir des informations sensibles.

Pour plus d’informations sur les questions sensibles, voir également cette conférence de J-PAL Asie du Sud  et le wiki DIME de la Banque mondiale.

Questions sur des sujets que les gens ne connaissent pas bien 

Les répondants peuvent avoir des difficultés à répondre aux questions qui leur demandent de fournir des estimations, en particulier lorsqu’il s’agit d’estimations sur une longue période. Ils risquent alors de fournir des réponses erronées, soit parce qu’ils oublient certaines informations, soit parce qu’ils font des erreurs ou qu’ils ont un faible niveau de calcul. Il existe des stratégies pour minimiser ce type d’erreurs :

• Pour éviter les questions qui nécessitent de se souvenir d’informations trop anciennes, vous pouvez effectuer des enquêtes de suivi régulières, utiliser un journal ou procéder à des observations directes
• Intégrez des contrôles de cohérence à votre instrument, par exemple des messages d’erreur en cas de réponse logiquement impossible. Pour plus d'informations sur la programmation des enquêtes, voir la section dédiée dans ces ressources de recherche
• Triangulez les informations obtenues en procédant à plusieurs mesures d’un même indicateur

Voir également la conférence de la Banque mondiale sur les instruments d’enquête (DIME-Resources).

Questions d’observation

Les questions d’observation consistent pour l’enquêteur à déduire un certain nombre d’informations à propos du sujet en l’observant plutôt qu’en l’interrogeant directement. Elles permettent d’éviter les biais liés aux répondants et peuvent être un outil efficace pour assurer le suivi du programme, vérifier les biens que possèdent les ménages ou les éléments d’infrastructure dont dispose un établissement, et bien d’autres choses encore.

Ces questions présentent toutefois un inconvénient potentiel, en particulier lorsqu’il s’agit d’évaluer des comportements : l’existence possible d’un effet Hawthorne. En d’autres termes, il est possible que les sujets modifient leur comportement parce qu’ils ont conscience de la présence de l’enquêteur.

Conseils pratiques pour les questions d’observation :

• Mettez au point des protocoles détaillés et des check-lists standardisées afin de garantir la cohérence des informations recueillies.
• Veillez à ce que la collecte des données relatives aux mesures comportementales soit effectuée dans les mêmes circonstances pour tous les individus.
• Pour limiter l’effet Hawthorne (même si, dans le cadre d’une évaluation aléatoire, cet effet est probablement identique dans le groupe de traitement et le groupe témoin) :
  • Effectuez l’observation sur une période longue, car les données probantes suggèrent que les sujets reviennent assez rapidement à leur comportement d’origine (Das et al. 2008). Pour plus d’informations, et de nombreux conseils pratiques sur le travail d’observation, consultez l’article de blog de Laura Brown sur les études d’observation sur le terrain effectuées pour l’Université de Washington
  • Expliquez aux répondants les raisons de l’observation pour éviter qu’ils ne se sentent menacés
  • Triangulez les données d’observation avec d’autres sources

Formuler des questions efficaces

Chaque question doit être :

• Spécifique : Poser une seule question précise
• Mesurable : Quantifier des informations exactes et objectives
• Accessible (compréhensible) : Être facile à comprendre et clairement définie
• Pertinente : Mesurer un résultat clé ou intermédiaire de votre projet
• Délimitée dans le temps : Spécifier clairement la période concernée

Les questions peuvent être formulées de plusieurs façons :

• Questions ouvertes : Ces questions ne proposent pas d’options de réponse prédéfinies, de sorte que les personnes interrogées peuvent répondre comme elles l’entendent. Elles sont donc particulièrement utiles lorsqu’on manque d’informations sur les réponses possibles, et doivent être utilisées lorsqu’il n’est pas possible de collecter des données par le biais de questions pré-codées. Cependant, les questions ouvertes doivent malgré tout être codées pour pouvoir procéder à l’analyse des données, processus qui peut s’avérer long et complexe.
• Questions fermées : Ces questions comportent des réponses pré-codées, les répondants devant choisir parmi les options proposées. Ce type de question permet d’obtenir des informations précises et faciles à analyser, mais limite les options et les choix, ce qui risque de produire des données moins riches. Pour garantir l’exhaustivité des listes de réponses, veillez à y inclure systématiquement la mention « autre (préciser) » pour permettre à l’enquêteur de consigner les réponses qui ne correspondent pas aux codes proposés.
• Codage sur le terrain : À mi-chemin entre les questions ouvertes et les questions fermées, le codage sur le terrain est une technique qui consiste à laisser les personnes interrogées répondre librement à la question, suite à quoi l’enquêteur code la réponse fournie selon des catégories de réponse prédéfinies. Cette technique est particulièrement utile si l’on a des raisons de vouloir dissimuler les différentes options de réponse, et peut être utilisée pour quantifier les résultats d’une enquête qualitative, comme les échanges d’un groupe de discussion. Elle suppose toutefois que l’enquêteur ait les compétences nécessaires pour attribuer des codes aux réponses libres.

Formuler des réponses efficaces

Pour concevoir des options de réponse efficaces, il est nécessaire de mener des recherches documentaires et qualitatives. Veillez à ce que les réponses soient :

• Simples et claires
• Mutuellement exclusives
• Complètement exhaustives (en cas de doute, ajoutez un item « autre (précisez) »)
• Associées à un numéro de code attribué de manière cohérente pour l’ensemble des questions

Il est également possible d’utiliser des échelles de réponse, bien qu’elles soient toutes sujettes au biais de tendance centrale (c’est-à-dire la tendance à choisir l’option centrale de l’échelle de réponse). Parmi les différents types d’échelles de réponse, on peut notamment citer :

• Les échelles de Likert (tout à fait d’accord, d’accord, ni d’accord ni en désaccord, etc.)
• Les échelles de classement des réponses :
  • Les répondants doivent classer une liste d’options en les numérotant. Ce type d’échelle aide les répondants à établir des distinctions et des priorités et permet aux chercheurs d’appréhender les degrés d’importance. Cependant, elle suppose que les répondants aient une opinion différente de chacune des options proposées et qu’ils en sachent suffisamment sur chaque item pour pouvoir porter un jugement comparatif.
  • Classer des options prend du temps et demande un effort mental. En règle générale, il est donc préférable de limiter votre liste à moins de 7 options.

• On peut également utiliser des échelles de type numérique et des échelles de fréquence.

Modules et structure du questionnaire

Dans les grandes lignes, les questionnaires sont généralement structurés comme suit :

• Consentement : Dès lors que vous collectez des données sur des individus, que ce soit par le biais d’enquêtes, de photos, de vidéos ou d’enregistrements audio, il est indispensable de recueillir leur consentement éclairé. Le formulaire de consentement éclairé doit contenir toutes les informations utiles sur l’étude (personnel et coordonnées, objectif de l’étude, organisme, mesures prévues pour garantir le respect de la vie privée/l’anonymat, etc.). Pour plus d’informations, voir l’Evaluation Toolkit de J-PAL Amérique du Nord et la page du wiki DIME de la Banque mondiale.
• Les modules sont les composantes ou les sous-sections d’un questionnaire (par exemple, le formulaire de consentement, les questions démographiques, les questions sur la santé, etc.)
  • Pour chaque module, commencez par établir une liste d’indicateurs clés, avant de vous mettre d’accord avec votre équipe sur la pertinence des questions et sur les boucles à mettre en place (par exemple, le module s’applique-t-il à toutes les personnes interrogées ? Faut-il que tous les membres du ménage y répondent ? Doit-on fixer un nombre maximum de boucles ?).
  • Les questions portant sur un même thème doivent être regroupées pour former un module, ce qui permet de ménager des pauses naturelles dans le questionnaire et d’aider l’enquêteur et le répondant à suivre le fil des questions.
  • On recommande généralement de placer au début du questionnaire les questions qui abordent explicitement le sujet de l’enquête tel qu’il a été décrit au répondant dans le formulaire de consentement.
  • Incluez un texte d’introduction au début de chaque module pour guider le déroulement de l’entretien. Les lignes directrices de la page du wiki DIME de la Banque mondiale sur la conception des questionnaires donnent l’exemple suivant : « J'aimerais à présent vous poser quelques questions sur vos relations sociales. Je ne cherche pas à m’immiscer dans votre vie privée. Nous essayons simplement de comprendre comment faire en sorte que la vie des jeunes soit plus sûre et plus heureuse. Répondez le plus ouvertement possible, car pour que notre travail soit utile, il faut que nous puissions cerner la réalité de la vie des jeunes. N’oubliez pas que toutes vos réponses resteront strictement confidentielles. »
  • Intégrez des instructions destinées aux enquêteurs : doivent-ils lire les options de réponse à voix haute ? Si la personne interrogée ne répond pas, doivent-ils l’interroger davantage ? Incluez également les instructions spéciales qui s’appliquent à certaines sections, comme l’identité de la personne à interroger pour chaque module (par exemple, la personne en charge des finances du ménage pour un module sur les dépenses).

Agencer les questions au sein des modules

Dans la mesure du possible, les questions doivent être organisées selon les principes suivants :

• Des plus générales aux plus spécifiques
•  Des moins sensibles aux plus sensibles. Les premières questions doivent être faciles et agréables et doivent permettre d’établir une relation de confiance entre le répondant et l’enquêteur
• Des questions les plus factuelles aux questions sur les attitudes. Les questions objectives permettent d’établir le contact avant de passer aux questions qui dévoilent les croyances et les opinions de la personne interrogée

Pensez à utiliser des sauts de questions, surtout lorsque l’enquête est longue. Ces sauts permettent d’orienter le flux de questions de façon à ce que les personnes interrogées ne répondent qu’aux questions qui les concernent.

Une mauvaise configuration des sauts de questions peut générer deux types de problèmes :

• Les erreurs : Les individus se voient poser des questions qui ne les concernent pas et fournissent donc des informations incorrectes ou trompeuses
• Les omissions : Les individus n’ont pas l’occasion de répondre à des questions qui les concernaient pourtant

Les logiciels comme SurveyCTO permettent de coder facilement les sauts de questions dans les enquêtes. 

Documents complémentaires

Il peut également être utile de joindre les documents suivants au fascicule de l’enquête :

• Un manuel de l’enquêteur contenant des informations détaillées et les protocoles à respecter dans le cadre de l’enquête. Ce manuel doit inclure des instructions spécifiques à chaque question, des directives sur les bonnes pratiques à suivre et les erreurs à éviter, ainsi que des protocoles et des codes de conduite généraux. Voir cet exemple de manuel enquêteur d’IPA (et le document de formation associé).
  • Un résumé (ou « antisèche ») des instructions essentielles peut également s’avérer utile sur le terrain.
• Des supports supplémentaires, comme des cartes-réponses ou des supports visuels, peuvent faciliter la compréhension des participants et rendre l’enquête plus attrayante. Il peut s’agir par exemple d’images pour illustrer les échelles de Likert, ou de photos représentant des quantités locales de différents légumes ou céréales (par exemple, un seau de 5 litres, une petite/grande assiette, une petite/grosse botte, etc.)
• Des documents de suivi des répondants :
  • Une liste des répondants contenant suffisamment d’informations pour pouvoir les identifier correctement. Elle peut notamment inclure leur nom, le nom du village, le nom de l’école, le nom du père et de la mère, l’adresse, etc. Ces informations peuvent être collectées avant le début de l’enquête et être pré-remplies sur les tablettes ou imprimées sur le questionnaire papier pour vérification avant de débuter l’enquête.
  • Des fiches de suivi pour noter l’état d'avancement de l’enquête ainsi que l’identifiant unique du répondant. Elles permettent de savoir quelles enquêtes sont terminées et de noter pourquoi certaines d’entre elles ne le sont pas.

Conseils généraux pour la mise en forme des enquêtes

• Distinguez systématiquement les instructions de ce qui doit être lu à haute voix
  • Il est d’usage de faire précéder la question de la mention « LIRE » et de mettre les instructions en italique
• Par souci de cohérence et pour faciliter l’interprétation, il est essentiel que les enquêtes numériques soient verrouillées et ne puissent être ni modifiées, ni mises à jour par l’enquêteur. Toute modification doit être effectuée de manière centralisée et transmise à l’ensemble des personnes concernées. Il existe pour cela des programmes très utiles, tels que SurveyCTO.
• La taille de la police doit être assez grande pour permettre aux enquêteurs de lire le questionnaire sans difficulté, et les claviers doivent permettre une saisie rapide, facile et précise des données. 
• Utilisez des codes standardisés, tels que 1=oui, 0 ou 2=non ; 1=homme, 2=femme ; mais aussi des codes de non-réponse standardisés (par exemple les valeurs manquantes de Stata comme .d=don’t know, .r=refusal, .n=N/A). 

Enquêtes sur papier

La plupart des enquêtes sont désormais numériques¹ (pour en savoir plus sur les avantages et les inconvénients des deux formats d’enquête, voir la conférence de J-PAL Asie du Sud, le guide d’IPA ou le récent article de la Banque mondiale qui compare les enquêtes électroniques et les enquêtes papier). Cependant, si vous êtes amené à utiliser une enquête papier, gardez à l’esprit les bonnes pratiques suivantes :

• Le positionnement du texte et des réponses doit être cohérent tout au long du questionnaire et être organisé de manière à faciliter la lecture.
• Dans une enquête papier, il existe trois options principales pour noter les choix de réponses :
  • Un espace vide où l’enquêteur doit noter le code de réponse
  • L’enquêteur entoure le numéro correspondant à l’option choisie (méthode que nous recommandons, car elle permet de réduire les erreurs sur le terrain)
  • Un espace vide à côté de chaque code, l’enquêteur devant cocher le bon code (mais cette méthode peut être source d’erreurs, un coup de stylo fortuit pouvant être interprété comme une coche)
• Si une page est volontairement laissée vierge pour des raisons de présentation, il faut y faire figurer la mention « Cette page a volontairement été laissée vierge », pour signaler aux personnes qui consultent l’enquête que cette page vierge n’a pas été imprimée par erreur.
• Incluez un champ en haut de chaque page pour noter le numéro d’identification unique de l’enquête au cas où des pages de l’enquête se détacheraient.
• Pour la même raison, chaque page doit être numérotée.
• Incluez en bas de chaque page un champ « commentaires de l’enquêteur » où les enquêteurs pourront noter tout détail ou commentaire additionnel.
• Dans le questionnaire, les tableaux horizontaux qui s’étendent sur deux pages doivent être imprimés de manière à ce que la première page se trouve sur la page de gauche et la deuxième sur la page de droite. Lorsque le fascicule est ouvert, l’enquêteur peut ainsi lire l’ensemble du tableau sur les deux pages.
• Pour les réponses numériques, il est possible d’inclure des cases pour indiquer combien de chiffres la réponse est censée comporter. Par exemple, si vous savez que la réponse doit être un nombre à trois chiffres, utilisez |__|__|__| pour obliger l’enquêteur à noter trois chiffres.
• Lorsque vous mettez en forme les sauts de questions dans un document Word :
  • Adoptez une notation cohérente : on utilise généralement « -> » suivi de la référence de la question suivante à laquelle les enquêtés doivent répondre.
  • Veillez à ce que les instructions de saut de question apparaissent sur la même ligne que la réponse associée à ce saut.
• Il peut être utile d’instaurer une règle précisant qui doit utiliser quel type de stylo pour remplir le questionnaire. Par exemple, les enquêteurs peuvent utiliser un stylo à bille bleu, les agents chargés de la vérification un stylo vert et les superviseurs un stylo rouge.

In some scenarios, face-to-face interviews may be infeasible. While the principles behind phone survey design remain the same as for in-person interviews, here are a few additional crowd-sourced considerations in a blog post compiled by Kopper and Sautmann (2020) to make when adapting an existing instrument to phone surveying:

• Keep phone surveys short (30 minutes at most). Figure out your primary outcomes and be sure those are included. You may need to aggregate questions, including some outcomes. If your survey is especially long, consider breaking it up into multiple phone calls.
• To the extent possible, eliminate questions that are sensitive (for example questions about stress, mental health, sex, domestic violence, etc.),  as these are harder to administer over the phone. Simplify or eliminate questions that require a lot of probing.
  • If you do need to ask sensitive questions and the respondent is surrounded by other people, ask if they can be called back later when they are alone. 
• Create drop down menus for question responses where possible; even if they are long, doing so can reduce entry errors and minimize the time enumerators spend typing.

For more practical guidance on phone survey design, see J-PAL South Asia’s checklist for transitioning a survey to CATI and the phone survey protocols from the UBI Kenya project. For a larger overview of phone survey considerations and collection of resources, see J-PAL’s Best practices for conducting phone surveys blog post.

Traduire l’enquête dans la langue maternelle de vos répondants permet d’accélérer le processus d’enquête et de minimiser le risque d’erreurs de traduction sur le terrain. Voici quelques bonnes pratiques à adopter en la matière :

• Faites d’abord traduire l’enquête par quelqu’un qui parle couramment la langue concernée.
• Cette traduction devra ensuite être relue par un second traducteur indépendant qui parle aussi couramment la langue en question.
• Enfin, demandez à un traducteur indépendant de procéder à une rétro-traduction du texte. Idéalement, cette tâche doit être confiée à une personne qui ne connaît pas l’enquête ni la motivation des questions (à défaut, le personnel de terrain qui n’a pas participé à la traduction originale peut se charger de la rétro-traduction). Si l’on constate des divergences entre les deux textes, on demandera à un autre traducteur de trancher.
• Déterminez comment résoudre les divergences observées.

Si vous devez traduire une enquête, il est particulièrement important de :

• Traduire les formulaires de consentement éclairé.
• Utiliser des termes simples et courants plutôt qu’un langage formel, en particulier dans les pays où il existe un écart important entre le langage courant et le langage formel.
• Savoir (en demandant à un locuteur natif) quand employer les termes techniques dans la langue locale ou en anglais (ou en français, ou dans une autre langue). En effet, il est possible que certains termes soient rarement utilisés dans la langue locale et que les répondants les connaissent donc mieux en anglais, en français, ou autre.
• Il arrive souvent que des erreurs soient repérées au cours de la formation des enquêteurs, car c’est un moment où l’enquête est lue attentivement par un grand nombre de personnes. Un superviseur doit donc suivre attentivement les discussions et être chargé de vérifier la traduction tout au long de la formation.
  • Il est également utile d’utiliser des versions papier des enquêtes lors de la formation des enquêteurs, de manière à pouvoir comparer plus facilement les différentes versions et noter des remarques sur la traduction dans la marge.

Ne sous-estimez pas le temps nécessaire pour obtenir une traduction de qualité, et veillez à faire appel à un traducteur professionnel : il ne suffit pas de maîtriser les deux langues pour être capable de produire une bonne traduction. Si la traduction est effectuée par le personnel de terrain plutôt que par un traducteur professionnel, il est recommandé de procéder à une traduction collaborative, plusieurs personnes cherchant ensemble la traduction la plus adaptée et la plus compréhensible pour des mots et des concepts donnés. Pour les enquêtes techniques, il est préférable de faire appel à une personne qui possède également des connaissances dans le domaine concerné.

L’enquête doit aussi être disponible en anglais. La plupart des logiciels d’enquête permettent d’utiliser plusieurs langues, les utilisateurs sélectionnant la langue de leur choix au début de chaque enquête. Voir également la page du wiki DIME sur la traduction.

Effectuer un pré-test du projet d’enquête

Une fois que vous disposez d’une version préliminaire de l’enquête, à la fois en anglais et dans les langues locales concernées, vous devez :

• Faire appel, au sein de votre équipe, à des collaborateurs qui connaissent bien le contexte cible et les langues locales pour vérifier la pertinence et la logique de cette version préliminaire.
  • Demandez aux personnes chargées de collecter les données (et aux autres membres de l’équipe qui connaissent bien le contexte local) si les données que vous prévoyez de collecter leur semblent adaptées à l’usage que vous voulez en faire.
• Veiller à ce que les traductions éventuelles soient relues par plusieurs personnes et faire appel à un autre traducteur indépendant pour effectuer une rétro-traduction. 
• Piloter le questionnaire de manière approfondie.

Documenter et communiquer

Il est essentiel de documenter toutes les modifications apportées à l’enquête, de préciser la façon dont les questions doivent être interprétées, et de communiquer l’ensemble de ces informations aux parties concernées. Choisissez un outil d’enquête facile à actualiser (SurveyCTO, par exemple, offre de bonnes fonctionnalités de contrôle de versions) et fournissez des instructions complètes pour l’utilisation et l’interprétation de l’instrument

Dernière mise à jour en février 2021.

These resources are a collaborative effort. If you notice a bug or have a suggestion for additional content, please fill out this form.