Pilotage du questionnaire

Le processus de pilotage commence dès lors que vous disposez d’une première ébauche de votre questionnaire (voir également les ressources sur la mesure et la conception de l’enquête), et se termine lorsque vous disposez d’un questionnaire final traduit. Il s’agit d’un processus itératif qui comporte trois phases principales (personnel et membres affiliés de J-PAL : pour plus d’informations, voir la présentation de J-PAL Asie du Sud sur les bonnes pratiques en matière de pilotage) :

Les instruments d’enquête qui sont complètement nouveaux doivent passer par chacune de ces trois étapes. En revanche, si l’instrument est une adaptation d’un questionnaire bien conçu, provenant d’une source fiable dans le pays où va se dérouler l’enquête, les étapes 2 et 3 peuvent suffire. Enfin, pour les enquêtes de suivi ne présentant aucun changement majeur par rapport à l’enquête initiale, on peut se contenter de la phase 3. Généralement, le processus complet de pilotage en trois étapes doit commencer 4 à 6 mois avant le lancement de l’enquête. 

Phase 1: Élaboration du questionnaire préliminaire

Cette étape nécessite une forte implication de la part des chercheurs et de l’assistant de recherche. Elle est traitée plus en détail dans la ressource relative à la conception de l’enquête. À l’issue de cette phase, vous devez disposer d’un projet de questionnaire papier en anglais et dans la (ou les) langue(s) locale(s).

Phase 2: Pilotage structuré sur le terrain

Cette étape est principalement assurée par les membres senior du personnel de terrain, éventuellement assistés d’un ou deux enquêteurs supplémentaires, et doit avoir lieu avant la formation des enquêteurs. À ce stade, vous devez disposer d’un projet de questionnaire complet et avoir une idée précise des questions que vous prévoyez de poser. Le questionnaire doit avoir été traduit afin que la version qui sera utilisée sur le terrain soit prête pour le pré-test. Le personnel de recherche doit accompagner l’équipe de terrain pour veiller à ce que tout défaut de l’instrument soit systématiquement détecté et corrigé. À ce stade, il est recommandé d’effectuer les tests sur des questionnaires papier, et ce même si l’enquête finale se fait au format numérique, car il est plus facile de prendre des notes et d’écrire des suggestions sur papier. Pour en savoir plus, voir le guide sur le pilotage des enquêtes du wiki DIME. 

La mise en œuvre de la phase 2 comporte trois volets :

1. Préparation préalable au pilote

• Où et qui ?
  • Identifiez une population et un lieu similaires à ceux qui serviront de base à votre étude, mais sans utiliser votre véritable zone d’étude.
  • Si l’échantillon réel comporte différents sous-groupes (par exemple, des hommes et des femmes, des personnes plus ou moins instruites), veillez à inclure ces mêmes groupes dans le pilote.
• Quand ? Prévoyez le temps nécessaire pour les démarches suivantes :
  • L’obtention des autorisations requises pour le projet pilote, notamment auprès des autorités nationales/locales compétentes ou des dirigeants locaux. Le personnel de terrain pourra sans doute vous renseigner sur les autorisations nécessaires dans la région.
  • La soumission des amendements nécessaires à l’IRB pour faire approuver la version finale du questionnaire.
    • La demande initiale peut contenir une clause stipulant que des modifications mineures peuvent être apportées au questionnaire (pour permettre de petites révisions, notamment des reformulations), mais que toute modification plus importante doit faire l’objet d’une nouvelle soumission.
  • La révision du questionnaire et l’élaboration des protocoles de terrain sur la base du projet pilote, en vue de la formation du personnel. Cela peut prendre plusieurs semaines, selon la longueur et la complexité du questionnaire, et selon que les questions ont déjà été testées ou non (par exemple lors de l’enquête initiale ou dans le cadre d’une autre enquête). 
• Comment ?
  • Comme pour une enquête complète, vous devez avoir établi un plan de travail sur le terrain avant de lancer la phase 2 de votre pilote. 
  • Formez le personnel clé au questionnaire et créez une check-list de pilotage pour recueillir leurs commentaires (voir les exemples de fiches de suivi et de retour d’information ci-dessous). En général, il est préférable que cette liste soit établie sur papier afin de faciliter la prise de notes. À la fin de la formation, les enquêteurs doivent être familiarisés avec l'instrument et les objectifs du projet pilote.
  • Prévoyez au moins une journée entre la formation et le projet pilote pour que le personnel de terrain puisse vous faire part de ses commentaires sur les points suivants suite à la formation :
    • Les questions et les options de réponse, y compris leur traduction, leur formulation, leur ordre, leur pertinence, leur exhaustivité, les options manquantes, les sauts de questions et toute clarification supplémentaire jugée nécessaire (par exemple, est-ce que la personne interrogée arrive à interpréter les questions et à y répondre correctement).
    • La longueur du questionnaire, sa mise en forme, sa structure et son enchaînement général.
    • Le choix du répondant
    • La clarté et la précision des instructions
    • La faisabilité globale du questionnaire (notamment sa longueur, les réalités du terrain qui ne cadrent pas avec les hypothèses, les autorisations, la disponibilité des répondants, les stratégies de remplacement, etc.).
  • Assurez-vous d’avoir pris en compte tous les aspects logistiques (fournitures de bureau, questionnaires imprimés, transports, autorisations nécessaires, recrutement de personnel supplémentaire sur le terrain, indemnités journalières, etc.). Cette logistique se fera à plus petite échelle que lors de la mise en œuvre complète, mais les mêmes éléments doivent être pris en compte. Voir la ressource sur la logistique des enquêtes.

2. Pendant le pilote

• Chaque enquêteur doit se rendre sur le terrain avec un formulaire permettant de consigner les métadonnées de l’enquête pilote (date et heure de l’enquête, durée de l’enquête et type de répondant). Cela permet aux enquêteurs de garder une trace des enquêtes qu’ils ont réalisées, mais aussi de noter l’identité des personnes avec lesquelles ils se sont entretenus, ainsi que toute réflexion générale sur l’enquête. Ce formulaire leur indique le type de questions qu’ils doivent se poser et dont ils doivent noter les réponses de manière systématique. Voir l’onglet métadonnées de l’exemple de fiche d’enregistrement de J-PAL (.xls en téléchargement direct)
• Le format de cette enquête doit être différent de celui d’une enquête papier classique : le formulaire doit demander explicitement à l’enquêteur de fournir des informations sur tous les aspects pertinents de la question. Vous en trouverez un exemple dans le modèle de fiche d’enregistrement (.xls en téléchargement direct), dans l’onglet question par question.
• Assurez-vous que le personnel de terrain lit bien les questions telles qu’elles sont écrites et ne se livre pas à ses propres conjectures.
• Trouvez des répondants qui acceptent de répondre aux questions du pilote puis de vous faire part de leurs commentaires sur ces questions et l’ensemble du processus ; autrement dit, quelqu’un qui a suffisamment de temps et d’énergie pour s’impliquer véritablement.
• Réalisez le pré-test en binôme, de façon à ce qu’une personne puisse dialoguer avec le répondant pendant que l’autre observe et prend des notes.
• Prenez des notes, en particulier à chaque fois :
  • Qu’il est nécessaire de poser une question complémentaire
  • Qu’il est nécessaire de reformuler la question
• Prévoyez le temps nécessaire au pilotage et aux échanges entre l’équipe de terrain et les chercheurs.
• Les assistants de recherche doivent observer les entretiens pilotes, et ce même s’ils ne parlent pas la langue utilisée, car ils peuvent obtenir des informations précieuses sur le déroulement de l’enquête en observant le relationnel, le langage corporel, les pauses, etc. 

3. Retour d’information suite à l’essai pilote

• Organisez une séance de débriefing détaillée le plus tôt possible après l’essai pilote, en passant en revue chaque question et en demandant l’avis de toutes les personnes impliquées. Veillez à ce que quelqu’un prenne des notes détaillées.
• Révisez le questionnaire dès que possible suite à ce retour d’information. Soyez attentifs au contrôle de versions et veillez à nommer chaque version de manière appropriée (en utilisant la date de finalisation de cette version du document plutôt que d’apposer les initiales de l’auteur ou autre).
• Documentez systématiquement les notes prises pendant la phase de pilotage afin de pouvoir en discuter ultérieurement avec les chercheurs principaux. Ces notes sont également une source d’information précieuse si l’équipe a besoin de revenir sur les raisons qui ont conduit à formuler une question d’une manière plutôt qu’une autre. Voir l’exemple de notes dans le tableau 1 ci-dessous. 
• Commencez par tester les questionnaires papier, mais veillez également à tester la méthode numérique de collecte de données que vous prévoyez d’utiliser avant de passer à la phase 3. Vous trouverez plus d’informations à ce sujet ci-dessous.

Phase 3: Test de mise en œuvre à grande échelle sur le terrain (ou « faux lancement »)

Vous devez disposer d’un questionnaire complet et définitif programmé dans le logiciel que vous prévoyez d’utiliser pour votre enquête complète. Les objectifs de cette phase finale sont les suivants :

• Tester les protocoles de terrain, y compris la fonctionnalité des GPS et le transfert des données des appareils vers le serveur.
• Former les enquêteurs à l’instrument et à l’objectif général de la collecte de données.
  • Commencez par leur présenter l’instrument sur papier pour qu’ils puissent se concentrer sur la compréhension des questions, puis passez à la version numérique.
  • Proposez ensuite aux enquêteurs des entraînements en binôme, des simulations d’entretiens, etc.
• S’exercer à la mise en œuvre de l’enquête (vous pouvez par exemple demander aux enquêteurs de mener un entretien, d’appeler le responsable de terrain pour signaler un problème, de transférer les données vers le serveur, etc.). Concentrez-vous sur les enquêteurs et sur leur expérience de la conduite d’un entretien.
• Évaluer la durée de l’ensemble du processus d’enquête. 
• Tester et améliorer l’efficacité de l’enquête (par exemple, y a-t-il des façons plus rapides de poser certaines questions ou d’avancer dans les modules ?).
• Tester et améliorer la coordination entre les membres du personnel de terrain (par exemple, demander aux enquêteurs d’appeler les agents responsables du suivi sur le terrain pour demander des précisions sur une question, etc.).
• Obtenir des retours d’information sur les points d’amélioration potentielle de la mise en œuvre.

Voir aussi les lignes directrices de la Banque mondiale sur les enquêtes et les protocoles de terrain à tester, qui concernent notamment les périodes de disponibilité des répondants, les infrastructures (par exemple, l’électricité et l’accès à Internet), les protocoles d’échantillonnage et la stratégie de remplacement, ainsi que la collecte de données géospatiales.

Collecte de données numérique

Pendant la phase de pilotage de la collecte de données numérique, il faut également :

• Vous assurer que les appareils électroniques fonctionnent et vérifier la durée de vie de leur batterie.
• Former le personnel chargé du pré-test à la méthode de collecte de données numérique que vous avez choisie.
• Vérifier que l’interface fonctionne.
• Vérifier que le logiciel fonctionne et qu'il n’y a pas de bugs ; tout dysfonctionnement doit être enregistré et signalé.
• Tester les processus de validation des données et les contraintes.
• Tester les sauts de questions.

Ces vérifications s’effectuent généralement par le biais de trois types de tests différents :

• Essai au banc : Test de l’enquête au sein des bureaux, impliquant généralement 3 à 6 enquêteurs.
• Test des appareils : Test approfondi des appareils, y compris avec des scénarios extrêmes.
• Test du flux de données : Vérification du flux de données depuis l’exportation hors de l’appareil jusqu’au nettoyage et à la fusion. 
  • Ce test est généralement effectué en même temps que l’essai au banc.
  • N’oubliez pas d’examiner votre jeu de données sous Stata/R (pour plus d’informations, voir la ressource sur les contrôles de la qualité des données).

Vous trouverez davantage d’informations dans la ressource sur la programmation des enquêtes. Si vous faites appel à un organisme d’enquête extérieur, celui-ci doit idéalement participer à cette phase (voir la ressource Travailler avec un organisme d’enquête extérieur).

Collecte de données sur papier

Bien que la plupart des collectes de données se fassent désormais sous forme numérique, il peut arriver que vous deviez utiliser des enquêtes papier. Dans ce cas, assurez-vous que :

• Les instructions données aux enquêteurs sont claires, car vous ne pourrez pas pré-programmer les sauts ou les vérifications logiques.
• Votre questionnaire papier définitif a été largement testé sur le terrain.
• Le logiciel de saisie des données a été testé avant le lancement complet afin de repérer les liaisons de données manquantes ou les révisions à apporter aux masques de saisie des données.
• Votre phase de pilotage inclut une analyse minutieuse des données saisies pour s’assurer que les sauts de questions, etc. sont bien compris.

Collecte de données par téléphone

Pour une liste des bonnes pratiques en matière d’enquête par téléphone, veuillez consulter cet article de blog. De plus amples informations seront bientôt disponibles.

Dernière modification : juin 2020.

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.