Research Resources

Ressources pour les chercheurs qui débutent dans l’évaluation aléatoire

Summary

Cette ressource propose une brève introduction à la recherche sur le terrain, fruit de nombreuses années d’expérience en matière de mise en œuvre. Elle s’adresse plus particulièrement aux nouveaux Chercheurs Principaux (ou « PI »), notamment les étudiants de deuxième et troisième cycle et les post-doctorants, mais elle peut également être utile aux chercheurs et au personnel de recherche plus expérimentés. Bien que cette ressource porte essentiellement sur les travaux de recherche effectués au sein de J-PAL, les grandes recommandations qui y sont formulées s’appliquent également, de manière plus générale, aux projets mis en œuvre en dehors du réseau J-PAL.

Le cycle de vie d’un projet

Le cycle de vie d’un projet peut se diviser en quatre phases : la phase de démarrage, la planification, la mise en œuvre et la phase finale. Les principales tâches à effectuer à chacune de ces étapes sont présentées dans le diagramme ci-dessous.

Project life cycle image
Adapté d’une présentation J-PAL sur le cycle de vie des projets effectuée dans le cadre d’une formation du personnel de recherche, Tithee Mukhopadyay, 2018.

À ces différentes tâches correspondent un certain nombre d’obligations minimales et de bonnes pratiques, définies dans nos protocoles de recherche, qui visent à garantir l’éthique de la recherche ainsi que la sécurité et la qualité des données. 1 Tous les projets financés ou menés par J-PAL doivent respecter ces lignes directrices..

Travailler avec J-PAL

Financement : Si vous recevez un financement dans le cadre d’une initiative de J-PAL, c’est le service financier de J-PAL Global ou le personnel régional de l’initiative concernée qui sera votre interlocuteur principal pour les échéances liées au financement ainsi que pour les livrables du projet, comme l’avis favorable initial de l’IRB. Le respect par les chercheurs principaux des conditions relatives aux financements aide J-PAL à honorer ses obligations vis-à-vis de ses propres bailleurs de fonds et de ses universités partenaires.

Mise en œuvre sur le terrain : Les chercheurs principaux peuvent collaborer avec les bureaux régionaux de J-PAL pour mettre en œuvre des projets sur le terrain. Chaque bureau est un centre de recherche rattaché à une université. L’ensemble du personnel de recherche est intégré à la structure hiérarchique de J-PAL (des assistants de recherche aux chefs de projet, en passant par les directeurs associés et le directeur exécutif). Il est soumis à la politique de l’université partenaire en matière de ressources humaines (vacances, jours fériés, échelle de rémunération, temps de travail, etc.). Un projet emploie généralement un ou plusieurs assistant(s) de recherche (RA) et RA senior, ainsi qu’un chef de projet (RM), qui partage souvent son temps entre plusieurs projets. Ce sont les bureaux régionaux qui mettent à disposition les ressources communes, tels que les locaux, les tablettes utilisées pour les enquêtes ou encore les coordinateurs financiers qui aident les chercheurs à gérer les fonds des différents projets. Le personnel des services politiques et de formation peut également apporter son soutien à la mise en place de partenariats et au renforcement des capacités. Tous les besoins du projet doivent être abordés avec le bureau régional et intégrés dans le budget.

Soutien de J-PAL aux (nouveaux) chercheurs principaux : Adressez-vous à votre bureau régional pour savoir ce que J-PAL peut vous proposer exactement.

  • J-PAL organise régulièrement des formations pour les nouveaux membres du personnel de recherche, dont les chercheurs principaux peuvent réutiliser les présentations, les exercices et autres supports. De nombreuses autres ressources ont été élaborées au fil du temps, notamment des modules d’enquête préprogrammés et des guides, par exemple sur la désidentification des données. Beaucoup sont disponibles sur notre site Internet ou sur notre Google Drive interne destiné aux chercheurs principaux (voir la page Informations pour les chercheurs affiliés).
  • Les bureaux de J-PAL ont de nombreux partenariats politiques et gouvernementaux déjà en place, ce qui peut permettre aux chercheurs d’accéder à un certain nombre de données administratives ou de mettre en place des collaborations pour mener leurs évaluations d’impact. Les bureaux peuvent mettre les chercheurs principaux en contact avec des chercheurs universitaires locaux ainsi qu’avec divers spécialistes (traducteurs, programmeurs, vidéastes, etc.).
  • Plusieurs bureaux régionaux peuvent se charger de soumettre les dossiers de demande d’avis à l’IRB au nom du chercheur principal et de gérer les autorisations et les contrats avec les fournisseurs ou les partenaires locaux, notamment les accords d’utilisation des données, les sous-subventions ou la sous-traitance des activités d’enquête.
  • Les chercheurs principaux peuvent bénéficier des conseils d’un personnel de recherche expérimenté (notamment du directeur adjoint de la recherche ou du directeur de la recherche, de l’éducation et de la formation). 

Pour plus d’informations sur la politique de J-PAL en faveur de ses membres affiliés et les services essentiels qu’il met à leur disposition, veuillez consulter notre page Informations pour les chercheurs affiliés.

Tâches prioritaires

Les chercheurs principaux doivent toujours garder à l’esprit un certain nombre de tâches prioritaires qui, en cas de problème, peuvent mettre en péril des mois de travail. Parmi les risques encourus, citons notamment la perte de données, le fait de se voir retirer l’autorisation de mener une enquête, de ne pas pouvoir mettre en œuvre le traitement, de se mettre un partenaire à dos, de se voir retirer un financement, etc. Dans les équipes qui comptent plusieurs chercheurs principaux, il peut être intéressant de désigner, pour chaque tâche clé, un chercheur principal qui sera chargé de l’approuver. Cette répartition des responsabilités doit être communiquée à l’équipe de recherche. Si le personnel de recherche de J-PAL peut apporter son soutien aux chercheurs, notamment en ce qui concerne le respect des réglementations locales, la responsabilité finale revient aux chercheurs principaux.

  Quelles tâches et pourquoi ? Quels risques potentiels ?
Financement et budget
  • Les projets doivent respecter les limites du budget, même si certains facteurs comme la fluctuation des taux de change peuvent modifier le montant des subventions versées.
  • Les chercheurs principaux sont chargés de respecter les délais de soumission des rapports et de terminer le projet pendant la période couverte par la subvention.
  • Les chercheurs principaux doivent vérifier régulièrement que les prévisions budgétaires sont respectées et surveiller les flux de trésorerie.

Les coordinateurs financiers de J-PAL peuvent apporter leur soutien et envoyer des rappels, mais c’est le chercheur principal qui est responsable en dernier ressort.
  • Les donateurs peuvent suspendre ou révoquer le versement de certaines tranches de subvention si les conditions d’octroi ne sont pas respectées.
  • Les fonds restants d’une subvention peuvent être perdus si la date limite initialement prévue pour le projet est atteinte et qu’aucune demande d’extension sans frais n’a été déposée.
  • Si l’on s’appuie sur des hypothèses erronées en matière de taux de change, de durée d’enquête ou de coût de l’intervention, la taille de l’échantillon et la puissance statistique risquent de s’en trouver réduites.
  • Des problèmes de liquidité peuvent avoir un impact sur les échéances majeures du projet.
Respect de la législation
  • Des réglementations locales relatives à la collecte de données, à la protection des sujets de la recherche ou au partage de données au-delà des frontières peuvent s’appliquer (comme le RGPD en Europe).
  • Les projets doivent respecter la réglementation en matière de visas et de droits de douane, le droit fiscal et le droit du travail, les lois sur la consommation de stupéfiants, les règles de passation des marchés publics (en particulier pour les projets menés avec le gouvernement) ainsi que tout contrat contraignant.
  • Les procédures d’autorisation officielles (et parfois informelles, reposant sur les us et coutumes) doivent être respectées.
  • Le non-respect des lois locales peut mettre en danger les participants et le personnel. Le non-respect des accords de confidentialité, par exemple, peut entraîner l’arrêt de la collecte de données ou être sanctionné par une amende.
  • Les peines encourues localement sont parfois plus sévères que dans le pays d’origine du chercheur principal. Les non-résidents peuvent se voir contraints de quitter le pays.
Le non-respect de la législation peut mettre en péril plusieurs projets ainsi que des partenariats essentiels de J-PAL.
Éthique, consentement et respect des procédures de l’IRB
  • Tous les projets doivent avoir reçu l’approbation d’un IRB pour leur dernier protocole de recherche (avant le début de la collecte de données).
  • Toute collecte de données nécessite d’obtenir le consentement éclairé des participants (avant le début de l’enquête individuelle).
  • Les chercheurs doivent protéger la vie privée des participants et leurs données personnelles en procédant au chiffrement et à la désidentification des données (dès qu'elles sont traitées)..
  • Les chercheurs principaux doivent mettre en place des procédures pour faire face aux éventuels événements indésirables notamment en matière de sécurité et de santé mentale/physique , pour le personnel de recherche, les enquêteurs et les participants (avant la collecte des données).
  • Une gestion négligente des données ou l’absence de prise en compte des événements indésirables potentiels peuvent faire courir de graves risques aux sujets de la recherche. Elles peuvent, à tout le moins, fausser les réponses des participants aux enquêtes ou générer de l’attrition au sein de l’échantillon.
  • En cas de violation, les IRB peuvent imposer des mesures correctives (telles que la destruction de données collectées sans consentement, ou le recueil du témoignage des participants). Aux États-Unis, les chercheurs peuvent se voir interdire l’accès aux financements fédéraux.
Si les chercheurs principaux ne mettent pas tout en œuvre pour protéger les sujets et le personnel, ils mettent en danger les projets en cours et à venir.
Randomisation et assignation du traitement
  • Le personnel chargé de la mise en œuvre à tous les niveaux doit être formé à la nécessité de respecter l’assignation du traitement et d’éviter les effets de diffusion.
  • Tout code de randomisation doit être entièrement reproductible (par exemple, fixer une valeur initiale en utilisant la fonction « seed » dans Stata et utiliser un tri stable pour que le code de sortie soit déterministe).
  • Vérifier à plusieurs reprises le résultat de la randomisation pour s’assurer qu’il est équilibré et que la stratification est correcte.
  • Contrôler la mise en œuvre du traitement en utilisant des données administratives et des données d’enquête dès le début de l'expérimentation et, le cas échéant, apporter les corrections nécessaires.
  • Le non-respect de l’assignation du traitement ou des règles de mise en œuvre réduit la puissance statistique et peut générer des effets de diffusion qui vont biaiser l’estimation de l’effet du traitement.
  • Si le code de randomisation comporte des erreurs, cela peut déséquilibrer l’assignation du traitement, voire être à l’origine de traitements manquants.
  • Lors de la phase de mise en œuvre, des déviations systématiques par rapport au statut de traitement assigné aléatoirement peuvent introduire des biais.
Conception des enquêtes, traduction et programmation
  • Effectuez un projet pilote pour tester minutieusement la formulation des questions de l’enquête, sa durée et les options à choix multiples. Assurez-vous que les principales variables de résultat et la mise en œuvre du traitement sont bien mesurées.
  • Effectuez des rétro-traductions pour vérifier l’exactitude des textes traduits.
  • Testez les questionnaires sur des sujets extérieurs à l’étude afin de vérifier les sauts de questions et la fluidité du questionnaire, et de vous assurer que les données sont correctement sauvegardées.
  • Organisez des formations initiales et de perfectionnement pour les enquêteurs afin de leur préciser ce qu’ils peuvent ou ne peuvent pas dire pour aider les participants à interpréter les questions.
Chaque module de l’enquête définitive doit être approuvé par un chercheur principal.
  • La lassitude des répondants, les questions formulées de façon ambiguë, les erreurs de traduction ou l’omission de certaines options dans les questions à choix multiples sont autant d’éléments qui risquent d’entraîner des erreurs de mesure et de saisie des données, ainsi que des données manquantes.
  • Les erreurs de programmation et les modifications apportées au code de l’enquête après le début de celle-ci peuvent entraîner d’importantes pertes de données.
  • La présence d’effets enquêteurs très marqués risque d’accentuer le bruit des données et d’invalider les calculs de puissance, voire de rendre les données inutilisables.
Contrôles à haute fréquence et back checks pendant la collecte des données
  • Effectuez des contrôles à mesure que les données vous parviennent : les statistiques sommaires semblent-elles cohérentes ? Combien y a-t-il de points de données manquants ? Toutes les options des questions à choix multiples ont-elles été utilisées ? Y a-t-il des divergences importantes entre enquêteurs ou équipes d’enquêteurs ?
  • Vérifiez les données très régulièrement et procédez à des contre-vérifications aléatoires, ou back checks , auprès des enquêteurs (et du personnel de l’intervention, le cas échéant).
Les chercheurs principaux doivent planifier les opérations de contrôle de la qualité des données avant le début de l’enquête et prévoir le temps nécessaire à leur réalisation par le personnel.
  • Si les dysfonctionnements ne sont pas détectés à temps, des problèmes de données (voir ci-dessus) peuvent survenir tout au long de l’enquête. Attendre que l’enquête ait commencé pour programmer les opérations de contrôle des données ou pour mettre en place les procédures de back check risque de faire perdre un temps précieux.
  • Le personnel chargé de l’enquête peut commettre des erreurs (systématiques), voire, dans de rares cas, falsifier les données, ce qui peut donner lieu à des données manquantes ou, dans le pire des cas, à des biais et des erreurs non détectés dans les données.

Gérer un projet

Quelques principes et conseils simples permettent d’éviter les erreurs et de garantir le bon déroulement des projets.

Gestion du calendrier : La mise en place d’un calendrier partagé dédié au projet vous évitera d’oublier les réunions d’équipe et les échéances importantes, telles que le gel du code de l’enquête, la formation des enquêteurs, les visites sur le terrain des chercheurs principaux et les échéances en matière de subventions. Prévoyez une marge de sécurité pour les délais de traitement de l’IRB et l’obtention de l’approbation des partenaires ou du gouvernement. Il peut également être utile d’inclure dans votre calendrier les jours fériés, les déplacements ou encore les phases de formation et d’intégration des membres de l’équipe. 

Communication : Planifiez au moins une réunion d’équipe d’une heure par semaine. Au cours de ces appels, les assistants de recherche doivent avoir pour instruction de documenter soigneusement toutes les décisions pertinentes, tous les problèmes, etc. à mesure qu’ils surviennent. Un document d’ordre du jour joint à l’invitation du calendrier, prenant la forme d’un Google Doc ou d’un document Dropbox partagé en haut duquel figure toujours le compte-rendu de la dernière réunion, servira à consigner les discussions et les décisions. Mettez-vous d’accord sur un seul moyen de communication « permanent » (généralement les e-mails) pour les communications importantes, comme celles qui relèvent de la délégation des tâches, et sur une seule messagerie instantanée, par exemple Slack. Il peut être utile de définir une règle commune pour tous les membres de l’équipe, qui consistera par exemple à répondre dans un délai maximum de deux jours ouvrés. Évitez d’envoyer des messages WhatsApp ou des SMS depuis des téléphones personnels afin de ne pas perdre d’informations relatives au projet lorsque des membres du personnel quittent l’équipe.

Visites sur le terrain : Bien qu’un grand nombre de tâches puissent être accomplies à distance, certains moments essentiels nécessitent néanmoins d’être présent sur le terrain. Il est important que les chercheurs principaux puissent rencontrer les partenaires clés en personne. En outre, le meilleur moyen de savoir si l’enchaînement général d’une enquête et ses modules individuels fonctionnent comme prévu est d’accompagner une équipe d’enquêteurs lors de visites pilotes. La période qui précède le début de l’enquête, y compris les derniers essais pilotes et la formation des enquêteurs, est extrêmement précieuse pour repérer d’éventuelles erreurs et motiver les équipes de recherche et de terrain.

Compétences de l’équipe de recherche : Les chercheurs principaux sont responsables du recrutement, de la formation et de l’évaluation des membres de l’équipe de recherche. Recruter la bonne personne peut s’avérer être la contribution la plus importante à la réussite d’un projet de recherche. Le meilleur moyen pour les équipes de recherche de se former aux bonnes pratiques (en apprenant par exemple à structurer une équipe de terrain) est d’observer ce qui se fait dans d’autres projets ou de s’appuyer sur l’expérience d’un personnel de recherche chevronné. Tout nouveau membre d’une équipe de recherche doit participer à la semaine de formation du personnel de recherche de J-PAL/IPA et être formé par un membre plus expérimenté de l’équipe. Pour toute nouvelle tâche, planifiez explicitement des activités de perfectionnement professionnel pour les membres de l’équipe, comme assister à la formation des enquêteurs d’un autre projet ou regarder la conférence en ligne « Power and sample size » tirée de la formation J-PAL 101x

Relations avec les partenaires : Prévoyez des réunions régulières avec les partenaires de mise en œuvre pour faire le point sur le projet, ainsi que des discussions plus approfondies afin de leur faire comprendre l’importance de la randomisation et du respect de l’assignation du traitement, mais aussi de dissiper toute inquiétude (d’ordre éthique, financier, logistique...). Le fait que les chercheurs principaux participent aux réunions importantes et informent personnellement les partenaires des grandes étapes du projet renforce la confiance et l’engagement de ces derniers.

Encadrer les membres juniors de l’équipe de recherche

Diriger une équipe de terrain est peut-être l’une des tâches les plus complexes que vous ayez eues à accomplir : les chercheurs principaux travaillent souvent à distance et sur un autre fuseau horaire, il peut y avoir des barrières linguistiques et des problèmes de connexion, et les ressources des projets sont souvent limitées. En outre, le niveau de stress peut être élevé, en particulier pendant les phases cruciales du projet. Nous ne donnons ici qu’un aperçu partiel de certains des éléments dont il faut tenir compte.

Motivation et priorités : Les chercheurs principaux délèguent de nombreux aspects essentiels de la mise en œuvre de leur projet de recherche à des collaborateurs juniors, qui ont souvent très peu d’expérience. Prendre le temps de bien expliquer la logique du protocole de recherche et du modèle économique sous-jacent, ainsi que les raisons pour lesquelles des changements y seront apportés ultérieurement, notamment après la phase pilote, aide l’équipe à comprendre l’importance de ce qu’elle fait et à identifier les points essentiels. Pour l'aider le personnel à focaliser ses efforts, il peut aussi être utile de passer en revue ensemble la liste des tâches prioritaires mentionnée plus haut. Notons enfin que l’attitude du chercheur principal vis-à-vis de l’IRB et du respect de la législation a une influence directe sur le sentiment de responsabilité du personnel de recherche. 

Délégation : Les membres du personnel n’osent pas toujours avouer qu’ils n'ont pas entendu ou pas compris une tâche, ou bien qu’ils n'en voient pas l’utilité. Pour les tâches importantes, il peut être utile de laisser le membre de l’équipe décrire au chercheur principal, avec ses propres mots, les mesures qu’il ou elle prévoit de prendre et le temps nécessaire à leur réalisation. Chaque tâche doit être accompagnée d’un calendrier précis et d’un livrable bien défini.

Feedback : Ce sont souvent les membres du personnel les plus consciencieux qui prennent le plus à cœur les commentaires sur leur travail. Les chercheurs principaux doivent penser à exprimer leur satisfaction lorsque les choses se passent bien, et réfléchir à leur réaction en cas de problème. Une réaction constructive centrée sur la résolution du problème peut favoriser l’apprentissage et éviter de nouvelles erreurs. Il est bon de faire régulièrement le point sur les relations de travail au sein de l’équipe et sur les éventuels ajustements nécessaires (une fois tous les 1 à 2 mois). Certains projets prévoient un entretien semestriel de bilan entre l’assistant de recherche et son superviseur au sein de J-PAL (par exemple, un chef de projet senior). Ce dernier discute d’abord des commentaires du chercheur principal avec l’assistant de recherche avant de faire le point avec le chercheur principal. Cette méthode peut s’avérer précieuse pour obtenir des retours d’information.

Inégalité des rapports de force : Le fait de travailler ensemble sur un projet de recherche peut donner naissance à une relation enrichissante de mentorat entre le chercheur principal et les assistants de recherche. Ces derniers voient souvent les chercheurs principaux comme un modèle à suivre. Toutefois, les chercheurs principaux, en particulier lorsqu’ils sont nouveaux, n’ont pas toujours conscience de ce rapport de force très inégal. En effet, les assistants de recherche peuvent avoir besoin d’une lettre de recommandation ou être intimidés. Dans ces conditions, il est possible que seul le chercheur principal ait le sentiment de traiter d'égal à égal. Les barrières culturelles, linguistiques et technologiques sont également susceptibles d’accentuer ce problème. 

Équilibre entre vie professionnelle et vie privée : De ce fait, les chercheurs principaux ne doivent pas s’attendre à ce que les assistants de recherche les préviennent lorsqu’ils sont surchargés de travail. Les équipes de recherche doivent veiller à programmer leurs réunions régulières pendant les heures de travail habituelles des assistants de recherche afin d’éviter tout conflit avec les obligations familiales de ces derniers ou de compromettre leur sécurité. En dehors des heures de travail, les moyens de communication instantanés comme les chats, les téléphones portables et les messageries doivent être réservés aux urgences, et tout travail effectué le week-end doit être compensé par des jours de congé. Les chercheurs principaux doivent exprimer clairement leur préoccupation pour la sécurité et le bien-être du personnel de terrain et de recherche, notamment lors des enquêtes et des déplacements, et veiller à ce qu’un budget soit prévu pour assurer leur transport en toute sécurité.

Dernière modification : août 2020.

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.

Ce document a été traduit de l’anglais par Marion Beaujard.

 

1.
Notre organisation partenaire, Innovations for Poverty Action, dispose d'un ensemble similaire de protocoles de recherche. Ils offrent un aperçu complet des étapes à suivre pour mettre en œuvre un projet de terrain de haute qualité.

    In this resource