Cette ressource donne des indications aux chercheurs pour effectuer des recherches préliminaires et mener les premiers échanges avec un responsable de mise en œuvre qui manifeste de l’intérêt pour les évaluations aléatoires et avec lequel un partenariat semble viable. Les conseils qu’elle fournit pour mener ces discussions préliminaires ont un objectif double : établir des relations de travail solides et déterminer la faisabilité et la pertinence d’une évaluation aléatoire dans le contexte du partenaire. Bien qu’elle comprenne principalement des conseils généraux destinés aux chercheurs, vous trouverez également en bas de cette page des ressources spécifiques à J-PAL pour le personnel, les membres affiliés et les chercheurs invités.
Les premiers échanges avec un partenaire potentiel ont un objectif double : (1) recueillir suffisamment d'informations pour évaluer la faisabilité matérielle et statistique d'une évaluation aléatoire, et (2) établir de bonnes relations de travail avec les principaux acteurs. En mettant à profit ces premières discussions pour débattre des questions de recherche, de la mesure des variables de résultats, des objectifs et des priorités, les chercheurs et les partenaires peuvent déterminer ensemble s’il est dans leur intérêt de procéder à une évaluation aléatoire.1
Pour chaque projet et chaque partenaire de mise en œuvre potentiels, il est essentiel d’effectuer des vérifications préalables indépendantes afin de pouvoir prendre une décision éclairée concernant 1) la faisabilité d’un ECR et 2) la compatibilité des intérêts et des motivations des deux parties. Identifier le bon partenaire peut prendre du temps. Les conseils fournis dans ce document aideront les chercheurs à éviter certains écueils, comme sélectionner un partenaire de manière précipitée pour des raisons de commodité, de réputation ou de calendrier. Procéder à des vérifications préalables implique souvent d’explorer d’autres options afin de prendre la meilleure décision possible, tant pour le chercheur que pour le partenaire de mise en œuvre.
Les chercheurs qui découvrent un nouveau domaine thématique ou une nouvelle zone géographique peuvent s’appuyer sur des stratégies comme la recherche documentaire, l'exploration des réseaux professionnels et même la participation à certains événements régionaux et nationaux réunissant les parties prenantes. Ces démarches constituent un point de départ utile pour les chercheurs, à qui elles permettront de mieux connaître les différents acteurs (ONG, gouvernement, etc.) qui œuvrent dans des domaines d'intérêt particuliers.
Conseils :
Une fois que vous avez déterminé où et comment entrer en contact avec des partenaires potentiels, l’étape suivante consiste à préparer les sujets à aborder pour évaluer la possibilité d’une collaboration. En règle générale, les premiers échanges, dédiés à la prise de contact et au cadrage initial, sont l’occasion de se renseigner sur l’organisation du partenaire potentiel (son histoire, son financement, sa trajectoire), sur ses programmes (objectifs, capacités, systèmes de suivi), et sur son intérêt pour l’apprentissage et l’évaluation. Ces discussions vous renseigneront quant à la volonté du partenaire potentiel d’en savoir plus sur ses propres programmes, indépendamment des résultats obtenus. Lors de ces échanges, faire l’effort d’utiliser le même vocabulaire que le partenaire (en déterminant, par exemple, s’il qualifie ses bénéficiaires de patients ou de clients, et en utilisant ce terme plutôt que celui de participants), peut contribuer à renforcer la confiance et le respect mutuel.
Voici quelques suggestions pour ces discussions préliminaires :2
Sur la base de ce travail préparatoire, les chercheurs et les partenaires peuvent commencer à discuter de la forme que pourrait prendre une évaluation aléatoire dans leur contexte, en gardant à l’esprit que l’assignation aléatoire peut se décliner sous de nombreuses formes7 en fonction de la question de recherche et des besoins des différentes parties prenantes. Les partenaires potentiels n’ont pas forcément le bagage technique ou scientifique nécessaire pour comprendre les avantages et les inconvénients d’un modèle d'évaluation donné, ni pour identifier le protocole expérimental le plus adapté à leurs objectifs. 8 Les chercheurs doivent donc leur fournir les informations dont ils ont besoin pour prendre des décisions éclairées concernant leur participation à l’évaluation aléatoire et le modèle d’étude proposé.
Si les premiers échanges avec le partenaire potentiel semblent prometteurs, les chercheurs peuvent commencer à réfléchir plus en détail aux questions de recherche et à la conception de l’étude. Outre la revue de littérature, les recherches préliminaires peuvent inclure la poursuite des discussions avec le partenaire potentiel.[!9] Ces échanges, combinés à des recherches documentaires, des visites sur le terrain ou des groupes de discussion peuvent fournir des éclaircissements sur les points suivants :
Munis de ces informations, les chercheurs et le partenaire peuvent alors évaluer la pertinence d’une évaluation aléatoire. Si le partenariat semble viable, ces informations permettront aux chercheurs d’ajuster leur stratégie de communication avec le partenaire, de proposer le cas échéant des formations ou des ressources, et de concevoir une évaluation aléatoire à la fois rigoureuse et réalisable.
Dernière modification : mars 2021.
Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.
Ce document a été traduit de l’anglais par Marion Beaujard.
Nous remercions Todd Hall, Emma Rackstraw et Sophie Shank pour leurs idées et leurs conseils précieux. Ce document a été relu et corrigé par Jacob Binder, et traduit de l’anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien de la Fondation Alfred P. Sloan et d'Arnold Ventures. Toute erreur est de notre fait.
“Evaluating Financial Products and Services in the US: A Toolkit for Running Randomized Controlled Trials.” 2015. Innovations for Poverty Action. 10 novembre 2015. https://www.poverty-action.org/publication/evaluating-financial-products-and-services-us-toolkit-running-randomized-controlled.
La page 18 du document « Evaluating Financial Products and Services in the US: A Toolkit for Running Randomized Control Trials », publié par IPA, contient des questions supplémentaires pour déterminer s’il est pertinent d'effectuer une évaluation aléatoire dans un contexte donné.
Glennerster, Rachel. 2017. “Chapter 5 - The Practicalities of Running Randomized Evaluations: Partnerships, Measurement, Ethics, and Transparency.” Dans Handbook of Economic Field Experiments, édité par Abhijit Vinayak Banerjee et Esther Duflo, 1:175–243. Handbook of Field Experiments. North-Holland.
Pour plus d’informations sur la pertinence d’une évaluation aléatoire pour un programme ou un partenaire donnés, voir la section 1.2 du chapitre de Rachel Glennerster intitulé The Practicalities of Running Randomized Evaluations: Partnerships, Measurement, Ethics, and Transparency (publié au sein de l’ouvrage Handbook of Economic Field Experiments, paru chez Elsevier)
“What is the Risk of an Underpowered Randomized Evaluation?” J-PAL Amérique du Nord.
Cette ressource explique pourquoi une évaluation aléatoire dont la puissance statistique est insuffisante risque de faire perdre beaucoup de temps et d’argent aux organismes pour ne fournir finalement que peu d’informations utiles.
Gugerty, Mary Kay, and Dean Karlan. n.d. “Ten Reasons Not to Measure Impact—and What to Do Instead.” Stanford Social Innovation Review. Consulté le 2 octobre 2018.
Dans leur ouvrage intitulé The Goldilocks Challenge, et dans un article de synthèse paru dans la Stanford Social Innovation Review, Mary Kay Gugerty et Dean Karlan analysent la pertinence des évaluations aléatoires dans différentes situations et, le cas échéant, les stratégies alternatives possibles.
Glennerster, Rachel, and Shawn Powers. 2016. “Balancing Risk and Benefit: Ethical Tradeoffs in Running Randomized Evaluations.” The Oxford Handbook of Professional Economic Ethics, April. https://doi.org/10.1093/oxfordhb/9780199766635.013.017.
Voir le chapitre de Rachel Glennerster et Shawn Powers intitulé Balancing Risk and Benefit: Ethical Tradeoffs in Running Randomized Evaluations pour une analyse détaillée des questions éthiques soulevées par les évaluations aléatoires.
"Common Questions and Concerns about Randomized Evaluations." J-PAL Amérique du Nord.
Avant d’avoir vos premières discussions avec un partenaire potentiel, il peut être utile de consulter ce document, ainsi que Why Randomize et Real-World Challenges to Randomization and Their Solutions (tous deux référencés plus bas), afin de se remettre les exemples en mémoire et de savoir expliquer le principe des ECR dans des termes non techniques. Ces ressources peuvent également être envoyées à un partenaire potentiel à l’issue de la première réunion ou du premier appel afin de clarifier ou d’approfondir les concepts liés aux ECR.
“Real-World Challenges to Randomization and Their Solutions.” J-PAL Amérique du Nord.
Ce document contient des informations supplémentaires sur les solutions possibles aux défis pratiques posés par la randomisation, ainsi que des études de cas.
Ressource vidéo de J-PAL : Why Randomize?
"Right-Fit Evidence," IPA
Cette ressource est utile si le partenaire potentiel souhaite en savoir plus sur le suivi et l’évaluation.
Feasibility Checklist (Hoekman 2019) (Ressource interne de J-PAL)
J-PAL’s guide to early-stage engagement with partners (Ressource interne de J-PAL)