Check-list pour le lancement d’une évaluation aléatoire aux États-Unis

L’Evaluation Toolkit comprend des ressources au contenu très varié, allant des modalités d’évaluation de la faisabilité et de l’intérêt d'un projet en collaboration avec un partenaire aux conseils pour structurer les fichiers et le code dans les évaluations en cours. De ce fait, les ressources ont des formats divers, incluant une combinaison de guides de processus, d’informations techniques, de check-lists et d’exemples de code. Ce document se concentre sur les aspects opérationnels de la mise en œuvre des évaluations plutôt que sur des considérations académiques comme les tests d’hypothèses ou l’analyse, et vient compléter la formation en ligne 102x de J-PAL sur la conception et la mise en œuvre d’une évaluation aléatoire.¹ Pour une introduction aux aspects plus académiques et théoriques de la mise en œuvre d’une évaluation aléatoire, nous vous invitons à consulter des ressources comme la formation en ligne MicroMaster de J-PAL,² la formation de J-PAL sur l’évaluation des programmes sociaux,³ ainsi que Field Experiments: Design, Analysis, and Interpretation de Donald Green et Alan Gerber.⁴

Vous trouverez ci-dessous un panorama du contenu de l’Evaluation Toolkit, ainsi qu’une check-list destinée aux chercheurs et aux équipes qui se préparent à lancer une évaluation aléatoire. Les ressources sont regroupées par thème, mais les « étapes » décrites ne sont pas pour autant le reflet d’un ordre chronologique à respecter. En réalité, comme les équipes de recherche pourront le constater, de nombreuses tâches peuvent être entreprises dès le début de l’étude, et les progrès réalisés sur chacune d’entre elles permettront de définir les priorités tout au long du cycle de vie de l’étude.

Quels sont les éléments à prendre en compte lorsqu’on envisage de lancer une nouvelle évaluation aléatoire, et comment peut-on s’assurer que les conditions sont réunies pour la mise en place d’un partenariat de recherche solide ? Comment les chercheurs peuvent-ils déterminer si l’évaluation aléatoire constitue une approche adaptée pour un programme donné, et quelles questions doivent-ils poser aux partenaires de mise en œuvre pour estimer les chances de réussite d’une telle évaluation ?

• Évaluer l’intervention et les circonstances. Une fois qu’un partenaire a exprimé son souhait de collaborer avec des chercheurs dans le cadre d’une évaluation aléatoire, il faut poser les bases d’une relation de travail solide et déterminer si une telle évaluation est réalisable dans le contexte cible.⁵ Il faut pour cela procéder à une analyse approfondie de l’intervention, du contexte organisationnel lié à l’évaluation, des objectifs de l’évaluation aléatoire, ainsi qu’à une première évaluation de la faisabilité de l’assignation aléatoire dans le contexte du programme. En outre, les chercheurs doivent aussi réfléchir aux conséquences potentielles que l’étude pourrait avoir au-delà de l’organisme de mise en œuvre, notamment en ce qui concerne les participants et les effets de diffusion au sein de la communauté.
• Formaliser le partenariat de recherche. Définissez les attentes relatives au résultat attendu de l’étude et à son processus de mise en œuvre, en précisant dès le départ le périmètre et le calendrier du projet, ainsi que les rôles et responsabilités des partenaires de mise en œuvre et de l'équipe de recherche. Établissez des normes communes à l’équipe de recherche et au partenaire concernant la régularité des communications et les attentes en matière de publication des résultats de l’étude. Vérifiez si la conclusion d’un accord juridique est nécessaire à la poursuite du projet et, le cas échéant, initiez le processus auprès des établissements participants.⁶ 
• Effectuer des calculs de puissance.⁷ Réfléchissez aux informations dont vous avez besoin pour effectuer vos calculs de puissance, en identifiant notamment une taille raisonnable d’effet minimum détectable (EMD), la taille de l’échantillon, les principales variables d’intérêt, les taux de participation et de conformité, la méthode d’assignation aléatoire, la variance, le contrôle des covariables et la corrélation intra-grappe. Préparez-vous à refaire ces calculs initiaux à mesure que vous obtiendrez plus d’informations sur l’intervention et que votre projet de protocole de recherche se précisera. 
• Envisager d’envoyer un membre de l’équipe de recherche sur le terrain. Après avoir déterminé qu’une évaluation aléatoire est réalisable dans le contexte du programme, les chercheurs peuvent envisager d’envoyer un membre de l’équipe de recherche sur le terrain pour une période d’observation prolongée. Cela permettra aux chercheurs d’acquérir une compréhension plus fine de l’intervention et favorisera l’élaboration d’un modèle d’étude parfaitement adapté au contexte de l’intervention.⁸ 

• S’assurer que l’intervention a fait l’objet d’un projet pilote.⁹ Si un partenaire de mise en œuvre envisage d’évaluer un nouveau programme, demandez-lui s’il prévoit de mener un projet pilote. Un essai pilote permet de déterminer si le programme, tel qu’il a été conçu, peut effectivement être mis en œuvre. C’est l’occasion de tester de façon répétée des éléments clés de l’intervention, tels que le respect des protocoles du programme, les procédures de recrutement ou les modalités de formation du personnel. Un projet pilote peut aider les chercheurs et les partenaires à déterminer si le programme est mis en œuvre comme prévu et à évaluer la capacité potentielle des prestataires à respecter le modèle de l’étude.

Une fois que vous avez analysé l’intervention envisagée et déterminé qu’il est pertinent de poursuivre la conception de l’étude, comment vous assurer que le protocole de votre étude est réalisable et qu’il a du sens dans le contexte de l’intervention ? Quels processus pouvez-vous mettre en place pour vous assurer que l’évaluation se déroule comme prévu ?

• Élaborer et tester la stratégie de mise en œuvre. Une collaboration régulière et une coordination efficace avec le personnel du programme favorise l’élaboration d’une stratégie de mise en œuvre réalisable.¹⁰ Travaillez avec le personnel du programme pour mettre au point une approche permettant d’identifier les parties prenantes au sein de la communauté, de susciter l’adhésion de ces dernières et de recueillir leurs commentaires sur les décisions relatives à la conception de l’étude, puis de tester ces décisions avec les partenaires de mise en œuvre.¹¹
• Définir la procédure d’admission et de recueil du consentement. Loin d’être de simples formalités administratives, les procédures d’admission des participants à l’étude et de recueil de leur consentement ont des implications sur le plan éthique, mais aussi des conséquences pour la validité et la puissance statistique de l’étude, ainsi que pour son acceptation par les partenaires. Les chercheurs doivent notamment déterminer comment intégrer la procédure de consentement à un programme existant, s’il est préférable de le recueillir avant ou après l’assignation aléatoire, et comment former le personnel chargé du recrutement des participants.
• Obtenir l’avis favorable d’un IRB (Institutional Review Board) ou d’un comité de protection de la vie privée (Privacy Board). Toute recherche impliquant des sujets humains ou des données individuelles sur des êtres humains vivants est susceptible¹² de devoir être examinée par un IRB, même en l’absence d’interaction directe entre les sujets et les chercheurs. Suite à l’examen du dossier, l’IRB peut conclure que le projet de recherche 1) n’est pas une étude sur des sujets humains et n’est donc pas soumis à un examen plus approfondi, 2) est exempté d’examen continu, 3) peut faire l’objet d’un examen accéléré par un administrateur de l’IRB ou 4) doit être examiné par un comité d'éthique au complet. Les chercheurs doivent vérifier les procédures en vigueur au sein de l’IRB de leur établissement afin de déterminer ce qui doit faire l’objet d’un examen et la marge de manœuvre accordée aux chercheurs par cet IRB.
• Enregistrer l’essai et envisager d’élaborer un plan de pré-analyse. La FDA exige l’enregistrement sur clinicaltrials.gov pour de nombreux essais médicaux, cliniques ou en rapport avec la santé. Certaines revues médicales imposent en outre l’enregistrement sur clinicaltrials.gov comme condition préalable à la publication d’un article dans la revue, et ce même si la réglementation fédérale ne l’exige pas. L’enregistrement sur d’autres sites, tels que le RCT Registry de l'American Economics Association (soutenu par J-PAL) ou l’Open Science Framework (OSF), peut être exigé par les organismes qui financent les projets, y compris J-PAL. En outre, les revues d’économie exigent parfois qu’un pré-enregistrement soit effectué pour pouvoir soumettre un article.
• Réfléchir aux défis inhérents à l’évaluation d’interventions fondées sur la technologie. Les évaluations axées sur la technologie concernent un large éventail de secteurs et constituent un moyen efficace de standardiser une intervention dans ses différents lieux de mise en œuvre. La mise en œuvre d’une intervention technologique soulève toutefois des difficultés et des considérations particulières. Il faut notamment déterminer comment intégrer l’intervention au protocole d’évaluation, garantir le respect de l’assignation de traitement et faire en sorte d’obtenir un taux de participation satisfaisant. 
• Opérationnaliser l’assignation aléatoire. Choisissez une méthode d’assignation aléatoire et mettez au point les protocoles correspondants. Parmi les méthodes possibles, on peut citer la randomisation à partir d’une liste existante de participants avec ou sans identifiants, la randomisation par blocs et la randomisation de chaque individu « sur place ». Le choix de la stratégie dépend du modèle d’évaluation, de la méthode de recrutement des participants, des considérations relatives à la sécurité des données et de l’acceptation de la stratégie en question par le partenaire. 

• Mettre en place une procédure de suivi. Le suivi des activités de mise en œuvre de l’intervention et de l’étude est essentiel pour permettre aux chercheurs de comprendre comment le programme et le protocole expérimental fonctionnent dans la pratique et de procéder aux ajustements nécessaires. Établir une procédure de suivi implique de sélectionner des indicateurs clés qui faciliteront l’interprétation des résultats et permettront aux chercheurs et aux partenaires de suivre la progression des travaux, comme les taux de recrutement et de participation, le respect des protocoles de recherche et d’autres éléments clés de la mise en œuvre.

Identifier le type de données nécessaires à la réalisation de l’évaluation aléatoire est une étape clé de l’évaluation de la faisabilité du projet et de la conception de l’étude. De quelles données avons-nous besoin pour répondre à nos questions de recherche, comment allons-nous procéder pour les collecter et y accéder, et quelle utilisation allons-nous en faire une fois que nous les aurons obtenues ?

• Mettre en place des procédures pour la gestion du code et des fichiers. Il arrive souvent que plusieurs « générations » d’assistants de recherche se succèdent dans le cadre d’une même évaluation aléatoire. Cette rotation du personnel nécessite la mise en place d’un système de gestion de la documentation et des données. Dès le début du projet, les chercheurs doivent créer des structures organisationnelles claires pour standardiser la gestion des données, de la documentation et des autres fichiers. Tout au long de l’étude, les chercheurs devront documenter les différentes versions du code, la randomisation, la gestion des tâches et autres étapes clés.
• Choisir la ou les méthode(s) de collecte des données. Il faut identifier les types de données nécessaires (données d’enquête, données administratives, sources de données secondaires telles que des données satellitaires ou des données d’enquête provenant d’autres organismes), mais aussi déterminer quand et comment ces données vont être collectées. L’utilisation de données administratives peut contribuer à réduire le coût de la collecte et à limiter certains risques de biais par rapport aux données primaires. Cependant, l’obtention des autorisations nécessaires prend parfois beaucoup de temps. Les données primaires peuvent quant à elles permettre aux chercheurs de mesurer un éventail plus large d’informations et de mieux contrôler le processus de collecte. Toutefois, la collecte de données primaires s’avère parfois coûteuse et les taux de réponse peuvent être faibles. 
• Conclure des accords d’utilisation des données.¹³ Un accord d’utilisation des données (DUA) fixe les conditions selon lesquelles un fournisseur de données va partager des données avec l’établissement d’origine du chercheur en vue de leur utilisation par ce dernier. Cet accord, qui doit généralement être approuvé par le conseiller juridique de l’établissement d’origine du chercheur, contient un certain nombre de dispositions qui peuvent avoir un impact significatif sur les protocoles de recherche. Par exemple, les fournisseurs de données ont parfois des exigences spécifiques en matière de consentement éclairé ou d’autorisation individuelle (une exigence de la loi HIPAA similaire au consentement éclairé). 
• Élaborer un plan de sécurité des données. Un tel plan vise à minimiser les menaces qui pèsent sur la sécurité des données en définissant les modalités de stockage et d’accès aux données, de transmission et de partage des données, mais aussi d’effacement des données, le cas échéant. Dans le cadre de vos démarches auprès de l’IRB, il vous sera demandé de décrire vos procédures en matière de sécurité des données. 

• Obtenir les autorisations nécessaires et mettre au point un protocole de publication des données. J-PAL et un certain nombre d’organismes de financement, dont la National Science Foundation et les National Institutes of Health, ont adopté des politiques de partage des données pour les recherches qu’ils financent. De nombreuses revues scientifiques de premier plan imposent le partage des données et du code de réplication comme condition préalable à la publication. Créer et stocker les ensembles de données et les fichiers de code en vue d’une publication future évitera aux chercheurs de passer trop de temps à préparer les données à un stade ultérieur du processus de recherche.

Obtenir l’accès aux données et les analyser peut prendre beaucoup de temps, ce qui retarde le moment où les résultats seront prêts à être partagés ou publiés. Comment prévoit-on d’utiliser les données une fois obtenues, et comment gérer les attentes des différents acteurs de façon proactive ? Une fois l’analyse terminée, quelles sont les démarches à entreprendre pour publier les données et préparer la soumission d’un article à une revue scientifique ? 

• Préparer l’analyse des données. Envisagez d’utiliser les données de l’enquête initiale ou des données synthétiques pour rédiger le code de nettoyage et d’analyse avant même d’avoir reçu les données définitives. Une bonne préparation de la phase d’analyse des données permettra à l’équipe de recherche de produire des résultats plus rapidement lorsque les données seront prêtes, et éventuellement de produire des résultats intermédiaires et d’effectuer un suivi si les données sont reçues par lots. En outre, ce travail de planification donne l’occasion aux chercheurs de réfléchir précisément à l'utilisation des données du programme, ce qui peut influencer la réflexion sur les données requises et sur la conception de l’évaluation. Ce travail préparatoire peut être intégré à un plan de pré-analyse enregistré. 
• Élaborer un plan de communication pour les parties prenantes. La réalisation d’une évaluation aléatoire implique une collaboration et une communication étroites entre des acteurs multiples : chercheurs universitaires, personnel de recherche, partenaires chargés de la mise en œuvre du programme ou de la politique, détenteurs de données administratives, décideurs politiques et membres de la communauté. Ces acteurs très divers ont des perspectives différentes et utilisent un langage spécialisé, ce qui peut rendre la communication et la collaboration difficiles. Une communication efficace favorisant l’implication des partenaires augmente les chances que l'évaluation se déroule sans accroc et puisse avoir un impact sur les politiques. 

• Préparer la soumission à une revue. Avant de publier un document de travail ou de soumettre un manuscrit à une revue, il peut être utile d’identifier les exigences qui s’appliquent et de mettre au point un plan pour associer les parties prenantes et les contractants de l’étude à ce processus. Les conventions de subvention et les accords d’utilisation des données exigent parfois l’envoi d’une version préliminaire de l’article ou des données pour examen avant publication. Même en l’absence d’obligation légale, le fait de mettre à disposition la version préliminaire d’un article ou d’informer les partenaires avant la publication peut contribuer au maintien de bonnes relations.

Dernière modification : juin 2021.

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.

Ce document a été traduit de l’anglais par Marion Beaujard.