Élaborer et tester la stratégie de mise en œuvre
Summary
Pendant la phase de conception d’une évaluation aléatoire, les partenaires de mise en œuvre et les chercheurs doivent travailler en étroite collaboration afin d’élaborer une stratégie de mise en œuvre réalisable. Cette ressource vise à fournir un cadre aux chercheurs qui doivent prendre des décisions concernant la conception de leur étude en concertation avec leurs partenaires. L’approche globale abordée ici est la suivante :
- Identifier les parties prenantes au sein de la communauté
- Susciter l’adhésion et recueillir des commentaires sur les décisions relatives à la conception de l’étude
- Affiner ces décisions avec les partenaires de mise en œuvre
Identifier les parties prenantes au sein de la communauté
Avant de prendre des décisions concernant le protocole de votre étude, il faut d’abord identifier les parties prenantes qui vont devoir être informées ou associées au processus de prise de décision. Le rôle de ces parties prenantes peut varier en fonction de l’intervention et l’étude. Consultez vos partenaires pour savoir quels sont les acteurs à impliquer et quel type d’informations ces parties prenantes sont susceptibles de fournir.
Dès le début de votre collaboration avec le partenaire, les questions à poser1 pour identifier les parties prenantes peuvent porter sur des aspects tels que le contexte organisationnel, l’historique du programme et les préparatifs nécessaires pour mener une évaluation (Brown et al. 2015). Voici un aperçu des questions possibles :
- Qui met en œuvre et soutient l’intervention ? Il peut notamment s’agir des administrateurs du programme et du personnel de première ligne, des fournisseurs et des gestionnaires de données, des agents chargés du recrutement et de l’inscription des bénéficiaires et, dans le cas d’interventions basées sur la technologie, des ingénieurs en charge de la plateforme ou du programme.
- Certains groupes ont-ils manifesté une volonté particulière d’apporter des changements au programme ? D’autres groupes ont-ils exprimé des inquiétudes sérieuses concernant de précédentes tentatives de modification ? De telles personnes peuvent influencer la manière d’aborder l’étude et la façon dont les résultats seront utilisés au sein de l’organisation.
- Qui a les moyens d’influer sur l’étude si ses préoccupations vis-à-vis de l’évaluation ne sont pas prises en compte ? Il peut s’agir des bailleurs de fonds, des dirigeants de l’organisme de mise en œuvre et des organisations partenaires qui orientent les participants vers l’intervention.
- Qui participe à l’étude ?
- Qui est le principal destinataire des résultats de l’étude, et quelle utilisation va-t-il en faire ? Il peut s’agir d’autres agences de mise en œuvre, de décideurs politiques ou de bailleurs de fonds.
Susciter l’adhésion
Lorsque vous organisez des réunions avec de nouveaux acteurs, groupes ou personnes influentes, il est important de gagner leur adhésion avant de leur demander leur avis sur le protocole de recherche (Glennerster 2015).2 Envisagez de rencontrer les parties prenantes en petits groupes pour obtenir des réponses plus franches. Dans le cadre de ces discussions, les chercheurs doivent tenir compte des procédures habituelles du programme du prestataire, notamment en matière d’inscription, de recrutement et d’unité de prestation du programme (Arnold Ventures 2016).3 Il est important de gagner l’adhésion des parties prenantes 1) pour qu’elles comprennent les raisons des éventuelles modifications de leurs procédures habituelles et 2) pour leur donner l’occasion de signaler tout élément qui rend le protocole envisagé irréalisable, de façon à ce que l’équipe de recherche puisse procéder aux ajustements nécessaires. Même s’il n’est pas toujours possible de susciter l’adhésion pleine et entière de toutes les parties prenantes au protocole expérimental, les chercheurs doivent s’efforcer d’intégrer leurs commentaires et de répondre à leurs préoccupations éthiques et pratiques, tout en mettant en avant les bienfaits des résultats de l’étude.
Étude de cas : Dans le cadre de l’évaluation d’un programme d’emplois d’été à Philadelphie, le partenaire de mise en œuvre WorkReady, ses prestataires et l’équipe de recherche sont partis du principe qu’il était primordial de mettre en œuvre le tirage au sort de manière à ce que les jeunes obtiennent un emploi adapté tout en conservant l’assignation aléatoire.4 Il fallait que les jeunes bénéficiaires résident à une distance raisonnable du lieu de travail qui leur serait attribué. Affecter des participants à des postes difficiles d’accès risquait non seulement de créer des obstacles pour les jeunes et les prestataires, mais aussi d’avoir des répercussions négatives sur la recherche. Par exemple, l’affectation des bénéficiaires à des postes trop éloignés risquait de faire baisser le taux de conformité (c’est-à-dire d’augmenter le nombre d’abandons), compromettant ainsi la capacité des chercheurs à estimer l’impact du programme.
Pour résoudre ce problème potentiel, les chercheurs ont mis au point une stratégie de randomisation intégrant un dispositif de blocage géographique basé sur les préférences de chaque prestataire. Les candidats ont été répartis en plusieurs groupes en fonction de la zone géographique de recrutement correspondant à des postes donnés, puis ont été affectés aléatoirement au groupe de traitement ou au groupe témoin pour les postes en question
Les chercheurs ou les partenaires de mise en œuvre sont parfois réticents à l’idée de rencontrer les prestataires de service avant que les questions et le protocole de recherche ne soient clairement définis. N’hésitez pas à demander à vos partenaires de vous indiquer le moment opportun pour commencer à présenter le projet, tout en insistant bien sur l’importance de ces premiers échanges. Prévoyez des discussions en petits groupes, et profitez de cette occasion pour recueillir les commentaires des parties prenantes et pour vous renseigner davantage sur le fonctionnement et les besoins du programme, plutôt que de leur présenter la façon dont l’étude « va fonctionner ».
Vous trouverez ci-dessous un cadre et des questions à prendre en compte lors de ces réunions en petit comité avec les parties prenantes :
- En adoptant une approche similaire à celle que vous avez employée pour obtenir l’appui des hauts responsables de l’organisation, présentez le profil des chercheurs, décrivez les questions de recherche principales et apportez des réponses aux questions générales du personnel. Si possible, il est préférable que ce soit la direction de l’organisation qui présente l’équipe de recherche au petit groupe.5 Lors de ces réunions, les chercheurs doivent être attentifs aux rapports de force entre les membres du personnel du partenaire de mise en œuvre, y compris à l’existence éventuelle de tensions entre les membres du personnel et la direction du fait de la mise en œuvre de l’étude. Il peut notamment être utile de demander si le personnel est contractuellement obligé de participer à l’étude, et quelles seraient les conséquences en cas de refus.
- Présentez cette réunion comme une opportunité de partager l’état actuel de vos réflexions et les différentes options possibles pour la conception de l’étude, et de recueillir des informations et des réactions de la part des différents groupes de parties prenantes. Soulignez à quel point leur contribution est importante pour le succès de l’étude.
- Interrogez les personnes présentes sur leur opinion concernant la recherche et leur expérience dans ce domaine. Dans quel but acceptent-elles de participer à une évaluation aléatoire ? Qu’espèrent-elles apprendre ?
- Évaluez les premières réflexions et réactions suscitées par l’évaluation envisagée. Le groupe a-t-il des réserves concernant la randomisation des participants ? L’équipe de recherche peut-elle contribuer à répondre à ces préoccupations ?
- Prenez en compte les réactions du groupe pour définir l’orientation des discussions. Utilisez leurs remarques sur le fonctionnement actuel du programme pour éclairer la conception de l’étude.
Les connaissances des différentes parties prenantes concernant l’intervention et la population cible sont un atout essentiel pour concevoir une étude de qualité. Les chercheurs doivent mettre en place un dialogue attentif et régulier avec les parties prenantes pour s’assurer de la pertinence de leur projet de protocole expérimental dans le contexte de l’intervention, de façon à pouvoir procéder à des ajustements si nécessaire.
Étude de cas : En Ontario, des chercheurs ont évalué un programme visant à accompagner les lycéens ayant un faible taux d’entrée à l’université dans leurs démarches de candidature et de demande d’aide financière dans l’enseignement supérieur. Les résultats étaient mesurés au niveau des lycéens, mais l’évaluation a utilisé une stratégie de randomisation au niveau des établissements scolaires. Si les chercheurs ont choisi cette approche plutôt que de cibler individuellement les lycéens qui avaient le plus de chances d’obtenir leur diplôme de fin d’études secondaires, c’est parce qu’elle était plus conforme à la mission inclusive du programme, qui était d’aider tous les élèves de terminale des établissements ayant un faible taux d’entrée à l’université. En outre, une stratégie au niveau de l’établissement était plus simple à mettre en œuvre qu’un ciblage individuel, dans la mesure où elle permettait de planifier la participation de toute une classe en même temps (Oreopoulos et Ford 2016).
Affiner les décisions relatives à la conception de l’étude avec les parties prenantes
Engager le dialogue avec les parties prenantes représente une première étape essentielle, mais le processus de conception de l’étude implique généralement de nombreuses autres discussions, ainsi que plusieurs révisions du protocole expérimental envisagé. Ainsi, les chercheurs doivent être prêts à recommencer l’ensemble du processus consistant à identifier les parties prenantes, obtenir leur adhésion, recueillir leurs commentaires et proposer des modifications du protocole d’étude à mesure que l’équipe reçoit de nouvelles informations sur d’autres parties prenantes et d’autres perspectives à prendre en compte.
Étude de cas : Il arrive parfois que les démarches consistant à rencontrer les parties prenantes pour recueillir leurs commentaires et gagner leur adhésion aboutissent à la conclusion qu’une évaluation aléatoire n’est pas réalisable. Dans l’un de ces cas, J-PAL Amérique du Nord s’était associé à l’État de Pennsylvanie pour étudier la possibilité de mener une évaluation aléatoire des Centers for Excellence (COE), un programme de soins coordonnés pour les personnes souffrant de problèmes d’addiction aux opiacés.6 Or, les discussions avec les prestataires de service et le personnel des COE ont révélé l’existence d’importantes disparités dans les pratiques de coordination des soins. Dans la mesure où une évaluation aléatoire aurait consisté à estimer l’effet moyen de l’intervention dans différents COE, la présence de ces disparités aurait rendu les résultats de l’évaluation difficilement interprétables. Après avoir travaillé avec le personnel et les chercheurs de J-PAL Amérique du Nord, la Pennsylvanie a finalement décidé qu’une évaluation aléatoire des COE n’était pas faisable à ce stade. Même si aucune évaluation aléatoire n’a été lancée, le travail préliminaire effectué par le personnel a été l’occasion de réfléchir aux approches possibles pour mesurer l’impact des nombreuses initiatives de l’État dans la lutte contre la crise des opioïdes. Par exemple, en procédant au cadrage du projet d’évaluation aléatoire des COE, le personnel du gouvernement de Pennsylvanie a pu débattre du meilleur moyen de mesurer des variables de résultat comme la persistance au traitement et l’utilisation des services de santé.
Dernière mise à jour en septembre 2021.
These resources are a collaborative effort. If you notice a bug or have a suggestion for additional content, please fill out this form.
Ce document a été traduit de l’anglais par Marion Beaujard.
Nous tenons à remercier Laura Feeney, Noreen Giga et Emma Rackstraw pour leurs commentaires et leurs conseils précieux. Ce document a été relu et corrigé par Chloe Lesieur, et traduit de l’anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien de la Fondation Alfred P. Sloan et d'Arnold Ventures. Toute erreur est de notre fait.
Additional Resources
"San Code of Research Ethics" | South African San Institute | Consulté le 30 août 2018.
Rédigé par le South African San Institute, ce code déontologique pour l’examen et la mise en œuvre de projets de recherche explique aux chercheurs comment interagir de façon respectueuse avec le peuple San en Afrique du Sud. Il donne des lignes directrices détaillées en matière de respect, d’honnêteté, de justice, d’équité et d’attention que les chercheurs souhaitant travailler avec les San doivent respecter pour mener à bien leur projet de recherche. Ce document offre un panorama utile des questions relatives à la mise en place d’une collaboration respectueuse avec les communautés qui participent à la recherche et à l’implication de ces dernières dans les décisions relatives à l’élaboration des études
“The Politics of Random Assignment: Implementing Studies and Impacting Policy" | Journal of Children’s Services | Vol 3, No 1.” n.d. Consulté le 30 août 2018.
Cet article s’appuie sur les nombreuses années d’expérience de la Manpower Demonstration Research Corporation (MDRC) pour aborder les défis liés à la mise en œuvre des évaluations aléatoires. La section « Lessons on How to Behave in the Field » présente plusieurs stratégies pour répondre aux questions et aux inquiétudes spécifiques auxquelles les chercheurs peuvent être confrontés lors de l’élaboration d’une évaluation aléatoire. Ces approches consistent notamment à choisir des formulations qui tiennent compte du point de vue du partenaire, à éviter de répondre de manière évasive aux questions sur l’assignation aléatoire et à admettre que les différents membres du personnel de l’organisme n’aient pas tous le même point de vue.
Washington, DC, and MT Bozeman. 2012. “‘Walk Softly and Listen Carefully’: Building Research Relationships with Tribal Communities.” NCA I Policy Research Center and MSU Center for NativeHealth Partnerships.
Le Center for Native Health Partnerships (CNHP) et le National Congress of American Indians (NCAI) Policy Research Center ont créé ce guide pour servir de ressource aux chercheurs souhaitant établir un partenariat de recherche avec des communautés autochtones. Le document présente les valeurs sur lesquelles doit reposer tout partenariat de recherche avec ces communautés autochtones, ainsi que des éléments de contexte et des considérations utiles concernant le travail de recherche auprès de ces communautés.
“Real-World Challenges to Randomization and Their Solutions” J-PAL Amérique du Nord.
Cette ressource s’adresse aux décideurs politiques et aux praticiens qui ont une connaissance globale de la randomisation et souhaitent savoir comment faire face à six problèmes fréquents dans ce domaine. Elle s’inspire de l’ouvrage Running Randomized Evaluations: A Practical Guide, de Rachel Glennerster et Kudzai Takavarasha.
References
Chabrier, Julia, Todd Hall, and Ben Struhl. 2017. “Implementing Randomized Evaluations in Government: Lessons from the J-PAL State and Local Innovation Initiative.” J-PAL Amérique du Nord.
https://www.toolkit.povertyactionlab.org/file-research-resource/implementing-randomized-evaluations-government-lessons-state-and-local
Arnold Ventures. 2016. “Key Items to Get Right When Conducting Randomized Controlled Trials of Social Programs.” https://www.arnoldfoundation.org/wp-content/uploads/Key-Items-to-Get-Right-in-an-RCT
Brown, Julia, Lucia Goin, Nora Gregory, Katherine Hoffman, and Kim Smith. 2015. “Evaluating Financial Products and Services in the US: A Toolkit for Running Randomized Controlled Trials.” IPA. https://www.poverty-action.org/publication/evaluating-financial-products-and-services-us-toolkit-running-randomized-controlled.
Glennerster, Rachel. 2015. “What Can a Researcher Do to Foster a Good Partnership with an Implementing Organization?” Running Randomized Evaluations: A Practical Guide (blog). April 9,
2015. http://runningres.com/blog/2015/4/8/what-can-a-researcher-do-to-foster-a-good-
partnership-with-an-implementing-organization.
Oreopoulos, Philip, and Reuben Ford. 2016. “Keeping College Options Open: A Field Experiment to Help All High School Seniors Through the College Application Process.” Working Paper 22320. National Bureau of Economic Research. https://doi.org/10.3386/w22320.