Suivi de la mise en œuvre

Pour comprendre l’effet d’un programme, les chercheurs doivent s’assurer qu’il est effectivement mis en œuvre, et ce, conformément à la manière dont il a été conçu. Par exemple, le programme a-t-il touché les bons participants ? Et le bon nombre de participants ? Au moment prévu ? Le niveau de qualité du programme était-il satisfaisant ? Si certains aspects du programme ne sont pas mis en œuvre correctement, les chercheurs risquent de conclure à tort que le programme n’a eu aucun effet, alors que c’est en fait sa mise en œuvre qui n’était pas conforme à ce qui avait été prévu. Le programme doit donc faire l’objet d'un suivi rigoureux pour veiller à ce qu’il se déroule comme prévu. 

Contrôler la mise en œuvre de l’intervention peut contribuer à limiter les menaces qui pèsent sur la validité interne du programme. Si la randomisation garantit la validité interne au début de l’étude, plusieurs menaces (telles que l’attrition, les effets de diffusion, la non-conformité et les effets induits par l’évaluation) peuvent survenir au cours de l’expérimentation et biaiser les estimations de l’effet du traitement. Si les chercheurs parviennent à anticiper ces menaces, ils peuvent adapter le protocole de l’étude dès le départ afin de s’en prémunir (voir la conférence « Threats and Analysis » de notre formation sur l’Evaluation des programmes sociaux (ESP) ou la ressource sur la randomisation pour quelques exemples). Cependant, il est important par ailleurs de vérifier si ces menaces se matérialisent lors de la mise en œuvre de l’intervention afin d’y remédier en temps réel ou d’ajuster l’analyse a posteriori.
Les données collectées dans le cadre du suivi de la mise en œuvre peuvent également nous aider à appréhender la validité externe de nos résultats. En fournissant aux décideurs des informations détaillées sur la mise en œuvre du programme, les chercheurs leur donnent les moyens de déterminer plus facilement si le programme est susceptible de fonctionner dans leur contexte.

Les indicateurs qui doivent être mesurés dans le cadre du suivi dépendent à la fois du secteur général de l’intervention (par exemple la santé, l’agriculture, etc.) et des questions de recherche spécifiques auxquelles le projet tente de répondre. Les chercheurs et les responsables de la mise en œuvre doivent identifier ensemble les moments de l’étude où il est essentiel de contrôler les protocoles (en d’autres termes, les moments où l’on craint le plus que les choses tournent mal). Si l’intervention existe déjà sous une forme ou une autre avant la mise en place de l’expérimentation, il est important de procéder à une évaluation initiale de la situation existante avant le début de l’étude pour mesurer les points de référence en matière de mise en œuvre en vue d’une comparaison ultérieure. Il peut être utile de se référer ici au principe CART, développé par IPA, selon lequel les données de suivi doivent être crédibles, actionnables, responsables, et transférables. 

• Les données doivent être crédibles dans le sens où elles doivent être de bonne qualité et convaincantes. Supposons que l’intervention prenne la forme d’une incitation financière versée aux enseignants s’ils sont présents à l’école pendant un pourcentage donné de jours de classe. Dans ce cas, une photo quotidienne de l’enseignant dans sa classe constituera une mesure plus crédible de son assiduité qu’un relevé de présence auto-déclaré par l’enseignant lui-même.
• Les données doivent être actionnables, c’est-à-dire exploitables : le suivi effectué au début du programme doit permettre de corriger tout problème éventuel de façon à ce que l’évaluation puisse se dérouler comme prévu. Si l’équipe de recherche collecte trop de données, elle risque de ne pas pouvoir les analyser assez rapidement pour en rendre compte aux responsables de la mise en œuvre¹. Il est donc préférable de se limiter à quelques indicateurs clés axés sur des éléments que le partenaire de mise en œuvre peut contrôler. Pour sélectionner les indicateurs qui doivent faire l’objet d’un suivi régulier et la fréquence des contrôles, il faut tenir compte à la fois des questions de recherche, de la gravité relative des problèmes potentiels, du budget disponible et des capacités du personnel. Par exemple, si l’intervention est un transfert monétaire effectué par paiement mobile, l’équipe de recherche peut choisir de se concentrer sur le nombre de paiements mobiles émis par l’organisme partenaire et sur le nombre de participants ayant reçu l’argent mobile parmi ceux qui y étaient éligibles. Si les chercheurs constatent qu’un trop grand nombre de bénéficiaires ne reçoivent pas l’argent, ils devront peut-être revoir la conception de l’intervention ou chercher à identifier l’origine de ce problème de versement de l’argent. Bien que d’autres aspects de la mise en œuvre puissent influencer l’efficacité de l’intervention (comme la facilité d’utilisation de l’application de paiement mobile, le nombre de commerçants qui acceptent les paiements mobiles dans un village, etc.), c’est l’organisme partenaire qui a le plus de contrôle sur la distribution de l’argent mobile. 
• Pour que la collecte des données de suivi soit responsable, ses avantages doivent l’emporter sur ses coûts. La mise en place d’un système de suivi peut être coûteuse : elle nécessite souvent de concevoir des formulaires d’enquête, de former des enquêteurs, d’interroger les répondants, etc. Les équipes de recherche doivent privilégier les indicateurs qui fournissent le plus d’informations tout en minimisant les contraintes imposées aux répondants. Il est souvent possible d’utiliser des données administratives pour limiter les dépenses et les contraintes liées au suivi. Cependant, l’accès à ces données peut prendre du temps, de sorte que l’on court le risque de ne pas pouvoir les mobiliser au bon moment. Par exemple, les données collectées par un fournisseur d’argent mobile dans le cadre de son fonctionnement normal (par exemple, le montant des sommes envoyées, le nom des expéditeurs et des destinataires) peuvent être utilisées pour assurer le suivi de l’intervention sans imposer de contraintes supplémentaires aux répondants. 
• Bien que l’objectif principal reste le suivi de l’intervention, les données peuvent être transférables si elles génèrent des connaissances applicables à d’autres programmes. Les équipes de recherche et les organismes peuvent venir en aide à d’autres responsables de la mise en œuvre en partageant les informations ainsi recueillies. Par exemple, supposons que des chercheurs aient testé deux modèles de tutorat à l’école, et qu’ils aient constaté que les séances de tutorat étaient plus efficaces si elles avaient lieu avant les cours plutôt qu’après les cours, car les enseignants et les élèves étaient moins assidus aux séances organisées après les cours. Cette information peut être partagée avec d’autres organismes et chercheurs qui travaillent sur la conception d’un programme de soutien scolaire.

Les indicateurs collectés remplissent deux fonctions : informer les chercheurs sur la fidélité de la mise en oeuvre et la validité interne du programme pendant l’intervention, d’une part, et fournir des informations pour l’analyse et la rédaction de rapports après l’intervention, d’autre part. Pour illustrer les différences entre ces indicateurs et la façon dont ils sont utilisés, considérons d’abord l’étude de cas ci-dessous :

Sélection des indicateurs

Lors de la mise en œuvre d’une intervention, de nombreux indicateurs doivent être collectés et analysés. Il s’agit d’un processus itératif : les équipes de recherche peuvent être amenées à modifier les indicateurs qu’elles collectent pour les adapter aux conditions locales ou en réponse à un facteur externe. Vous trouverez ci-dessous des recommandations pour effectuer le suivi de vos indicateurs.

• Pour améliorer la qualité de la mise en œuvre et/ou contrôler la fidélité du programme en temps réel, il faut mesurer des indicateurs qui attestent de la bonne exécution de chaque étape de la mise en œuvre et indiquent de quelle manière elles sont effectuées. 
  • Dans l’exemple de l’étude de cas, les chercheurs devront vérifier si : 
    • Les bonnes succursales ont proposé les comptes 
    • Les (bons) ménages ont reçu les dépliants (au moment prévu, conformément au protocole de recherche)
    • Les ménages qui ont épargné la somme convenue ont bien reçu la prime, en respectant le montant fixé de manière aléatoire 
  • Les chercheurs doivent par ailleurs contrôler à la fois les marges extensives de la qualité de la mise en œuvre (par exemple, une succursale du groupe de traitement a-t-elle déjà proposé le compte d’épargne) ainsi que les marges intensives (par exemple, combien de fois une succursale du groupe de traitement a proposé les comptes d’épargne).  
• Pour prévenir les différentes menaces qui pèsent sur la validité interne, les chercheurs doivent réfléchir à la façon dont chacune de ces menaces s’applique à leur projet². Notons que si la prise en compte et la résolution des menaces pour la validité interne est susceptible d’augmenter le coût du projet (par exemple en retardant le projet le temps d’apporter des modifications à l’enquête, de renforcer le suivi, etc.), une telle démarche permet aux chercheurs de pouvoir se fier aux résultats de leur étude.
  • Le taux d’attrition correspond au nombre de répondants que l’on ne parvient pas à retrouver à chaque vague d’enquête. Les chercheurs doivent envisager de collecter les coordonnées des participants afin de pouvoir les retrouver plus facilement lors de la vague d’enquête suivante³. Pour effectuer cette opération de façon efficace et économique, on peut réaliser une enquête téléphonique avant le début de la vague d’enquête suivante.
  • Pour contrôler la conformité à l’assignation du traitement, on peut comparer une liste de participants ayant été traités avec une liste de participants assignés aléatoirement au groupe de traitement. La façon dont les chercheurs vont pouvoir déterminer qui a réellement été traité dépend du protocole de l’intervention. Par exemple, si l’intervention est un transfert d’argent par paiement mobile, les chercheurs peuvent accéder aux données administratives pour savoir quels comptes ont reçu l’argent. Si l’intervention est une formation sur les pratiques agricoles, le personnel chargé de la mise en œuvre peut procéder au relevé des présences. Les chercheurs doivent contrôler les données relatives au statut de traitement afin d’identifier les responsables de la mise en œuvre qui permettent à un trop grand nombre de membres du groupe témoin de recevoir le traitement, ou inversement, et de les former pour éviter tout futur problème de conformité. Gardez à l’esprit que dans certains protocoles de recherche, il est important que les enquêteurs ignorent à quel groupe appartiennent les participants. Pour plus d’informations, voir la section ci-dessous sur les effets induits par les enquêteurs.
  • Les effets de diffusion peuvent être difficiles à mesurer. Les chercheurs doivent réfléchir aux façons dont la participation du groupe de traitement à l’intervention est susceptible d’affecter le groupe témoin, et surveiller ce dernier en conséquence. Dans l’exemple ci-dessus, l’un des effets de diffusion potentiels consisterait à ce que la banque retire des fonds aux succursales du groupe témoin afin de financer les taux d’intérêt plus élevés et les primes dans les succursales du groupe de traitement. Pour contrôler l’apparition d’un tel phénomène, les chercheurs auraient besoin de connaître le nombre de comptes ouverts par les succursales témoins et le montant des fonds déposés sur ces comptes, deux informations qui peuvent être obtenues à partir des données administratives de la banque. 
  • On parle d’effets induits par l’évaluation lorsque les répondants modifient leur comportement en réponse à l’évaluation plutôt qu’à l’intervention. Ces effets peuvent être difficiles à contrôler, mais de façon générale, les équipes de recherche doivent réduire au maximum les interactions entre les enquêteurs et les répondants afin de limiter le risque d’apparition de ces effets. Ces effets peuvent prendre les formes suivantes :
    • On parle d’effets d’observation lorsque les répondants (du groupe de traitement, du groupe témoin ou des deux groupes) modifient leur comportement en réaction au fait qu’ils sont observés⁴. Il est notamment possible que les répondants parviennent à deviner l’objectif du projet sur la base des questions de l’entretien et qu’ils adaptent leur comportement en conséquence. Pour mesurer les effets d’observation, une stratégie possible consiste à ajouter un groupe « témoin pur », sélectionné aléatoirement pour ne pas recevoir le traitement et être interrogé moins fréquemment que le groupe témoin ou le groupe de traitement. Par exemple, dans une étude portant sur l’impact de primes versées aux enseignants sur les résultats des élèves, les chercheurs ont créé deux groupes témoins : aucun des deux groupes n’a bénéficié de l’intervention, mais là où le groupe témoin principal a fait l’objet d’un suivi régulier (à la même fréquence que le groupe de traitement), le groupe témoin pur n’a fait l’objet d’aucun suivi (Muralidharan & Sundararaman, 2011). Le groupe témoin pur a ainsi permis aux chercheurs de déterminer si les effets du traitement étaient imputables à l’intervention ou au suivi (c’est-à-dire à la présence d’un effet d’observation). 
    • On parle d’effets enquêteurs lorsque les répondants modifient leur comportement en réaction à un enquêteur plutôt que du fait de l’intervention. Lorsque les personnes interrogées donnent leurs réponses, il est possible qu’elles le fassent en réaction au comportement ou aux caractéristiques de l’enquêteur. Par exemple, des répondantes peuvent répondre de façon moins précise à des questions sensibles lorsqu’elles sont interrogées par un enquêteur masculin (Di Maio & Fiala, 2018). Le comportement de l’enquêteur (notamment ses réactions aux réponses de la personne interrogée) est également susceptible d’influencer les réponses qu’il reçoit. Par exemple, si les enquêteurs pensent que le projet de recherche vise à acquérir une meilleure compréhension de la nutrition, il est possible qu’ils réagissent de manière subtilement positive lorsque les personnes interrogées déclarent manger des aliments à plus forte valeur nutritionnelle. Ce comportement peut alors inciter les répondants à donner des informations erronées sur leur véritable consommation alimentaire. Pour éviter les effets liés aux caractéristiques des enquêteurs, les chercheurs peuvent envisager d’effectuer une enquête pilote afin de déterminer si ces caractéristiques influencent systématiquement les réponses. Pour éviter les effets liés au comportement des enquêteurs, les chercheurs doivent dispenser une formation approfondie à ces derniers et procéder à des contrôles de la qualité des données afin de détecter la présence d’éventuels effets enquêteurs. 
  • On parle de contamination lorsqu’un facteur extérieur autre que le traitement influence les variables de résultat. Par exemple, si une ONG s’installe dans les zones d’étude et se met à proposer un programme similaire à celui étudié, la situation des participants est susceptible d’évoluer en raison du programme de l’ONG et non de l’intervention étudiée. Le contrôle des risques de contamination nécessite souvent une connaissance approfondie du contexte local. Les équipes de recherche doivent organiser des groupes de discussion avec le personnel chargé de la mise en œuvre ou les représentants des autorités locales afin de savoir si d’autres interventions ont lieu dans les zones où se déroule l’évaluation. 
• Afin d’orienter l’analyse et la rédaction des rapports ex post, il convient de documenter minutieusement toute menace pour la validité interne constatée au cours de l’intervention. Ces informations détermineront ensuite la manière dont sera menée l’analyse des données (par exemple, estimation du LATE et ITT) et pourront également aider le partenaire de mise en œuvre à améliorer son programme. La plupart du temps, cela ne nécessite pas la collecte de nouvelles données : cela consiste plutôt à documenter les problèmes rencontrés tout en surveillant les menaces qui pèsent sur la validité interne.
• Pour obtenir des informations sur la généralisation et la mise à l’échelle ex post, il faut collecter des données sur le coût de l’intervention et les détails liés au contexte. Parmi les indicateurs de coût, on peut notamment citer le nombre d’employés nécessaires à la mise en œuvre de l’intervention, leurs salaires, le coût des intrants, et les mesures du temps et des efforts consacrés à l’intervention. Les informations contextuelles incluent quant à elles les conditions locales et les capacités de mise en œuvre (par exemple le nombre d’écoles, la densité de la population ou encore les opinions en matière de vaccination).
  • J-PAL propose des ressources sur la collecte de données concernant le rapport coût-efficacité, notamment des lignes directrices et des modèles, ainsi qu’un cadre permettant d’évaluer la généralisabilité des résultats. Comme le souligne Holla (2019), la collecte de ces données peut s’avérer difficile : les organisations partenaires ne sont pas forcément disposées à partager leurs données ou peuvent s’inquiéter de la manière dont elles vont être utilisées. Dans cette perspective, il peut être bénéfique de discuter avec le partenaire du plan de collecte des données sur les coûts avant le début de l’intervention. 

Pour des recommandations générales sur la sélection des indicateurs à mesurer, voir la ressource de J-PAL intitulée Introduction aux mesures et aux indicateurs.

• Ajouter des questions aux enquêtes déjà planifiées, comme les enquêtes de mi-parcours ou de fin d’étude, peut permettre d’obtenir des informations sur le taux de conformité, les effets de diffusion et le taux de participation en vue d’une analyse ex post. Bien que les enquêtes de mi-parcours et de fin d’étude aient potentiellement lieu trop tard pour permettre de résoudre les problèmes de mise en œuvre du programme, l’ajout de questions à ces enquêtes constitue une mesure peu coûteuse susceptible de générer des informations précieuses qu’il est important de bien documenter en vue d’une analyse ultérieure. Notons toutefois que le fait d’ajouter des questions à une enquête rallonge inévitablement cette dernière, ce qui peut augmenter le coût de la formation des enquêteurs ou diminuer la productivité de ces derniers. 
• Les données administratives peuvent être utilisées par le personnel de recherche pour contrôler le taux de conformité, le taux de participation et les effets de diffusion. L’utilisation de ce type de données nécessite souvent un peu de travail en amont : par exemple, toutes les données d’enquête collectées doivent contenir un indicateur permettant de les apparier avec les données administratives. Il est important également de vérifier que la source de données administratives utilise bien les mêmes définitions que l’équipe de recherche pour tous les termes importants (tels que « ménage », « famille », « district », etc.). Si certaines données administratives fournissent un retour d’information en temps réel, elles peuvent parfois provoquer des retards dans l’analyse si elles ne sont pas générées de façon assez régulière. Enfin, ce type de données est parfois difficile à obtenir, c’est pourquoi les équipes de recherche doivent faire les démarches nécessaires pour y accéder bien en amont de l’intervention. 
• Les groupes de discussion ou les entretiens avec des informateurs clés (comme les responsables de la mise en œuvre, les participants, etc.) peuvent aider le personnel de recherche à identifier les points essentiels qui influencent la qualité de l’intervention. Il s’agit notamment des facteurs liés à la culture et au contexte local, qui n’apparaissent pas forcément de manière évidente si l’on se limite aux seules données du programme, ainsi que de la perception du programme par les personnes qui sont affectées par l’intervention, ou qui y participent. Échanger avec les responsables de la mise en œuvre et les informateurs clés peut faire émerger des informations qui ne sont pas rapportées par les répondants ni par les enquêteurs, comme les difficultés logistiques rencontrées dans le cadre de la mise en œuvre de l’intervention, les réticences des dirigeants locaux concernant le choix des bénéficiaires du programme, les problèmes de compréhension des règles du programme ou les problématiques culturelles qui peuvent affecter la manière dont le programme et/ou l’étude sont mis en œuvre et reçus, qui sont parfois difficiles à observer. Cependant, les entretiens et les groupes de discussion sont souvent plus coûteux (en termes de temps et d’argent) que d’autres formes de suivi. Lorsque vous préparez les questions à poser dans le cadre de tels groupes de discussion, tenez compte de la structure hiérarchique de l’organisme de mise en œuvre et déterminez quelles questions doivent être posées à quelle catégorie de personnel. Les groupes de discussion doivent fonctionner de pair avec les autres méthodes de suivi. Pour reprendre l’étude de cas citée plus haut, on peut par exemple imaginer que les chercheurs constatent un faible taux de participation dans plusieurs succursales et qu’ils organisent des groupes de discussion avec des membres du personnel de la banque ou des participants afin d’identifier la cause du problème.
• Les contrôles à haute fréquence (par exemple sous forme d’enquêtes sur mobile) permettent à l’équipe de recherche de suivre les taux de conformité, de participation et d’attrition par le biais de contacts brefs mais très réguliers avec les répondants. Ces enquêtes s’inscrivent parfois dans le cadre d’une enquête plus vaste de back-check. Pour plus d’informations, voir la ressource sur les contrôles de la qualité des données. Ce type de suivi s’effectue souvent par le biais d’enquêtes sur téléphone portable. Du fait de leur mode d’administration, ce type d’enquête doit se limiter à un petit nombre de questions portant sur les concepts importants. En outre, ce mode d’administration peut également limiter le type de questions qu’il est possible de poser. En effet, si les enquêtes sont envoyées par SMS, il est possible que les répondants ne puissent saisir que des chiffres ou des réponses brèves (contrairement aux enquêtes en face à face ou par téléphone, qui permettent de recueillir des réponses plus longues et des types de données supplémentaires, tels que des photos ou des enregistrements audio). Toutefois, le coût du déploiement des enquêtes sur téléphone portable est généralement assez faible. Pour limiter l’attrition, les équipes de recherche peuvent utiliser des enquêtes sur téléphone portable pour tenir à jour les coordonnées des répondants, surtout si les différentes vagues d’enquêtes sont très espacées dans le temps.
• D’autres données objectives et observables peuvent parfois être intégrées au projet. L’un des exemples les plus répandus est celui des photographies, qui sont notamment utilisées pour contrôler l’assiduité des enseignants ou pour documenter des rencontres entre la communauté et la police. D’autres projets ont par exemple utilisé des capteurs à distance pour contrôler les émissions des cuisinières. Les équipes de recherche doivent réfléchir soigneusement à la manière dont elles vont exploiter ces données, en particulier au début de l’expérimentation : si l’échantillon est important, il peut par exemple s’avérer difficile d’analyser toutes les photos de présence des enseignants⁵. Le coût de ce type de données dépend en grande partie de la possibilité pour les chercheurs d’accéder à des dispositifs existants pour les collecter. 

• Les visites sur le terrain permettent au personnel de recherche d’observer directement la qualité de la mise en œuvre du programme. Elles peuvent également être utiles pour documenter les problèmes susceptibles d’influencer l’analyse ex post. Rappelons que les visites sur le terrain doivent être soigneusement planifiées (elles sont par exemple plus utiles lorsque le personnel de recherche se présente à l’improviste), et qu’elles peuvent produire des effets Hawthorne (Evans, 2014). Une autre approche possible est celle du « client mystère », selon laquelle des enquêteurs formés et inconnus du responsable de la mise en œuvre se font passer pour des clients ou des participants potentiels.⁶

Les chercheurs doivent également décider qui va se charger du suivi de la mise en œuvre. Lors de l’élaboration du plan de suivi, ils doivent s’efforcer d’associer les agents de suivi à l’outil de suivi qui minimise les contraintes pour les répondants tout en limitant le risque de biaiser l’évaluation. 

Du point de vue des participants à l’étude, les chercheurs doivent veiller à éviter l’effet expérimentateur, causé par des interactions trop fréquentes avec le personnel de l’étude. Dans cette perspective, ils peuvent donc envisager d’ajouter des questions supplémentaires à une enquête déjà prévue (par exemple des questions de back-check à l’enquête de fin d’étude), ou de réaliser des enquêtes sur téléphone portable pour collecter des informations sur un petit nombre d’indicateurs clés. Les groupes de discussion réunissant des participants peuvent livrer des enseignements précieux, mais doivent être planifiés avec soin : le personnel de recherche risque en effet de donner des indices aux participants concernant le protocole de l’étude et d’introduire ainsi un biais de désirabilité sociale susceptible d’influencer leurs réponses. ⁷

Dans la mesure où il met directement en œuvre le programme, le personnel chargé de la mise en œuvre peut fournir des retours d’information précieux sur les raisons de l’efficacité ou de l’inefficacité du programme. Envisagez de faire appel à ce personnel pour générer des données administratives, comme un registre de présence lors d’une formation, ou pour collecter des données objectives, comme des photos des participants pendant ladite formation. 

En plus de réaliser les enquêtes, les enquêteurs et le personnel de recherche peuvent également effectuer des visites sur le terrain et animer des groupes de discussion. Il faut toutefois veiller à ce que le personnel de recherche n’introduise pas de biais de désirabilité sociale. Les chercheurs doivent aussi organiser régulièrement des conversations libres avec le personnel de terrain pour se faire une idée générale de la façon dont se déroule l’évaluation 

Il est souvent possible de collecter des données administratives par le biais de systèmes existants (par exemple, les applications de banque mobile, les registres de présence des élèves, etc.). Les chercheurs doivent mettre en place des procédures pour accéder à ces systèmes et les tester avant la mise en œuvre de l’intervention sur le terrain.
Une fois que l’équipe de recherche a choisi ses indicateurs, ses outils de suivi et ses responsables du suivi, l’étape suivante consiste à créer un plan de suivi. Pour plus d’informations sur la création de ce type de plan, voir la ressource intitulée Plans de suivi en temps réel et d’intervention.

Dernière mise à jour en février 2021

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.

Ce document a été traduit de l’anglais par Marion Beaujard.