Travailler avec un organisme d’enquête extérieur

Une équipe de recherche peut décider de confier la conduite de l’enquête à un organisme indépendant plutôt que de la réaliser en interne si les capacités ou l’expérience de l’établissement de recherche auprès d’une population donnée sont limitées et s’il existe des organismes d’enquête bien établis dans la région. Notons cependant que les organismes d’enquête n’ont pas forcément d’expérience dans le domaine de l’évaluation aléatoire. Cette ressource s’appuie sur l’expérience du personnel et des chercheurs de J-PAL dans différentes régions et dans le cadre d’un large éventail d’évaluations aléatoires. Elle fournit des conseils pour aider les chercheurs à identifier et à engager un organisme, ainsi que des recommandations pour s’assurer que les activités d’enquête répondent bien aux besoins de l’évaluation aléatoire. Cette ressource part du principe que c’est l’équipe de recherche qui est chargée de concevoir, de réviser et d’approuver l’étude et l’enquête. Elle ne couvre donc que les aspects de la conception de l’enquête ou de l’étude qui doivent absolument être passés en revue avec l’organisme externe. Tous les exemples sont donnés à titre d’illustration et n’ont pas vocation à être normatifs ou exhaustifs.

La décision de réaliser une enquête en interne ou de l'externaliser dépend de plusieurs éléments clés :

• D'abord, il est important d'évaluer la capacité de l'organisation de recherche à mener une enquête en interne dans les délais impartis. Les entreprises spécialisées dans les sondages disposent souvent déjà d'une infrastructure et de réseaux de partenaires ou fournisseurs capables de gérer des aspects complexes ou chronophages. Cela inclut l'identification et le recrutement du personnel nécessaire (enquêteurs et superviseurs), la gestion des contrats et des paiements, ainsi que toute la logistique sur le terrain (organisation des visites, mise en place des transports ou de l'hébergement, rémunération des enquêteurs, etc.).
• Il est également crucial de tenir compte des connaissances locales, comme l'expérience avec la population cible, les langues parlées, les moyens de transport disponibles, et les possibilités d'hébergement. Il faut se demander si les entreprises locales de sondage possèdent une meilleure expertise que l'équipe de recherche en ce qui concerne la population concernée. Il peut aussi être pertinent de vérifier si ces entreprises ont une expérience spécifique sur le sujet de l'étude (par exemple, l'éducation, la santé ou l'énergie). Si aucune entreprise n'a d'expérience dans la région, avec la population ou le thème de l'étude, il peut être préférable de recruter les enquêteurs en interne.
• L'aspect financier est également déterminant. Mener une enquête représente un coût important, qu'elle soit réalisée en interne ou externalisée. Faire appel à une entreprise externe peut être plus coûteux, mais les coûts sont souvent mieux anticipés car ils sont fixés à l'avance. À l'inverse, une entreprise peut sembler moins chère, mais ne pas avoir prévu un budget suffisant pour assurer le contrôle qualité. Il est essentiel de prendre en compte le coût total dans chaque cas, y compris le temps passé par l'équipe de recherche pour examiner les propositions, négocier les contrats, et effectuer les vérifications de qualité des données. Certains coûts peuvent aussi être renégociés. Bien que les estimations précises soient obtenues lors du processus de demande de propositions (RFP), les informations provenant d'expériences passées ou la connaissance générale des entreprises (certaines étant connues pour être plus coûteuses ou abordables) peuvent vous aider à évaluer les coûts d'une collaboration. Consultez la section "Négociation d'un contrat" pour plus de détails sur ce qui peut être négocié.

Si vous en avez le temps, il peut être utile de lancer un appel d’offres ouvert pour comparer les différentes entreprises sur la base de critères comme le coût et la valeur ajoutée. En outre, les différents projets de budget fournis par les organismes candidats vous donneront une idée des éléments qui peuvent faire l’objet d’une négociation en vue d’améliorer le rapport coût/efficacité. Si votre temps est compté, vous pouvez opter pour un appel d’offres direct (dans le cadre duquel un organisme d’enquête connu ou régulièrement utilisé est sollicité, puis engagé). Les chercheurs doivent alors collaborer étroitement avec l’équipe responsable des marchés publics au sein de leur organisation afin de respecter les exigences en matière de passation de marchés. En effet, les universités et autres organismes exigent parfois la mise en place d’une procédure de sélection concurrentielle pour les achats ou les services dont le prix est supérieur à un certain seuil. Ils peuvent également avoir des exigences spécifiques concernant la procédure de sélection, les contrats, ou les termes de ces derniers¹. Le processus décrit ci-dessous est caractéristique d’une procédure d’appel d’offres ouvert, bien que le calendrier puisse varier en fonction des capacités de l’équipe et de la disponibilité des organismes d’enquête. 

Identifier des organismes d’enquête

Pour dresser une liste de prestataires potentiels, vous pouvez consulter vos partenaires locaux ou d’autres chercheurs ayant travaillé dans votre zone d’étude, tout en effectuant des recherches documentaires en parallèle. Par exemple, certains bureaux de J-PAL possèdent une base de données recensant tous les organismes d’enquête avec lesquels ils ont déjà collaboré. Pour identifier et comparer les organismes d’enquête potentiels, il faut tenir compte des facteurs suivants :

• Expertise de l’organisme d’enquête : L’organisme a-t-il déjà mené des études similaires, ou possède-t-il une connaissance approfondie du sujet de l’étude (par exemple, l’éducation, la santé, l’énergie) et de l’endroit où elle va être menée ? L’organisme a-t-il une connaissance particulière de la population cible de l’étude ?
• Expérience de la recherche : L’organisme a-t-il déjà réalisé une enquête dans le cadre d’une évaluation aléatoire ou de toute autre forme d’évaluation d’impact ? Sur ce point, l’expertise des collaborateurs de haut niveau, comme les conseillers ou les directeurs, peut apporter un complément d’information utile (par exemple si certains d’entre eux ont une expérience dans le domaine de la recherche). 
• Réseau : L’organisme dispose-t-il d’un réseau établi de parties prenantes ou de fournisseurs pertinents (par exemple, des imprimeries, des fournisseurs d’adresses et de numéros de téléphone) qui travaillent dans la zone géographique ou dans le domaine de votre étude ? 
• Méthodes d’enquête et technologies : L’organisme possède-t-il un bagage de compétences spécifiques, comme la connaissance des méthodes d’enquête (par courrier, par téléphone, en face à face) ou la maîtrise d’outils technologiques spécifiques, qui sont susceptibles d’apporter une plus-value au processus de collecte des données ?
• Échelle : L’organisme a-t-il déjà mené avec succès des enquêtes d’une envergure et d’une portée similaires à celles de l’enquête envisagée ?
• Structure de l’organisme : La structure de l’organisme d’enquête correspond-elle aux besoins spécifiques de l’étude ? Pour les enquêtes qui nécessitent une formation sur mesure pour les enquêteurs ou dont la gestion doit être assurée par l’équipe de recherche, il peut être préférable d’opter pour une petite entreprise dont les employés sont étroitement supervisés. En revanche, une étude à grande échelle qui couvre une vaste zone géographique ou qui porte sur un échantillon de taille importante peut surtout avoir besoin de main-d’œuvre supplémentaire, auquel cas les grands organismes d’enquête peuvent présenter un avantage comparatif plus important. 
• Informations préliminaires sur les coûts : Y a-t-il des informations disponibles sur le coût des services ? Des estimations budgétaires précises vous seront fournies dans le cadre de la procédure d’appel d’offres, mais il peut néanmoins être utile de chercher des informations de tarification, qu’il s’agisse du coût de missions antérieures ou de connaissances générales (certaines entreprises sont connues pour être particulièrement chères). Ces informations vous aideront à écarter les entreprises dont les coûts sont réputés trop élevés pour une mission donnée. 

Après avoir recueilli et comparé des informations sur un premier ensemble de prestataires, l’étape suivante consiste à notifier les organismes pressentis. Certaines organisations de recherche ont déjà un dispositif spécifique en vigueur pour ce type de démarches. Si c’est le cas, suivez cette procédure. La section qui suit fournit des informations générales sur la forme que peuvent prendre ces démarches.

Définir les Termes de référence

Une description détaillée des activités d’enquête envisagées, ainsi que du contexte et des objectifs de l’évaluation globale, est indispensable pour permettre aux organismes d’enquête potentiels de déterminer s’ils peuvent répondre à l’appel d’offres et comment procéder. Cette description détaillée est donnée dans les termes de référence (TdR). Une sous-section de ce document, le cahier des charges, décrit l’ensemble des activités que l’organisme sera chargé de réaliser, qu’il s’agisse d’une seule vague de collecte de données ou de la totalité des activités d’enquête. Même si ce cahier des charges, c’est-à-dire la description des prestations pour lesquelles l’organisme sera engagé, ne couvre qu’une petite partie des activités d’évaluation, les termes de référence doivent fournir suffisamment de contexte pour que le prestataire comprenne comment les travaux sous-traités s’intègrent à l’ensemble du projet.

Le format et le processus d’élaboration des termes de référence peuvent varier selon le projet, les exigences de l’établissement de recherche et les pratiques locales. Ce document fait généralement entre 5 et 10 pages, avec des annexes fournissant des informations supplémentaires le cas échéant, et il est généralement joint au contrat. À titre d’exemple, vous pouvez consulter ces termes de référence génériques concernant une enquête initiale. Des ressources supplémentaires pour la rédaction des termes de référence sont disponibles dans la section « Ressources ». Vous trouverez ci-dessous les principaux éléments qui peuvent être inclus dans les termes de référence, accompagnés d’une brève description et des considérations qui s’y rapportent.

1. Le résumé est une brève présentation du projet, incluant notamment l’objectif de la recherche et la (ou les) variable(s) d’intérêt. 
2. Une introduction ou une section d’information sur le contexte présente brièvement aux organismes l’historique du projet de recherche. Le contexte décrit peut concerner la région où les données seront collectées ou des facteurs sociaux, réglementaires ou politiques susceptibles d’influencer la mise en œuvre du projet dans le cadre des activités contractuelles. 
3. Une section sur le contexte et l’objectif de l’évaluation définit le cadre du projet, ce qui aidera les organismes à mieux saisir la portée de l’évaluation globale. Elle peut inclure la théorie du changement², le calendrier complet et la zone géographique de l’étude, ainsi qu’un résumé des activités existantes ou programmées dans le cadre de l’évaluation³. 
4. Le cahier des charges détaille les prestations que l’organisme sera chargé de réaliser, ainsi que l’approche et la méthodologie qu’il devra adopter. Cette section inclut des éléments clés comme la taille de l’échantillon, les indicateurs de processus à mesurer et la disponibilité des données pertinentes. Les éléments à inclure peuvent varier d’un projet à l’autre en fonction de l’intervention, de la procédure de collecte des données et des services sous-traités. Cette section peut spécifier, ou demander aux entreprises de proposer, un système de primes ou d’incitations accordées aux répondants et aux enquêteurs pour garantir la qualité des données et un taux de réponse élevé. Dans le cadre d’une procédure d’appel d’offres, évaluer la manière dont les prestataires potentiels interprètent l’approche et la méthodologie de la collecte de données est essentiel pour déterminer leur niveau de compréhension. Cette section consacrée aux propositions des prestataires permettra à ces derniers de se distinguer aussi bien en termes de qualité que de la manière dont ils prévoient de mettre en œuvre la méthodologie définie par l’équipe de recherche. La définition de l’approche souhaitée ou la description des activités prévues est l’un des points les plus délicats de la rédaction du cahier des charges. Il n’est pas toujours possible de définir un ensemble d’activités complet et détaillé, en particulier dans le cas d’un contrat portant sur l’élaboration d’un processus (par exemple, une enquête pilote), pour lequel il peut être difficile de prévoir le budget, le calendrier et les activités potentielles. Dans ce type de cas, il est important de souligner que le cahier des charges concerne un projet pilote et qu’il existe donc nécessairement une certaine marge d’exploration. Mettez l’accent sur le processus ou les documents qui doivent être élaborés dans le cadre du cahier des charges, tout en fournissant autant de détails que possible sur les paramètres connus. Par exemple, si le budget, le calendrier ou la taille de l’échantillon sont déjà fixés, précisez-le. 
5. Mentionnez le contrôle de la qualité, y compris toutes les procédures de contrôle et de suivi que les organismes devront mettre en œuvre pour garantir la qualité de la collecte des données, ainsi que toutes les procédures requises en matière de sécurité des données. Ces mesures peuvent inclure l’obligation d’effectuer une rétro-traduction indépendante (c’est-à-dire de retraduire dans la langue d’origine un questionnaire ou autre document déjà traduit) et de piloter les questionnaires avant le début de la collecte des données ; de contrôler et d’auditer régulièrement les activités des enquêteurs ; de surveiller le taux de non-réponse et de mettre en place une stratégie pour faire face aux problèmes comme l’attrition ; d’effectuer une double saisie des données si la collecte de données se fait sur papier ; et de vérifier régulièrement les taux d’erreur. Enfin, cette section peut imposer à l’entreprise d’effectuer un suivi sur le terrain en coordination avec l’équipe de recherche, ou de laisser le temps et la possibilité aux membres de l’équipe de recherche de passer en revue l’ensemble des supports de formation et d’assister aux formations. Les considérations spécifiques relatives au contrôle de la qualité sont exposées plus en détail dans la section intitulée « Garantir la réussite de l’étude ».
6. Une section consacrée au personnel clé et aux qualifications nécessaires pour mener à bien l’évaluation précise la taille de l’équipe requise, le rôle de chaque membre de l’équipe, les qualifications ou l’expérience souhaitées pour chaque membre de l’équipe, ainsi que le rôle du chef de l’équipe. Les organismes doivent soumettre leur CV, ainsi que des références ou quelques exemples de rapports d’évaluation passés.
7. Le calendrier et les livrables prévus doivent être détaillés, explicites et raisonnables. Vérifiez que les éléments livrables sont réalisables compte tenu du budget et du calendrier du projet. Tout comme le cahier des charges, cette section doit faire l’objet d’une attention particulière, notamment dans le cas d’un projet pilote ou dans tout autre cas où des incertitudes persistent⁴. Définir clairement les attentes dans le cahier des charges permettra d’éviter les malentendus par la suite au cours de l’enquête. Les directives concernant les éléments livrables comprennent généralement les informations suivantes : 
   1. Type de produits : Il peut s’agir du transfert en temps réel ou régulier de données brutes et/ou traitées, de livres de codes, de questionnaires traduits, de protocoles expérimentaux rédigés, d’un plan de sécurité des données, de supports de formation, de rapports de mise en œuvre et de suivi sur le terrain, de rapports sur les taux de réponse, de rapports sur le contrôle de la qualité (par exemple, une synthèse des contrôles à haute fréquence), ou encore de produits exigés par les bailleurs de fonds du projet. Dans l’idéal, chaque élément doit être répertorié individuellement afin de pouvoir spécifier chacune des exigences et le calendrier de soumission du livrable en question par le prestataire. 
   2. Structure et format du produit : S’il s’agit d’un document écrit, indiquez la longueur du rapport attendu, les principaux éléments de contenu et la langue dans laquelle il doit être rédigé. S’il s’agit de données, précisez le format attendu, le type de fichier et la documentation à fournir. Indiquez si vous souhaitez bénéficier d’un accès en direct aux données, à des extraits de données brutes ou à des rapports formatés.
   3. Calendrier des livrables : Ce calendrier doit préciser les étapes clés en indiquant clairement les livrables et les échéances associés à chacune de ces étapes (sous forme de liste à puces ou de diagramme de Gantt, par exemple). 
   4. Réunions ou coordination requises : Il s’agit ici d’établir des points de contact entre l’entreprise et l’équipe de recherche (qui peuvent par exemple prendre la forme d’e-mails hebdomadaires pour faire le point, d’appels téléphoniques réguliers ou d’une synthèse écrite des observations des enquêteurs sur les enseignements tirés de la conduite de l’enquête). 
8. Les budgets et la rémunération peuvent être libres ou imposés. Les termes de référence peuvent fournir un budget global et demander aux organismes d’indiquer ce qu’ils seraient en mesure de proposer dans le cadre de ce budget, ou bien spécifier les postes budgétaires à inclure en demandant aux candidats d’établir leur propre budget sur la base de ces catégories. La première approche peut être utile aux premiers stades de la conception de la recherche, tandis que la seconde option permet de comparer plus facilement le coût de chaque activité d’un organisme à l’autre. Cette section explique les modalités de paiement, y compris la procédure de facturation, le calendrier et les moyens de paiement. Les organismes doivent être invités à soumettre une proposition financière accompagnée d’une feuille de calcul ou d’un tableau du budget prévisionnel et de notes explicatives justifiant les coûts et démontrant en quoi ce budget est adéquat pour mener à bien les activités prévues dans les termes de référence. Il peut être utile d’exiger un certain degré de transparence dans le calcul des coûts, en demandant par exemple aux entreprises de préciser le coût unitaire de la main-d’œuvre et du matériel, pour pouvoir évaluer les avantages et les inconvénients des différents organismes d’enquête. Il peut également être utile de ménager une certaine marge de manœuvre dans le contrat, notamment dans la section relative au budget et aux paiements. Par exemple, si le contrat proposé porte sur un projet pilote, ou sur un projet qui comporte une part d’incertitude (par exemple concernant le taux de réponse) susceptible de nécessiter une modification substantielle des méthodes, une solution possible consiste à demander le coût d’un éventail de possibilités et à négocier sur la base d’une gamme de prix. Après avoir piloté différentes méthodes, ou une fois les incertitudes levées (par exemple, une fois que le taux de réponse est connu), l’équipe de recherche pourra alors choisir la méthodologie la plus adaptée sur la base d’un barème de coûts déjà négocié et connu.

Les termes de référence doivent être examinés par les équipes concernées (par exemple le service financier ou le personnel chargé des contrats dans l’établissement de l’équipe de recherche) afin de s’assurer qu’ils sont conformes aux procédures internes de passation de contrats et de marchés. Une fois les termes de référence finalisés et publiés, il est possible que des organismes candidats vous sollicitent pour en discuter et pour obtenir des éclaircissements.

Examiner les offres des organismes candidats 

Une fois les offres soumises, il convient de présélectionner deux ou trois organismes, même si ce nombre peut varier en fonction de la politique de l’établissement de recherche ou de la qualité des offres. Ce processus de présélection est nécessaire pour déterminer de façon stratégique quels organismes d’enquête vous souhaitez rencontrer pour clarifier certains points et négocier en vue de signer un contrat. Pour évaluer objectivement les forces et les faiblesses de chaque organisme, il est recommandé de définir un ensemble de paramètres basés sur des critères prédéterminés, comme indiqué plus haut. Il faut notamment procéder à un premier examen des budgets proposés afin d’identifier l’offre qui présente le meilleur rapport qualité-prix tout en étant susceptible de fournir un travail de qualité. Vous pouvez créer un tableau récapitulatif pour visualiser dans quelle mesure la proposition de chaque entreprise répond à l’ensemble des critères (à titre d’exemple, voir le modèle d’évaluation des organismes d’enquête de J-PAL (.xls en téléchargement direct). Il est également important de vérifier les références des organismes, que ce soit avant de procéder à la présélection ou avant de finaliser le contrat.

4. Rencontrer les organismes présélectionnés

Les rencontres avec les organismes présélectionnés ont pour but de confirmer que ceux-ci sont en mesure d’honorer leur proposition et de discuter plus en détail du projet. Elles peuvent être l’occasion d’évoquer les points les plus ambigus des termes de référence (par exemple, si le contrat porte sur un projet pilote, pour déterminer si l’équipe de recherche et l’organisme ont la même vision des activités qu’un projet pilote peut comporter). Posez également des questions sur le cahier des charges proposé et sur les points qui pourraient nécessiter une modification du contrat. Par exemple, vérifiez que le prestataire est bien conscient qu’un projet pilote peut faire l’objet de modifications, comme par exemple l’ajout de courriers, d’enquêtes ou d’appels téléphoniques supplémentaires.

Ces réunions peuvent également être l’occasion de discuter en détail des procédures de l’organisme en matière de collecte des données et de contrôle de la qualité, afin de déterminer si celui-ci est en mesure de garantir le niveau de qualité requis pour votre enquête. Il est d’usage de préciser que ces réunions préliminaires font partie de la procédure d’appel d’offres et que l’équipe n’a pas encore arrêté son choix concernant l’organisme qui sera retenu.

Négocier et finaliser le contrat

Négocier le budget

Le processus de négociation du budget peut être long et compliqué, et se déroule en général parallèlement à la procédure contractuelle. L’objectif est de maintenir de bonnes relations avec l’organisme d’enquête et de mettre en marche le projet en respectant les limites du budget et sans compromettre la qualité. Avant de commencer les négociations, il est essentiel d’avoir réfléchi aux points suivants : 

1. Déterminez si le budget prend raisonnablement en compte l’ensemble des activités de recherche. Si possible, comparez ce budget à ceux de projets similaires ou aux budgets que l’organisme avait soumis pour des projets antérieurs. Pour ce faire, il est conseillé de vous mettre en relation avec quelqu’un qui a de l’expérience et des connaissances locales dans ce domaine, comme un partenaire local, un chef de projet ou un membre de l’équipe financière.
2. Identifiez les limites du budget et les éléments qui ne peuvent pas faire l’objet de compromis. 
3. Notez les éléments à négocier. D’après notre expérience, les principaux postes budgétaires susceptibles de faire l’objet de négociations sont les suivants :
4. La conception du questionnaire (y compris sa programmation et sa traduction) peut parfois être réalisée à moindre coût en mobilisant les ressources internes de l’équipe ou de l’organisme de recherche. 
5. Les incitations destinées aux répondants (indemnisation pour le temps consacré à l’enquête) dépendent du profil des répondants, de la durée de l’enquête et de la zone d’échantillonnage. Certains organismes d’enquête ont suffisamment d’expérience dans ce domaine pour pouvoir vous recommander des mesures incitatives adaptées aux répondants (argent liquide, bons, articles, etc.). Consultez l’organisme pour identifier une mesure incitative qui respecte les limites du budget, dont le transport et la distribution sont faisables d’un point de vue logistique, et qui dédommage correctement les répondants pour le temps qu’ils auront consacré à l’enquête⁵. Acheter en gros peut réduire le coût des incitations. 
6. Les frais généraux (également appelés frais de gestion) peuvent varier d’un organisme à l’autre. Si les frais de l’organisme présélectionné sont élevés et que le coût global pose problème, voyez s'il est possible d’en négocier le montant.
7. Les éléments divers doivent être évalués afin de déterminer dans quelle mesure ils sont essentiels au projet et s’ils peuvent être réalisés en interne ou selon d’autres modalités (par exemple, enquêtes en face à face vs. par téléphone).
8. Vérifiez que l’organisme d’enquête n’a oublié aucune activité clé du processus de collecte des données (par exemple, le pilotage, le recensement, la réalisation des contrôles inopinés et des back-checks). S’il manque des activités, envisagez de revoir le budget ou le cahier des charges pour vous assurer que toutes les activités clés y sont incluses.

Le processus de négociation peut être délicat, c'est pourquoi il doit être mené par des membres du personnel cadre, comme les chercheurs, les responsables du projet ou les membres de l’équipe financière. Le personnel chargé de la négociation doit être bien préparé et avoir une bonne compréhension du budget disponible, du degré de flexibilité du budget global et des postes spécifiques, et de l’impact que pourrait avoir un dépassement sur le reste du projet. En outre, le personnel doit garder à l’esprit qu’il est essentiel de maintenir de bonnes relations avec le prestataire, en particulier s’il s’agit du seul candidat viable. 

Rédiger un contrat

Une fois l’organisme d’enquête sélectionné, l’équipe de recherche doit rédiger un contrat en collaboration avec l’équipe compétente au sein de son organisation (par exemple le service financier, le bureau des marchés publics ou le bureau des affaires juridiques). Ces équipes peuvent avoir à disposition des contrats-types et connaîtront les dispositions légales permettant de protéger l’équipe de recherche en cas de rupture de contrat. 

Le contrat doit définir les droits et les obligations des parties concernées. Il doit être suffisamment spécifique et inclure les activités et les exigences décrites dans les termes de référence (ces derniers servent souvent de base au contrat ou sont joints en annexe), y compris les éléments livrables ou les exigences qui ont fait l’objet de spécifications supplémentaires dans le cadre de la soumission de l’offre et du processus de négociation. Le contrat doit également prévoir les conséquences qui peuvent s’appliquer si le travail fourni par le prestataire ne respecte pas les exigences de qualité. Plus le contrat est détaillé, plus l’organisme d’enquête sait ce qu’on attend de lui, et plus il est facile de le faire appliquer ou d’y mettre un terme légalement. Outre les éléments figurant dans les termes de référence, le contrat peut inclure les points suivants : 

• Obligations en matière de rapports financiers
  • Il peut s’agir, par exemple, de rapports et de projections de coûts respectant un format donné et soumis selon un calendrier précis. 
• Calendrier et livrables
  • Outre le calendrier et les livrables décrits dans la section « Définir les termes de référence », le contrat doit actualiser les TDR selon les besoins en précisant les dates, les activités et les livrables spécifiques (et non plus relatifs), et en précisant les paiements ou les incitations associés à la soumission (ou non) des livrables. 
• Conditions de propriété des données
  • L’équipe de recherche est généralement propriétaire de toutes les données collectées par un organisme d’enquête extérieur, y compris les réponses et les coordonnées des personnes interrogées. 
• Accords de confidentialité
  • Ces accords interdisent aux prestataires et à leurs employés de partager des données et exigent le chiffrement des informations d’identification personnelle. 
• Procédure pour établir un avenant au contrat
  • Il est parfois nécessaire d’établir un avenant pour modifier le calendrier en raison de retards ou de circonstances imprévues, ou pour modifier le cahier des charges, par exemple sur la base des résultats du projet pilote ou pour répondre aux demandes des partenaires du projet ou des bailleurs de fonds. 

Une fois le projet de contrat rédigé, attendez-vous à ce que celui-ci fasse l’objet de négociations et de modifications afin de répondre au mieux aux besoins des chercheurs et de l’organisme d’enquête. Une fois que l’équipe de recherche et le prestataire se sont mis d’accord sur le contrat, celui-ci doit être examiné par l’équipe financière ou juridique ou par le bureau chargé des contrats au sein de l’organisme du chercheur, puis être signé par une personne habilitée à signer au nom de l’établissement.

Mettre en œuvre une enquête dans le contexte d’une évaluation aléatoire nécessite un travail spécifique de planification et de coordination qui peut être inédit pour des organismes d’enquête par ailleurs très expérimentés. Par exemple, ces organismes n’ont pas forcément d’expérience pour ce qui est de veiller à l’équilibre entre les bras expérimentaux et de garantir le bon enchaînement des activités d’enquête avec les activités de l’intervention et/ou entre les différents bras expérimentaux. Les chercheurs doivent définir les éléments livrables, les grandes étapes du projet et les modalités de paiement pour garantir la mise en place d’incitations efficaces à collecter des données de qualité. Ils doivent également fixer des attentes qui lui permettront de recevoir des informations en temps réel sur les activités du projet. L’équipe de recherche doit en outre expliquer clairement à l’organisme d’enquête toutes les considérations et les normes en matière de données qui sont propres aux évaluations aléatoires. Discuter ouvertement des rôles et des attentes concernant ces différents éléments au cours de la phase de négociation et de conclusion du contrat, puis les intégrer dans le contrat, contribue à préciser les objectifs à atteindre, les livrables attendus et les indicateurs à suivre. Cette section présente les questions qui sont propres aux évaluations aléatoires et au protocole de l’étude, quelques considérations plus générales sur l’étude et des recommandations en matière de gestion de projet qui visent à garantir la réussite de l’étude. En reconnaissant bien sûr l’expertise de l’organisme d’enquête, qui est la raison pour laquelle vous l’avez choisi, il est important de communiquer efficacement sur toutes ces questions en expliquant comment les activités ou exigences spécifiques s’intègrent dans l’étude globale. Cela facilite l’identification rapide des problèmes et favorise la mise en place d’un dialogue constructif permettant de les résoudre sans rejeter la faute sur personne.

Considérations spécifiques aux évaluations aléatoires et au protocole de l’étude

Si les organismes d’enquête peuvent avoir une expertise en matière de réalisation d’enquêtes et d’identification d’échantillons représentatifs, elles n’ont pas forcément d’expérience en matière de recrutement et de randomisation des participants, de recueil du consentement éclairé de ces derniers et d’inscription à l’étude. Il est donc important de travailler en étroite collaboration avec le prestataire chargé de l’enquête pour venir compléter son expertise en abordant avec lui les éléments suivants, qui sont d’une importance fondamentale dans le cadre d’une évaluation aléatoire :

• Les procédures d’admission à l’étude, de recueil du consentement et de notification de l’assignation aléatoire sont conçues de façon à maximiser le taux de réponse aux vagues d’enquête en cours et à venir, à maximiser le respect de l’assignation du traitement et à favoriser l’exactitude des réponses. Le calendrier et la mise en œuvre de ces procédures peuvent avoir des conséquences majeures sur la puissance statistique, l’introduction de biais, les contraintes imposées aux répondants et/ou aux enquêteurs, ainsi que sur les coûts. Pour plus d’informations, voir la ressource Définir la procédure d’admission et de recueil du consentement. 
• Les taux de réponse attendus doivent être suffisants pour atteindre la puissance statistique nécessaire, et les répondants doivent être représentatifs de l’échantillon prévu. En vous appuyant sur l’expérience de l’organisme d’enquête et/ou en effectuant des recherches documentaires, identifiez les taux de réponse attendus pour l’ensemble de l'échantillon et les sous-groupes essentiels. En collaboration avec l’organisme d’enquête, étudiez les solutions possibles pour maximiser le taux de réponse et bien répartir le travail d’enquête. Par exemple, si l’étude couvre plusieurs sites géographiques, le taux de réponse attendu peut varier d’une région à l’autre. Ajustez le nombre de personnes à contacter dans chaque région pour tenir compte de ces différences tout en conservant un échantillon représentatif de la population cible et suffisamment grand pour préserver la puissance statistique. Si le protocole de recherche nécessite que l’échantillon soit équilibré au niveau de certaines caractéristiques, veillez à ce que le contrat conclu avec l’organisme d’enquête spécifie la composition de l’échantillon, et pas seulement sa taille globale. Voir la présentation de J-PAL sur l’échantillonnage et la taille de l’échantillon.

Si c’est l’organisme d’enquête qui procède à l’assignation aléatoire, insistez bien sur le fait que l’assignation du traitement n’est pas manipulable. L’équipe de recherche doit préciser quels contrôles du protocole de randomisation le prestataire devra effectuer (par exemple, l’analyse de statistiques sommaires pour un ensemble de caractéristiques prédéterminées) et quelles données devront être fournies pour confirmer que la randomisation a été correctement effectuée. Ce point est particulièrement important si l’équipe de recherche n’a pas accès à la liste randomisée ou aux données brutes. La ressource Évaluer les interventions basées sur la technologie donne des conseils supplémentaires pour le contrôle de la procédure de randomisation et de l’échantillon lorsqu’une autre entité est chargée de mettre en œuvre l’assignation aléatoire⁶.

Considérations générales sur l’étude

Conception des sondages.

L'équipe de recherche doit être responsable de la conception, de la révision et de l'approbation de tous les questionnaires (voir également notre ressource sur la conception des sondages). Toutefois, le contrat peut spécifier que l’entreprise de sondage est chargée de traduire le questionnaire dans la ou les langues locales et, dans le cadre d'une procédure d'assurance qualité, de réaliser une retraduction indépendante. Cela signifie qu'il faut retraduire le questionnaire traduit dans la langue d'origine (souvent l'anglais) pour vérifier l'exactitude de la traduction.

Programmation des sondages

La programmation des sondages peut être réalisée soit par l'équipe de recherche, soit par l'entreprise externe, selon l'expertise disponible avec les logiciels de sondage pertinents (par exemple, SurveyCTO, SurveySolutions, ODK, etc.) et les capacités. Dans tous les cas, si l'entreprise de sondage est responsable de la traduction et/ou de la programmation du questionnaire, les questionnaires traduits ou programmés doivent être inclus comme livrables, avec un calendrier précis spécifié dans le contrat (voir la section sur le calendrier et les livrables ci-dessous).

Recrutement et formation des enquêteurs

Structure de l'équipe d'enquêteurs
L'équipe de recherche peut définir des attentes quant à la taille et à la structure de l'équipe nécessaire, notamment en ce qui concerne le ratio superviseur/enquêteur ou un ratio de genre souhaité (si applicable), ainsi que les compétences ou l'expérience souhaitées pour chaque membre de l'équipe. Ces attentes doivent être clairement définies dans les Termes de Référence (TdR), qui seront ensuite ajoutés au contrat (voir la section sur l'élaboration des Termes de Référence ci-dessus).

Si la population étudiée comprend des individus ayant vécu des traumatismes ou si les questions du sondage abordent des sujets douloureux, les enquêteurs doivent être formés pour interagir avec ces personnes sans leur causer de nouveaux traumatismes et être prêts à répondre de manière appropriée aux signes de détresse ou aux demandes d'assistance liées aux sujets de l'enquête. Dans certains cas, il peut être nécessaire de restreindre le type d'enquêteurs qui mèneront les entretiens si des questions sensibles sont en jeu (par exemple, exiger que les enquêteurs interviewant des femmes sur la violence conjugale soient des femmes). Assurez-vous que l'entreprise de sondage identifie des enquêteurs ayant les compétences, l'expérience et les caractéristiques appropriées, comme spécifié dans les TdR.

Formation des enquêteurs
Il est difficile de surestimer l'importance de la formation des enquêteurs. La formation est une occasion clé pour l'équipe de recherche de communiquer directement avec le personnel chargé des sondages et de s'assurer qu'ils comprennent bien les instruments de l'enquête, les protocoles et la technologie associée. Il est donc fortement recommandé que le personnel de recherche dirige, ou du moins coanime, la formation avec l'entreprise de sondage. Ainsi, l'équipe de recherche devrait développer ou, à tout le moins, revoir les plans et protocoles de formation afin de les ajuster si nécessaire. Consultez la ressource sur le recrutement et la formation des enquêteurs pour des informations sur la manière de développer des formations ainsi que des stratégies de recyclage, si besoin.

Dans certains cas, il peut être envisageable que l'équipe de recherche forme des formateurs qui mèneront ensuite la formation finale des enquêteurs. Dans ce cas, l'équipe de recherche pourrait assister à la formation finale pour s'assurer que tout le contenu pertinent est bien couvert et répondre aux questions.

Selon les comités d'éthique (IRB) auprès desquels l'étude est enregistrée, il peut également être nécessaire que les enquêteurs suivent une formation CITI. Si la formation CITI n'est pas requise, des ressources alternatives sur l'éthique de la recherche sont disponibles pour garantir que les enquêteurs reçoivent une formation sur la recherche impliquant des sujets humains. Cette question est abordée plus en détail dans la ressource sur la conduite éthique des évaluations randomisées. Il est également important d'inclure une formation sur la confidentialité, en insistant sur les conséquences de la violation de la confidentialité des participants, et de faire signer aux enquêteurs des accords de confidentialité avant de commencer le travail de terrain. Pour plus d'informations sur les accords de confidentialité des données, consultez notre ressource sur le recrutement et la formation des enquêteurs.

Logistique des enquêtes et gestion de l'équipe de terrain

Performance des enquêteurs, rémunération et incitations

Discutez avec l'entreprise de sondage des méthodes utilisées pour suivre la performance individuelle des enquêteurs et évaluez si ces procédures sont suffisantes pour l'étude. Il est important de collaborer avec l'entreprise pour définir des objectifs de performance des enquêteurs qui soient faciles à évaluer, permettant ainsi des actions correctives rapides si nécessaire. En tirant parti des connaissances locales de l'entreprise, vous pouvez travailler ensemble pour déterminer un nombre raisonnable de questionnaires à compléter par chaque enquêteur, en fonction du mode d'administration de l'enquête, de la durée des questionnaires, de la zone où se déroule l'enquête, et de la population ciblée.

Selon l'entreprise, le contexte et le projet, les chercheurs peuvent avoir peu ou pas de contrôle sur les enquêteurs et sur leur mode de rémunération. Lors de l'examen des propositions et des entretiens, il est essentiel de comprendre s'il est possible de concevoir ou d'ajuster les structures d'incitations pour répondre aux besoins de l'étude, ou de s'assurer que les procédures établies ne compromettent pas la qualité des données. Vérifiez que l'entreprise de sondage respecte des pratiques de travail équitables. Consultez les ressources sur le recrutement et la formation des enquêteurs ainsi que sur la gestion des équipes de terrain pour plus d'informations sur l'évaluation des performances des enquêteurs, leur rémunération et les incitations.

Soutien aux enquêteurs

En fonction de la manière dont l'entreprise organise habituellement ses équipes de sondage, mettre en place une structure hiérarchique avec des rôles différenciés peut être utile pour gérer plusieurs types de problèmes sur le terrain. Les enquêteurs occupant des rôles plus seniors peuvent être formés pour soutenir les enquêteurs plus juniors sur des questions spécifiques (par exemple, des clarifications sur les questions ou les protocoles du sondage), tout en transmettant les problèmes plus graves (comme des préoccupations concernant la sécurité) à la direction et à l'équipe de recherche. Mettre en place un forum (par exemple, un groupe WhatsApp) où les enquêteurs peuvent discuter des cas difficiles, résoudre des problèmes ou poser des questions entre eux peut également s'avérer bénéfique. Selon les objectifs de l'étude et la population interrogée, il est possible que les enquêteurs rencontrent des situations stressantes ou aient des réactions émotionnelles. Dans ces cas, un soutien aux enquêteurs est particulièrement utile pour les aider à gérer ces expériences.

Sécurité des données et contrôles de qualité des données

Mesures de sécurité des données

Bien qu'une entreprise de sondage dispose probablement de procédures de sécurité des données déjà établies, il est essentiel de vérifier que toutes les mesures utilisées, telles que le chiffrement des données personnelles identifiables (PII), l'utilisation de logiciels antivirus et l'activation de la suppression des données à distance, sont conformes aux normes de votre organisation. Travailler avec des partenaires peu technophiles peut également poser des défis en matière de transfert et de sécurité des données. Des accords de non-divulgation et de confidentialité doivent être signés et appliqués pour toutes les personnes ayant accès aux données personnelles du projet. Il est crucial de rappeler les risques encourus par les participants en cas de violation des données, ainsi que les conséquences en cas de rupture de ces accords (par exemple, résiliation ou suspension des contrats de travail). Les données ne doivent jamais être partagées avec des personnes qui ne sont pas contractées par l'entreprise de sondage. Il est important de se montrer prudent avec les entreprises qui hésitent ou refusent de signer ce type d'accords de protection des données des participants. Vous avez la possibilité de refuser de collaborer si une entreprise ne décrit pas de manière adéquate ses processus de protection des données, ou si ces processus semblent insuffisants. 

Pour plus d'informations sur les accords de confidentialité et les procédures de sécurité des données, consultez la ressource sur le recrutement et la formation des enquêteurs ainsi que les mesures de sécurité des données à utiliser lors de la gestion des données.

Surveillance et gestion des données

En coordination avec l'entreprise de sondage, planifiez qui sera responsable des activités de surveillance des données et confirmez comment l'entreprise informera l'équipe de recherche et traitera les écarts, erreurs ou défis identifiés. Vérifiez quelles procédures de qualité des données l'entreprise utilise et déterminez si des actions supplémentaires sont nécessaires pour garantir que les données obtenues seront adaptées à l'étude.

Selon la nature du projet et les capacités de l'entreprise, le personnel de recherche peut prendre en charge certains aspects de la surveillance des données. Le fait que l'équipe de recherche effectue directement des vérifications ponctuelles permet d'observer les procédures de sondage ou de collecte de données en temps réel, ce qui donne aux chercheurs une meilleure compréhension des données et leur permet une analyse plus fine. Un autre avantage est la possibilité d'observer directement des aspects clés de l'intervention ou de la mise en œuvre, en dehors du sondage, offrant ainsi une vision plus complète de l'étude.

Consultez la ressource sur les contrôles de qualité des données pour des recommandations supplémentaires sur les vérifications et la surveillance des données.

Qualité et nettoyage des données

Il est important de travailler avec votre entreprise de sondage pour définir son rôle dans la garantie de la qualité des données. Selon le système en place pour cette activité, vous devrez peut-être fournir des instructions supplémentaires ou un soutien technique pour des vérifications plus spécifiques à votre projet. Il est recommandé d'inclure dans le contrat de sondage l'obligation de partager un dictionnaire de données (ou manuel), une description du plan de stockage des données, une description des procédures de nettoyage des données, ainsi que d'autres protocoles liés à l'étude. Il est fortement conseillé que les équipes de recherche effectuent régulièrement des contrôles indépendants pour s'assurer que les données collectées sont correctes, de haute qualité, et qu'elles ne sont pas falsifiées ou manipulées de quelque manière que ce soit.

Si possible, collaborez avec l'entreprise de sondage pour obtenir un accès aux données brutes. Il arrive parfois qu'une entreprise ne puisse pas partager les données brutes ou fournir un accès direct à ces données. Dans ce cas, des protocoles écrits et des plans détaillés peuvent aider les chercheurs à comprendre comment l'entreprise prévoit de nettoyer et de gérer les données, afin de vérifier que les procédures sont conformes aux objectifs de l'étude. Pour plus d'informations, consultez la ressource sur le nettoyage et la gestion des données.

Recommandations en matière de gestion de projet

Faire appel à un organisme extérieur rend plus difficile la gestion et le suivi de l’avancement des travaux et du budget de l’étude. Vous trouverez ci-dessous quelques stratégies de gestion qui vous aideront à garantir le bon déroulement du projet. 

Gestion du calendrier

La ou les enquêtes pour lesquelles l’organisme est mandaté ne constituent parfois qu’un sous-ensemble des activités globales du projet. Il est par exemple possible que l’équipe de recherche ou une autre entité soit responsable de la mise en œuvre de l’intervention. Pour s’assurer que les différentes activités d’enquête et de mise en œuvre s’enchaînent correctement, les équipes de recherche peuvent avoir besoin d’informations en temps réel sur les activités d’enquête, leur état d’avancement et leur calendrier. Il est probable que les calendriers globaux et les échéances définis dans les termes de référence et/ou le contrat n’incluent pas l’ensemble des étapes intermédiaires nécessaires à la réalisation de tous les livrables, et qu’ils ne soient donc pas suffisants pour suivre l’avancement de l’enquête. L’équipe de recherche peut donc envisager de demander un calendrier détaillé ou un diagramme de Gantt des activités et des dépendances entre les tâches. Définissez clairement vos attentes et élaborez un plan avec l’organisme pour pouvoir vérifier régulièrement que le calendrier est respecté et pour permettre à l’organisme d’informer l’équipe de recherche si des retards sont à prévoir. 

Gestion du budget

Se montrer aussi précis et exhaustif que possible dans la rédaction du cahier des charges au stade de l’appel d’offres permet d’obtenir des estimations budgétaires plus précises. Néanmoins, il arrive que des retards, des changements au niveau du projet ou encore des circonstances imprévues nécessitent de modifier le budget ou les activités. En inscrivant au contrat l’obligation de fournir des factures ou des rapports de dépenses détaillés, en examinant régulièrement ces rapports (par exemple tous les mois) et en veillant à justifier tout écart par rapport aux montants initialement prévus, l’équipe de recherche et l’organisme d’enquête seront en mesure d’identifier et de résoudre rapidement les problèmes. Les solutions possibles en cas de problème consistent notamment à ajuster le périmètre ou la méthodologie de l’enquête, ou encore à augmenter le budget autorisé. Si vous avez des raisons de penser que l’enquête risque de dépasser largement le budget prévu, référez-vous aux conditions financières du contrat et demandez-vous s’il est nécessaire de modifier ce dernier.

Dernière modification : septembre 2023.

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.