Introduction to measurement and indicators

• Pour pouvoir tester votre théorie du changement, vous devez disposer de données sur les besoins, les intrants, les extrants, les résultats intermédiaires et l’impact. 
• Il est également nécessaire de collecter des données sur les covariables (en particulier si vous pensez que les effets du traitement ont des chances d’être hétérogènes), les facteurs prédictifs de la conformité et les mesures de la conformité réelle au traitement. Il peut aussi être utile de recueillir des informations sur le contexte et le rapport coût-efficacité, ainsi que des informations qualitatives (le « pourquoi » et le « comment »).
• Il est possible d’utiliser des données secondaires (par exemple des données administratives ou des données de recensement) en complément voire en lieu et place de la collecte de données primaires. Si vous envisagez d’avoir recours à des données secondaires, réfléchissez bien à la manière dont vous allez intégrer les deux sources de données lors de la conception de votre enquête.
• Des problèmes de mesure peuvent survenir lorsque :
  • Les concepts à mesurer sont vagues ou mal définis
  • Les indicateurs ne constituent que des mesures imparfaites du concept sous-jacent
  • Les réponses des répondants individuels sont faussées, que ce soit parce que le répondant est distrait, malade, ou encore parce qu’il a mal compris
  • Des erreurs humaines ou techniques donnent lieu à des valeurs erronées
• Il existe de nombreux types d’erreur de mesure, que nous regroupons ici en trois grandes catégories :
  • Les problèmes liés aux questions : Ils sont dus à une mauvaise formulation des questions. Ils peuvent être liés à la présence d’imprécisions, de négations, de questions doubles, de présupposés, de catégories qui se recoupent et d’effets de cadrage (au sein des questions individuelles et à l’échelle du questionnaire).
  • Les problèmes liés aux réponses : Ils sont dus à la présence d’erreurs dans la construction des options de réponse proposées, et notamment à des catégories manquantes ou au fait que plusieurs catégories se recoupent.
  • Les problèmes liés aux répondants : Ils sont dus aux biais intrinsèques du sujet qui répond aux questions, notamment le biais de mémoire, l’ancrage, la partialité, le biais de désirabilité sociale, le télescopage, le biais de déclaration et les biais de réponse différentielle.
• Les biais qui sont corrélés au traitement sont plus graves que ceux qui ne le sont pas.

Quelques décisions essentielles :

• Qu’avez-vous besoin de mesurer ?
• De quel type de données avez-vous besoin pour effectuer ces mesures ?
• Comment ces données doivent-elles être collectées ?
• Auprès de qui doivent-elles être collectées ?

Qu’avez-vous besoin de mesurer ?

Vous allez devoir recueillir des informations pour tester vos hypothèses à chaque étape de votre théorie du changement, des intrants jusqu’aux résultats finaux. Veillez à bien définir la feuille de route théorique de votre projet dans le contexte spécifique qui vous intéresse. Des données sont nécessaires chaque fois qu’il existe un risque de rupture dans l’enchaînement logique de votre théorie du changement.

En outre, il est souvent utile de collecter des données sur les éléments suivants :

• Les covariables : Si vous pensez que l’effet du traitement est susceptible de varier en fonction de certaines caractéristiques des participants ou du lieu de l’étude (sexe, milieu urbain ou rural, distance jusqu’à l’hôpital le plus proche, etc.), assurez-vous de collecter des données sur ces caractéristiques. Si vous souhaitez procéder à une stratification en fonction de certains critères, il est cependant recommandé de le décider le plus tôt possible afin d’être certain d’avoir la puissance nécessaire pour détecter des effets de traitement hétérogènes. Notez que cette décision aura une incidence sur d’autres aspects du processus de planification : si vous effectuez une stratification, il faudra en tenir compte dans vos calculs de puissance et l’élaboration de votre budget. Si vous rédigez un plan de pré-analyse, pensez à inclure les covariables utilisées pour la stratification. Voir Angelucci, Karlan et Zinman (2013) pour un exemple d’article mesurant des effets de traitement hétérogènes.
• Les facteurs prédictifs de la conformité et les mesures de la conformité réelle au traitement (au niveau de l’individu et du groupe) : Par exemple, dans le cas d’une intervention médicale nécessitant la prise de comprimés, il peut être utile de recueillir des informations au début de l’étude pour savoir si les répondants prennent actuellement des comprimés tous les jours et à quelle fréquence ils pensent à le faire, puis de nouveau en fin d’étude pour savoir à quelle fréquence ils ont pris leurs comprimés. 
• Le contexte (pour la validité externe/généralisabilité) : Il peut notamment s’agir de l’exposition des participants à d’autres programmes similaires, de la proximité d’écoles ou d’hôpitaux, le cas échéant, etc. Cette question est traitée en détail dans la conférence intitulée « Measurement Outcomes, Impacts, and Indicators » de la formation sur l'Évaluation des programmes sociaux.   
• Les coûts : Pour calculer le rapport coût-efficacité, il faut disposer de données complètes sur le coût de l’intervention elle-même, mais aussi sur le prix des alternatives potentielles, sur les économies réalisées et/ou les coûts supportés par les répondants du fait de l’intervention, etc. Pour plus d’informations, voir le guide de J-PAL sur le rapport coût-efficacité.
• Des informations qualitatives (le « pourquoi » et le « comment ») : Par exemple, si un répondant indique, dans le cadre de l’enquête de fin d’étude, que son enfant est allé plus régulièrement à l’école que par le passé, on peut lui poser une question complémentaire pour savoir quelle en est la raison principale. 

La plupart des enquêtes sont bien trop longues, ce qui peut provoquer une certaine lassitude chez les personnes interrogées et, par conséquent, nuire à la qualité des données. Mesurez exactement ce dont vous avez besoin pour répondre à vos questions de recherche (ou à d’éventuelles questions de recherche futures), mais n’allez pas au-delà. Si vous ne savez pas exactement comment vous allez exploiter une question, ou si elle n’est pas directement liée à une question de recherche spécifique, ne l’incluez pas. Pour plus d’informations sur la conception des enquêtes, cliquez ici. 

De quel type de données avez-vous besoin ?

Si vous utilisez des données primaires, c’est-à-dire des données que vous collectez vous-même, plusieurs décisions fondamentales restent encore à prendre :

• Les données proviennent-elles d’individus ou sont-elles générées automatiquement ?
  • Les données collectées auprès d’individus peuvent être issues d’enquêtes, d’examens, de jeux, de « vignettes » (ou scénarios fictifs), d’observations directes, de journaux ou de registres, de groupes de discussion ou d’entretiens
  • Les données générées automatiquement sont recueillies par le biais d’une machine ou d’un procédé, comme par exemple la température ou la vitesse du vent
• Allez-vous utiliser des enquêtes existantes ou de nouveaux instruments d’enquête ?
  • S’inspirer d’enquêtes existantes ayant permis de mesurer efficacement les variables d’intérêt que vous ciblez permet de gagner du temps et d’économiser des ressources (dans la mesure où l’enquête a déjà été conçue, testée et utilisée), et limite le risque que votre instrument contienne des problèmes. 
  • Un nouvel instrument d’enquête peut être conçu de façon à être parfaitement adapté à vos besoins spécifiques. Cependant, élaborer et tester un tel instrument demande du temps. Pour en savoir plus, consultez la ressource sur la conception des enquêtes.
• Enquête transversale ou enquête de panel ? 
  • La plupart des ECR utilisent des données de panel, l’objectif étant de suivre le devenir des personnes qui ont reçu ou non un traitement donné. Cependant, il peut parfois être intéressant d’utiliser des données transversales si vous pensez qu’il y a de fortes chances que les participants modifient leur comportement du fait de leur participation à l’étude. Pour plus d’informations, voir la ressource sur le suivi de la mise en œuvre.

Les données secondaires peuvent être des données administratives (c’est-à-dire des dossiers conservés par les pouvoirs publics ou d’autres organismes pour des raisons administratives, tels que les naissances, les décès, les déclarations d’impôts, les résultats d’examens, etc.) ou des données non-administratives (c’est-à-dire des données recueillies à des fins de recherche ou à d’autres fins non-administratives). Si vous souhaitez utiliser des données secondaires, il est important de prendre en compte les éléments suivants :

• Les données existent-elles, et est-il possible d’y accéder ? 
  • Si elles ne sont pas accessibles, y a-t-il une procédure officielle pour en négocier ou en demander l’accès ?
• Quelle est la période de référence ? Les données ont-elles été collectées de façon systématique tout au long de cette période ?
• L’ensemble de données couvre-t-il la population cible ? Y a-t-il un risque que la couverture soit inégale ou biaisée ?
• L’ensemble de données couvre-t-il les variables d’intérêt ?
• L’ensemble de données est-il fiable et a-t-il peu de risques d’avoir été manipulé ?

Pour plus d’informations sur les données administratives, y compris dans quels cas et comment les utiliser, ainsi que sur les sources de biais potentielles, consultez les ressources intitulées Utiliser des données administratives dans le cadre d’une évaluation aléatoire et Évaluer les interventions basées sur la technologie. Le manuel IDEA publié par J-PAL contient des informations techniques très détaillées concernant l’accès aux données administratives, leur protection et leur utilisation. Certaines sources de données secondaires sont répertoriées à la fin de cette ressource. 

Comment les données doivent-elles être collectées ?

Bien que les présentes ressources se concentrent essentiellement sur la collecte de données en vue d’une analyse quantitative, il existe également d’autres formes de collecte de données :

• Le recensement : En règle générale, l’enquête est effectuée auprès d’un échantillon de la population cible (la base d’échantillonnage). Pour obtenir un échantillon représentatif, il vous faudra extraire un échantillon de la population globale, soit en utilisant les données de recensement existantes, soit en collectant vos propres données. 
• Les données qualitatives peuvent être utilisées pour orienter la conception de l’intervention, pour savoir comment se déroule la mise en œuvre, pour comprendre le contexte en matière de non-conformité ou d’attrition, et bien d’autres choses encore. Parmi les techniques de collecte de données qualitatives, on peut notamment citer les entretiens semi-directifs, les évaluations, les jeux, les observations et les groupes de discussion. Vous trouverez un exemple d’application des méthodes de recherche qualitative aux études sur le genre dans le Practical Guide to Measuring Girls’ and Women’s Empowerment in Impact Evaluations publié par J-PAL. 

Auprès de qui les données doivent-elles être collectées ?

Le répondant cible : 

• Doit être la personne la mieux informée au sujet de vos variables d’intérêt
• Peut varier d’un module à l’autre. Par exemple, il peut être intéressant, selon le module, de cibler le chef de ménage, la personne chargée de préparer les repas, le principal soutien économique du ménage ou encore les femmes en âge de procréer.

Pour collecter des données de qualité, il faut réfléchir soigneusement à ce que l’on cherche exactement à mesurer et au meilleur moyen d’obtenir ces informations. Les questions à poser pour collecter des données, même en apparence assez simples (la taille du ménage, par exemple), peuvent s’avérer étonnamment complexes. 

Définitions

• Concept : Notion mesurable, qui peut être abstraite et avoir plusieurs définitions. Exemple : la compréhension, la criminalité ou encore le revenu.
• Indicateur : Outil permettant de mesurer et de suivre une étape majeure, une variable de résultat ou un concept donnés et de déterminer si nos hypothèses sont correctes. Exemple : les notes des élèves aux tests de mathématiques, les plaintes pour cambriolage ou le salaire journalier.

La figure ci-dessous illustre la relation entre les concepts, les indicateurs et les données 

Des problèmes de mesure peuvent survenir à chacun de ces niveaux :

• Le concept peut avoir plusieurs facettes ou définitions valables, ce qui en fait une mauvaise mesure de la notion sous-jacente à laquelle on s’intéresse. Par exemple, le concept d’intelligence possède de nombreuses facettes différentes, comme l’intelligence émotionnelle, l’intelligence logique ou l’intelligence linguistique : si l’on ne sait pas exactement laquelle de ces facettes est la plus importante pour notre question de recherche, cela risque de poser problème.
• Les indicateurs utilisés pour mesurer le concept peuvent être imparfaits
• De nombreux facteurs peuvent influencer les réponses d’un individu à une enquête ou à un test (comme le niveau de distraction, la faim ou la maladie)
• Des erreurs humaines ou techniques peuvent entraîner la saisie de valeurs erronées

Les mesures ont pour objectif de recueillir des données présentant à la fois un haut degré de validité et de fiabilité.

• La validité : Mesurer exactement ce que l’on souhaite mesurer
  • Question clé : Dans quelle mesure l’indicateur correspond-il à la variable de résultat ? En d’autres termes, s’agit-il d’une mesure non biaisée et précise de la variable de résultat ?
  • Supposons par exemple que vous utilisiez le revenu pour mesurer le sentiment de sécurité financière des individus. Or, il est possible que cet indicateur ne caractérise pas parfaitement le sentiment de sécurité financière, et ce pour plusieurs raisons :
    • Variations dans le temps : des revenus très irréguliers procurent probablement un sentiment de sécurité financière moins important que des revenus stables d’une valeur moyenne égale.
    • Dépenses : c’est sans doute à l’épargne que le sentiment de sécurité financière est le plus étroitement lié. Or, les revenus ne contribuent à l’épargne que s’ils sont supérieurs aux dépenses.
• La fiabilité : Mesurer ce qui doit l’être avec précision
  • Question clé : La mesure est-elle précise ou bruyante ?
  • En guise d’exemple, voyons la différence entre le fait de mesurer le revenu journalier en demandant aux répondants d’indiquer leurs revenus de la veille et le fait de les interroger sur leurs revenus de la semaine écoulée :
    • Dans le premier cas, les réponses seront plus variables que dans le second, du fait des fluctuations quotidiennes du revenu et des éventuels chocs journaliers ayant pu se produire la veille de l’enquête.
    • Cependant, mesurer les revenus sur la semaine écoulée introduit un plus grand risque de biais de mémoire, ce qui peut provoquer des erreurs de mesure systématiques (par exemple si les répondants ont tendance à omettre certaines catégories de revenus dont il est difficile de se souvenir). Pour plus d’informations sur l’erreur de mesure systématique, voir ci-dessous.

Indicateurs indirects

Lorsque les principaux concepts étudiés (comme la criminalité ou les revenus) sont difficiles à mesurer, on peut avoir recours à des indicateurs indirects. Ce type d’indicateur doit :

1. Être corrélé avec l’indicateur (plus la corrélation est forte, meilleur est l’indicateur indirect) 
2. Pouvoir évoluer de pair avec le concept. Par exemple, le sexe est un mauvais indicateur indirect du revenu, et ce malgré l’existence d’une corrélation, car il ne peut généralement pas être modifié dans le cadre d’une intervention.

Pour en savoir plus sur les indicateurs indirects les plus courants, y compris l’IPP (Indice de Probabilité de Pauvreté), consultez la ressource sur la conception des enquêtes.

On parle d’erreur de mesure lorsque la réponse fournie par un répondant est différente de la vraie valeur, ou valeur réelle. Cette erreur peut être aléatoire ou systématique. Les effets des erreurs aléatoires s’annulent progressivement, ce qui n’est pas le cas des erreurs systématiques. Il est important de distinguer l’erreur de mesure, qui se produit au cours du processus de collecte des données, de l’erreur de validité, qui se produit lorsque les indicateurs ne correspondent pas exactement au concept étudié. Pour savoir comment concevoir une enquête de façon à minimiser l’erreur de mesure, voir la ressource sur la conception des enquêtes.

Le processus cognitif de réponse à une question

Avant de présenter les différentes sources d’erreur de mesure, considérons les étapes par lesquelles passe la personne interrogée lorsqu’elle répond à une question :

Par exemple, un répondant à qui l’on demande combien de fois il a mangé du riz ce mois-ci doit :

1. Comprendre et interpréter la question. 
2. Réfléchir aux moments où il mange habituellement du riz.
3. Additionner le nombre de jours que cela représente par semaine et par mois.
4. Donner sa réponse (ou trouver la réponse adéquate parmi les options proposées).

Or, des biais peuvent se glisser à chacune de ces étapes. Par exemple :

1. Il est possible que les répondants n’interprètent pas tous les termes « riz », « fois », « consommer » et « ce mois-ci » de la même manière. Par exemple, « ce mois-ci » fait-il référence aux 30 jours précédents ou au mois au cours duquel le répondant est interrogé (par exemple, le mois de juin) ?
2. Les répondants peuvent aussi considérer que la question ne porte que sur la consommation de riz non transformé, et ne pas prendre en compte les produits à base de riz comme les nouilles, le lait, les crêpes, etc.
3. Les répondants peuvent faire des erreurs de calcul, aggravées par les divergences d’interprétation mentionnées ci-dessus.
4. Les répondants peuvent donner une estimation délibérément incorrecte (qui peut être le résultat d’un biais : par exemple, peut-être considèrent-ils que le riz n’est pas bon pour la santé, ce qui les pousse à prétendre que leur consommation est inférieure à ce qu’elle est réellement).

Types d’erreur de mesure

Il existe plusieurs sources d’erreur de mesure, qui peuvent être classées en trois catégories : 1) les problèmes liés aux questions, 2) les problèmes liés aux réponses et 3) les problèmes liés aux répondants.

Il existe plusieurs sources d’erreur de mesure, qui peuvent être classées en trois catégories : 1) les problèmes liés aux questions, 2) les problèmes liés aux réponses et 3) les problèmes liés aux répondants.

Données administratives

Les données administratives sont exposées aux mêmes sources de biais que les données d’enquête. Dans la mesure où le chercheur n’a pas de prise sur la phase de collecte et de traitement des données, un travail supplémentaire peut s’avérer nécessaire pour évaluer l’exactitude des données. Les types de biais que l’on rencontre le plus souvent dans les données administratives sont les suivants :

• Biais de déclaration : Comme pour la collecte de données primaires, les personnes interrogées peuvent avoir une incitation à sur-déclarer ou à sous-déclarer. Un individu peut par exemple sous-déclarer ses revenus pour pouvoir prétendre à un programme d’aide sociale, tandis qu’une institution administrative comme une école peut être tentée de sur-déclarer le taux d’assiduité de ses élèves pour répondre aux exigences officielles. Si les incitations à faire de fausses déclarations sont peut-être plus fortes que pour les données d’enquête, le fait qu’une grande partie des données administratives ne soient pas auto-déclarées contribue à limiter ce problème. Pour remédier au biais de déclaration :
  • Identifiez le contexte dans lequel les données ont été collectées. Y avait-il des incitations à faire de fausses déclarations ?
  • Choisissez des variables moins exposées aux biais (par exemple, une visite à l’hôpital plutôt que le montant d’une demande d’indemnisation auprès d’une compagnie d’assurance).
• Couverture différentielle : Outre les problèmes énumérés ci-dessus, les données administratives peuvent également présenter des différences de couverture entre le groupe de traitement et le groupe témoin : i) si la capacité à faire le lien entre les individus et leurs dossiers administratifs n’est pas la même dans les deux groupes et ii) si les membres des deux groupes n’ont pas la même probabilité de figurer dans les dossiers administratifs (par exemple si le nombre de victimes est mesuré à partir du nombre d’appels reçus pour signaler un acte criminel).
   
• On dit que les données administratives présentent un biais de sélection lorsqu’il n’existe de dossiers administratifs que pour les personnes ou les organisations qui sont en contact avec l’administration en question. Il peut notamment s’agir des bénéficiaires d’un programme, des candidats, des écoles et des hôpitaux partenaires, etc. 
  • Posez la question suivante : pour quelle raison l’organisme collecte-t-il ces données ?
     
• Pour faire face aux différences de couverture et au biais de sélection :
  • Identifiez clairement l’univers de données
    • Quels individus figurent dans les données, quels individus en sont exclus, et pourquoi ?
  • Identifiez les façons dont l’intervention est susceptible d’influer sur la déclaration des variables d’intérêt
    • Déterminez dans quelle direction une sélection différentielle est susceptible de se produire et en quoi cela risque de biaiser l’effet estimé.
  • Effectuez une enquête initiale en utilisant des identifiants pour pouvoir effectuer les mises en correspondance
    • Vous aurez ainsi autant de chances de rattacher les individus traités et les individus témoins à leurs dossiers, et serez en mesure d’identifier toute différence de couverture.

Le degré de gravité de l’erreur de mesure dépend du type d’erreur et de son étendue, ainsi que de l’existence ou non d’une corrélation entre le biais et le traitement. 

• Un biais qui n’est pas corrélé au traitement affecte de la même manière le groupe de traitement et le groupe témoin, et ne faussera donc pas l’estimation de la différence entre les deux groupes à la fin de l’étude. 
• En revanche, si le biais est corrélé au traitement, c’est plus problématique : en effet, il affecte alors le groupe de traitement et le groupe témoin de manière différente, ce qui signifie qu’en moyenne, l’estimation de la différence entre les groupes à la fin de l’étude est biaisée. Les chercheurs risquent alors de tirer des conclusions erronées quant au signe et à l’ampleur de l’effet du traitement.

Administrative data resources:

• National-level administrative data can be found on the website of the ILO (labour data), World Bank (e.g., World Development Indicators including population data), UN (e.g., SDGs and trade) and national statistics authorities
• NASA/NOAA weather data
• J-PAL North America catalog of administrative datasets (US focus)
• Credit reporting agency data is available from Equifax, Experian, and TransUnion (US focus)
• The Research Data Assistance Center (ResDAC) provides information and assistance with applying for access to data from the Centers for Medicare and Medicaid Services
• Researchers have compiled an inventory of data sets used to study education
• The American Economic Association hosts resources enumerating sources and procedures for accessing US federal administrative data. 
• Google’s Dataset Search tool that “enables users to find datasets stored across thousands of repositories on the Web, making these datasets universally accessible and useful.”

Non-administrative data:

• J-PAL/IPA Datahub for Field Experiments in Economics and Public Policy
• World Bank microdata catalogue
• IFPRI microdata catalogue
• The Guardian has compiled a list of existing datasets that may be of interest to international development researchers and practitioners.

Dernière mise à jour en février 2022.

These resources are a collaborative effort. If you notice a bug or have a suggestion for additional content, please fill out this form. 

Ce document a été traduit de l’anglais par Marion Beaujard.