Enregistrer une étude dans un registre d’essais

Enregistrer une étude consiste à créer une fiche à son sujet dans un registre public d’essais. Les entrées ainsi créées répondent à plusieurs objectifs.

En premier lieu, les registres d’essais facilitent la découverte des travaux de recherche, qu’ils soient publiés ou non. Bien que l’enregistrement des essais soit une pratique relativement récente dans le domaine des sciences sociales, ces registres pourraient permettre, à l’avenir, d’en apprendre davantage sur l’étendue réelle du biais de publication (le fait que les études ayant obtenu des résultats significatifs sont plus susceptibles d’être publiées ; voir, par exemple, Rosenthal 1979 ou Andrews & Kasy 2019).

S’ils sont largement adoptés, les registres peuvent également être utilisés pour rechercher toutes les études menées dans un domaine donné, facilitant ainsi la réalisation de méta-analyses exhaustives. Ils peuvent aussi donner une vue d’ensemble du corpus de travaux réalisés sur un thème donné, permettant ainsi à d’autres chercheurs d’identifier les lacunes de la littérature ou les besoins futurs en matière de recherche. Un registre exhaustif permet en outre d’accroître la visibilité des études existantes dans une discipline donnée et de faciliter les recherches au sein de ce corpus.

Lorsque l’essai est enregistré avant le début de l’intervention, on parle de pré-enregistrement. Plusieurs registres utilisent des badges ou des icônes pour distinguer les essais pré-enregistrés des autres essais. Le pré-enregistrement présente l’avantage supplémentaire de conserver une trace des intentions initiales des chercheurs (voir également la ressource sur les plans de pré-analyse). En permettant aux chercheurs de déclarer le protocole expérimental et les variables d’intérêt de leur étude, le (pré)enregistrement favorise donc la transparence des intentions des chercheurs et des méthodes d’analyse qu’ils entendent utiliser. 

Dans cette perspective, il est donc préférable d’enregistrer le protocole avant le début de l’essai, bien qu’il soit possible de le faire à tout moment (en pratique, de nombreuses informations peuvent être transférées directement de la demande soumise à l’IRB vers le registre, de sorte qu’il peut être pratique d’enregistrer l’essai juste après avoir reçu l’approbation de l’IRB). Si nécessaire, il est généralement possible de modifier l’enregistrement d’un essai après sa soumission. L’entrée peut également inclure un document distinct contenant un plan de pré-analyse, qui n’est cependant pas obligatoire. Nous reviendrons plus bas sur la procédure de pré-enregistrement et les plans de pré-analyse. 

Cette ressource détaille les exigences les plus communes des bailleurs de fonds et des revues scientifiques en matière d’enregistrement des essais, les considérations à prendre en compte lorsqu’on enregistre une étude et la procédure d’enregistrement d’un essai dans le registre des essais contrôlés randomisés de l’AEA.

Les chercheurs en sciences sociales peuvent enregistrer leurs études dans un certain nombre de registres, qui n’ont pas tous les mêmes critères d’éligibilité. Par exemple, le registre des ECR de l’AEA accepte des expérimentations menées n’importe où dans le monde, tandis que le Registry of International Development Impact Evaluations (RIDIE) de 3ie accepte tous les types de méthodes d’évaluation d’impact (régression sur discontinuité, expérimentation naturelle, etc.), mais est réservé aux études de développement menées dans les pays à revenu faible et intermédiaire. 

• Registre des Essais Contrôlés Randomisés de l’American Economic Association (AEA) : Ce registre est sans doute le plus pertinent pour la majorité des économistes. Il accepte toutes les études comportant un essai contrôlé randomisé, sans aucune restriction de lieu ou de sujet.
• Experiments in Governance and Politics (EGAP) : Le registre d’EGAP concerne les expérimentations et les études d’observation menées dans les domaines de la gouvernance et de la politique.
• Registry of Efficacy and Effectiveness Studies (REES): Ce registre est administré par la Society for Research in Educational Effectiveness et concerne les études reposant sur l’inférence causale (essais randomisés, modèles quasi-expérimentaux, modèles de régression sur discontinuité et études de cas uniques) menées dans le domaine de l’éducation et autres domaines connexes.
• Registry of International Development Impact Evaluations (RIDIE): Administré par 3ie, ce registre concerne les études expérimentales et observationnelles visant à évaluer l’impact de programmes de développement dans les pays à revenu faible et intermédiaire.
• Open Science Framework (OSF): Le registre du Center for Open Science propose différents types de formulaires d’enregistrement qui permettent aux chercheurs d’enregistrer leur étude selon les normes de leur discipline, le protocole de l’étude ou l’état d’avancement de la recherche. 

Bien que relativement peu utilisé par les économistes et les politologues, As Predicted est un autre registre essentiellement utilisé en psychologie. Un formulaire type disponible sur le site du registre permet aux chercheurs d’enregistrer une description simple de leur étude en répondant à une série de questions standard, puis d’imprimer un PDF horodaté de leurs réponses. 

Les registres d’essais cliniques

IMPORTANT : Le registre des ECR de l’AEA n’est pas un registre d’essais cliniques approuvé. Les revues médicales et de santé qui suivent les recommandations du Comité international des rédacteurs de revues médicales (ICMJE) exigent que les essais soient pré-enregistrés dans un registre d’essais cliniques approuvé (comme Clinicaltrials.gov ou tout autre registre national d’essais cliniques). La procédure d’enregistrement peut durer de quelques jours à quelques semaines. Ces revues incluent notamment Science, The British Medical Journal Open, The Lancet, The Journal of the American Medical Association, The Journal of Health Economics, New England Journal of Medicine, etc. La liste complète des registres d’essais cliniques approuvés par les revues de l’ICMJE est disponible sur le site de l’International Clinical Trials Registry Platform. Cette exigence s’applique également aux études en sciences sociales et aux autres disciplines qui ne relèvent pas du domaine biomédical, et ce même si l’essai est déjà enregistré dans un autre registre (non approuvé).

• Le Réseau de registres de l’Organisation Mondiale pour la Santé (OMS) est un réseau international de registres d’essais cliniques. Il répertorie les registres officiels d’essais cliniques du monde entier, comme le registre américain ClinicalTrials.gov et les autres registres nationaux. Si vous cherchez un registre d’essais cliniques dans un pays donné, vous pouvez consulter le site de ce réseau.

Cette section contient à la fois des conseils spécifiques au registre des ECR de l’AEA et des recommandations qui s’appliquent à tous les registres. 

La procédure d’inscription au registre des ECR de l’AEA est conçue pour être aussi simple que possible. Les champs obligatoires sont les suivants : 

• Titre, pays, mot(s)-clé(s), résumé
• Statut actuel de l’essai, dates de début et de fin de l’essai et de l’intervention
• Variables d’intérêt principales, protocole expérimental, méthode de randomisation, unité de randomisation, formation de grappes, taille de l’échantillon (nombre total d’unités, nombre de grappes et nombre d’unités par bras de traitement)
• Informations relatives à l’approbation de l’IRB. 

Veuillez consulter les lignes directrices de l’AEA sur l’enregistrement des essais pour une liste complète des champs, et le guide de définition des champs pour des informations complémentaires sur la procédure d’enregistrement. La soumission au registre de l’AEA est horodatée, de même que toute modification ultérieure de l’entrée.

Les chercheurs peuvent choisir de masquer certains champs jusqu’à ce que le projet soit terminé. Il est également possible de joindre d’autres documents facultatifs comme les instruments d’enquête, les propositions de recherche, etc., ou encore de déposer un document distinct contenant un plan de pré-analyse, qui peut rester invisible jusqu’à la fin de l’essai.

Les chercheurs en quête d’un exemple à suivre peuvent consulter l’entrée de l’étude Health Care Hotspotting: A Randomized Controlled Trial (Doyle, Finkelstein, Taubman, et Zhou, 2014), désormais terminée.

Pré-enregistrement et plans de pré-analyse

Dans le registre des ECR de l’AEA, on parle de pré-enregistrement lorsque l’essai est enregistré avant la date de début de l’intervention. Ce registre contient des champs qui permettent de décrire de nombreux paramètres clés de l’essai et autorise par ailleurs le dépôt d’un plan de pré-analyse (PPA), qui peut rester masqué jusqu’à ce que l’essai soit terminé. 

Un PPA est un simple document accessible au public, généralement déposé avant le début de l’intervention, mais au plus tard avant le début de l’analyse des données, qui décrit comment les chercheurs prévoient de mener l’étude et d’analyser les données obtenues. Dans de nombreuses disciplines, comme la psychologie¹, le terme de pré-enregistrement est synonyme de dépôt d’un PPA. 

De la même manière, le fait de renseigner les champs du formulaire du registre de l’AEA et de pré-enregistrer l’essai permet aux chercheurs de rendre publiques un certain nombre d’informations essentielles sur l’essai envisagé, notamment l’objectif de l’étude, les variables d’intérêt et la taille de l’échantillon. Comme le soulignent Banerjee et al. (2020), les informations incluses dans les champs de ce registre peuvent suffire à documenter les intentions initiales des chercheurs vis-à-vis de l’étude, même si ces derniers ont aussi la possibilité de déposer un document distinct. La ressource sur les plans de pré-analyse décrit les cas où il peut être avantageux de pré-spécifier des informations supplémentaires concernant la méthode d’analyse envisagée.

Tous les membres de la communauté scientifique peuvent accéder aux informations du registre de l’AEA, même si les chercheurs ont la possibilité de masquer certains champs jusqu’à la fin de l’étude.

Mettre à jour les entrées du registre

La recherche sur le terrain peut être confrontée à des circonstances imprévues qui nécessitent la modification du protocole expérimental initialement envisagé. Dans ce cas, les chercheurs doivent mettre à jour l’entrée de leur essai afin d’enregistrer les modifications apportées aux détails clés de l’étude, comme la taille de l’échantillon ou les variables d’intérêt. Un journal des modifications recense tous les changements apportés au plan de recherche initial. Avant de modifier l’entrée, pensez à vérifier le système de contrôle de versions du registre et suivez les instructions pour documenter clairement les modifications. 

Si vous souhaitez modifier le protocole de recherche ou la méthode d’analyse d’un essai pré-enregistré, il est préférable de le faire avant la phase d’analyse, même si des changements peuvent être effectués à n’importe quel moment. Gardez à l’esprit que des modifications et des révisions trop nombreuses risquent de nuire à la lisibilité de l’enregistrement. Banerjee et al. (2020) recommandent donc aux chercheurs de ne modifier l’entrée de leur essai qu’à une ou deux occasions clés. 

Une fois l’étude terminée, les chercheurs doivent impérativement reprendre l’entrée de leur essai pour remplir les informations post-expérimentation, telles que le statut de l’étude, sa date de fin et quelques détails fondamentaux sur l’étude. Pensez notamment à inclure des liens vers les éventuels articles universitaires, rapports et documents associés, comme un « PPA complété », ou à en charger directement une version en ligne (Banerjee et al. 2020). Il est essentiel de renseigner ces informations post-expérimentation pour conserver une trace de l’ensemble des travaux réalisés sur un sujet donné, y compris les essais non publiés. 

Contenu et niveau de détail

En général, le (pré-)enregistrement de l’essai doit exposer clairement les intentions initiales des chercheurs en ce qui concerne le protocole et l’analyse de l’expérimentation sur le terrain. C’est particulièrement important dans le cas des variables et des décisions qui laissent aux chercheurs une grande marge de manœuvre et qui sont essentielles pour l’analyse, comme les variables principales ou les sous-groupes pour l’analyse des effets hétérogènes. La description de ces variables doit être suffisamment détaillée pour permettre aux lecteurs de comprendre comment elles vont être mesurées ou construites. Cependant, l’entrée de l’essai doit par ailleurs être concise et spécifique. Il n’est donc pas nécessaire de décrire l’ensemble des variables secondaires et analyses conditionnelles. En outre, il est tout à fait possible d’exprimer des incertitudes au moment de l’enregistrement de l’étude, puis de modifier l’enregistrement par la suite une fois que les choses sont plus claires

Procédure d’examen initial : Le registre de l’AEA concerne uniquement les évaluations aléatoires en sciences sociales. Les études doivent donc répondre à un certain nombre de critères d’éligibilité pour pouvoir y être enregistrées (ces critères n’ayant pas vocation à refléter la qualité ou le caractère éthique de la recherche). Avant de soumettre l’entrée de leur essai, les chercheurs doivent donc passer en revue ces critères et relire attentivement leur entrée. 

La plupart des registres examinent puis publient les entrées dans un délai de 1 à 2 jours ouvrables après leur soumission. La version provisoire de l’entrée porte un cachet indiquant la date et l’heure de la soumission initiale. Une fois l’entrée approuvée, une mention générée automatiquement apparaît sur l’essai enregistré. 

Citer une entrée : Pour citer une entrée enregistrée, notamment dans l’article scientifique qui présente les résultats de l’essai en question, on utilise son DOI. On peut par exemple indiquer en note de bas de page : « Cette étude est enregistrée dans le registre des ECR de l’AEA sous le numéro d'identification doi.org/10.1257/rct.2549. ». Toutes les versions des entrées du registre de l’AEA possèdent un DOI qui permet de les identifier sans ambiguïté ; voir le FAQ du registre de l’AEA pour plus d’informations. 

Créer un compte : Pour enregistrer un essai, il faut d’abord créer un compte sur https://www.socialscienceregistry.org/users/sign_up en fournissant toutes les informations requises (nom, nom de l’organisme, etc.). Tout le monde peut créer un compte en utilisant n’importe quelle adresse électronique. Cliquez sur le message automatique vous demandant de confirmer votre adresse électronique. Une fois votre e-mail confirmé, vous pouvez vous connecter et commencer à remplir un formulaire d’enregistrement. 

Enregistrer un essai au nom de quelqu’un d'autre : Si vous n’êtes pas l’investigateur, ou chercheur, « principal », mais que vous êtes chargé d’enregistrer l’essai pour le compte de ce dernier :

1. Connectez-vous depuis votre propre compte
2. Créez un essai à partir de la page principale
3. Remplissez les champs en incluant autant d’informations que vous le souhaitez
4. Une fois que vous êtes prêt à faire relire l’entrée au chercheur principal, il faut l’ajouter en tant que collaborateur. Sur la page principale du projet d’entrée, un bouton orange intitulé « Manage Collaborators » figure dans le coin supérieur droit. Ce bouton vous permet d’ajouter des collaborateurs. Il vous faudra saisir l’adresse e-mail utilisée par le chercheur pour créer son propre compte. Notez que pour pouvoir ajouter un collaborateur à l’essai, celui-ci doit avoir un compte utilisateur dans le système du registre.
5. Recherchez l’adresse e-mail du collaborateur dans le champ « Add Collaborator ». Une fois que vous l’avez ajoutée et que vous avez sauvegardé le projet d’entrée, un menu déroulant apparaît qui vous propose, entre autres options, de modifier le chercheur principal. Remplacez votre nom par celui du chercheur principal chargé du projet. La page d’information sur l’essai sera automatiquement mise à jour pour afficher le nouveau chercheur principal.
6. Soumettre l’essai pour examen/publication : le chercheur principal doit relire le projet d’entrée pour vérifier qu’il est exact et complet, puis cliquer sur le bouton « Register Trial » pour finaliser l’enregistrement. 

Remarque : si vous suivez cette procédure pour enregistrer un essai au nom de quelqu’un d’autre, votre nom n’apparaîtra nulle part dans la version publique de l’essai. Si vous souhaitez figurer en tant que chercheur principal dans l’entrée du registre, vous devez ajouter manuellement l’autre chercheur principal en tant qu’« Other PI » (autre chercheur principal). 

Télécharger des données à partir du registre des ECR de l’AEA : La base de données du registre peut être téléchargée sous la forme d’un fichier de valeurs séparées par des virgules (CSV) compilant toutes les informations publiques actuelles de tous les essais enregistrés. Pour télécharger ces données, deux options s’offrent à vous :

1. Télécharger un historique des instantanés mensuels de la base de données à partir du Dataverse du registre de l’AEA
2. Télécharger un instantané actuel de la base de données directement depuis le site Internet.

Vous trouverez des instructions à ce sujet sur la page d’accès aux données des essais.

Pré-enregistrement ou enregistrement ? Les projets enregistrés avant le début de l’intervention sont signalés sur le site par une petite horloge orange, qui indique que l’enregistrement a eu lieu avant la date de début de l’essai. (En psychologie, les chercheurs sont récompensés par des badges de pré-enregistrement.

Tirer parti des données du registre de l’AEA : Les données du registre des ECR de l’AEA peuvent être utilisées pour analyser les tendances existantes et émergentes dans la littérature consacrée à la recherche expérimentale, mais aussi pour étudier le profil des chercheurs concernés. À titre d’exemple, un article invité publié par des membres de J-PAL sur le blog Development Impact de la Banque mondiale s’appuie sur les données d’enregistrement et de pré-enregistrement du registre de l’AEA pour explorer la manière dont la pandémie de COVID-19 a bouleversé les recherches en cours et le lancement de nouveaux projets. Ce n’est là qu’un exemple parmi d’autres de la façon dont ces données peuvent être exploitées, et il existe bien d’autres possibilités de recherche et d’analyse. Pour accéder aux métadonnées du registre des ECR de l’AEA, suivez les instructions suivantes.

Exigences de J-PAL : Tous les projets financés ou mis en œuvre par J-PAL doivent être enregistrés, et il est recommandé de procéder à un pré-enregistrement (c’est-à-dire d’enregistrer l’essai avant le début de l’intervention). Pour être plus précis, l’obligation d’enregistrement imposée par J-PAL s’applique à toutes les évaluations aléatoires qui : 

• Ne sont pas des projets pilotes
• Ont reçu ou vont recevoir un financement dans le cadre d’une initiative de recherche de J-PAL, ou sont mises en œuvre ou gérées par un bureau de J-PAL

Si le personnel de recherche peut être chargé d’initier la procédure d’enregistrement et de remplir les informations relatives à l’étude, le chercheur principal doit créer un compte et valider l’enregistrement.

Exigences des donateurs et des revues : Les donateurs et les revues exigent de plus en plus souvent que les études soient enregistrées. 

• C’est le cas de six revues de l’AEA (American Economic Review, AER: Insights, AEJ: Applied Economics, AEJ: Economic Policy, AEJ: Macroeconomics, AEJ: Microeconomics) : depuis 2018, toutes les expérimentations sur le terrain dont l’article est soumis pour publication dans l’une de ces revues doivent être enregistrées dans le registre des ECR de l’AEA. L’enregistrement peut être effectué à n’importe quel moment avant la soumission de l’étude pour publication. 
• Le National Bureau of Economic Research (NBER) encourage l’enregistrement des essais. Il rappelle aux chercheurs l’existence du registre lorsqu’une étude comportant un ECR est soumise à l’examen de son Institutional Review Board ou qu’un document de travail portant sur un ECR est soumis via son site (si l’étude en question n’est pas déjà enregistrée). 
• Les Initiatives Individuelles de J-PAL Amérique du Nord exigent que les essais soient enregistrés dans l’Open Science Framework. 
• Arnold Ventures (anciennement la Fondation Laura et John Arnold) exige que toute étude empirique reposant sur l’inférence statistique soit pré-enregistrée avant le début de l’intervention ou de la collecte de données. Les études doivent être enregistrées dans l’Open Science Framework, mais peuvent aussi être enregistrées ailleurs (par exemple, dans le registre des ECR de l’AEA). Arnold Ventures fournit un guide des informations à enregistrer selon le type d’étude. 
• Le Global Innovation Fund (GIF) exige que toutes les évaluations d’impact soient pré-enregistrées (c’est-à-dire enregistrées avant le début de l’intervention) soit dans le registre des ECR de l’AEA, soit dans le registre de 3ie (qui inclut à la fois des études expérimentales et non-expérimentales). D’autres registres (notamment celui d’EGAP) peuvent être utilisés au cas par cas pour toucher le bon public. Les essais cliniques doivent respecter les normes établies par les principales revues du domaine concerné. En règle générale, le pré-enregistrement doit être effectué avant le début de l’intervention, mais il peut intervenir avant ou après les décisions du GIF en matière de financement.
• L’Innovation Growth Lab (IGL) exige que toutes les études qu’il finance soient enregistrées.

Le Center for Open Science a une page wiki très utile qui recense les politiques des différents organismes de financement, notamment en ce qui concerne le partage des données, des documents ou du code, les lignes directrices en matière de rapports, les plans de pré-analyse (pré-enregistrement) et la réplication.

En plus d’exiger l’enregistrement des essais pour toutes les études financées et mises en œuvre par J-PAL, les politiques de J-PAL stipulent que toute autre expérimentation randomisée menée par les membres affiliés de J-PAL doit idéalement être enregistrée avant le début de l’intervention. Toutefois, si cette date limite n’est pas respectée, le projet doit être enregistré dès que possible. 

Nous offrons à notre réseau de professeurs affiliés une assistance pour enregistrer leurs projets dans le registre des ECR de l’AEA, notamment en créant un projet d’entrée sur la base des informations figurant dans une proposition de recherche, un dossier de demande à l’Institutional Review Board (IRB), des rapports descriptifs, ou autre. Afin de rendre le registre aussi exhaustif que possible, nous procédons également à l’enregistrement rétroactif des projets terminés des affiliés de J-PAL. 

Pour en savoir plus sur le travail accompli par J-PAL pour favoriser la transparence de la recherche, veuillez consulter notre site.

Dernière modification : février 2022.

Ces ressources sont le fruit d’un travail collaboratif. Si vous constatez un dysfonctionnement, ou si vous souhaitez suggérer l'ajout de nouveaux contenus, veuillez remplir ce formulaire.

Ce document a été traduit de l’anglais par Marion Beaujard.