Planification et relecture préalables à la publication
Summary
Cette ressource s’adresse aux équipes de recherche qui ont rédigé un article sur les résultats d’une évaluation aléatoire et qui s’apprêtent à le soumettre à une revue ou à publier un document de travail.
Les évaluations aléatoires impliquent généralement de nombreuses parties prenantes, et chacune d’entre elles peut avoir des exigences spécifiques concernant la présentation des résultats ou les démarches préalables à la publication des résultats.
Cette ressource contient deux documents-types qui peuvent être utilisés pour planifier la publication. Le premier est un plan de pré-soumission, utilisé pour dresser la liste des exigences des différentes parties prenantes et d’autres bonnes pratiques pour les projets en voie de finalisation. Le second est une check-list d’assurance qualité et de relecture. Ces deux documents sont utilisés par le personnel de J-PAL Amérique du Nord pour préparer les articles en vue de leur publication
Introduction
Les évaluations aléatoires impliquent de nombreuses parties prenantes. Avant de publier un document de travail ou de soumettre un manuscrit à une revue, il peut être utile de dresser la liste de chacune de ces parties prenantes et de leurs exigences spécifiques.1 Pour éviter tout retard imprévu, il est préférable de faire ce travail au moins un mois avant la soumission de l’article ou la publication du document de travail.
Identifier les acteurs concernés
Les parties prenantes peuvent être :
- Des partenaires de recherche
- Des donateurs
- Des Institutional Review Boards (IRB)
- Des fournisseurs de données
- La revue cible
- Les médias
- Le personnel du projet
Désignez un membre de l’équipe de recherche pour relire tous les accords d’utilisation des données (DUA), les protocoles d’accord (MOU), les documents de l’IRB, les conventions de subvention et autres accords, et pour dresser la liste de toutes les exigences formelles relatives à la fin du projet qui y figurent. C’est également le moment de réfléchir aux initiatives que peut prendre l’équipe de recherche pour maintenir de bonnes relations avec les partenaires et les autres parties prenantes, même en l’absence de toute obligation formelle.
Les plans de pré-publication peuvent varier d’un projet à l’autre. Vous trouverez ci-dessous un exemple de plan utilisé par J-PAL Amérique du Nord pour identifier les exigences formelles et autres bonnes pratiques en vue de la publication. Vous trouverez ensuite un exemple de check-list pour l’assurance qualité et la relecture, utilisée par le personnel de recherche de J-PAL Amérique du Nord
Planification préalable à la soumission : un exemple
Vous trouverez ci-dessous un exemple adapté d’un plan de pré-soumission utilisé par l’équipe de J-PAL Amérique du Nord dans le cadre de la récente soumission d’un article à une revue. Les exigences spécifiques des fournisseurs de données, des IRB, des bailleurs de fonds et de la revue cible de ce projet y ont été remplacées par des questions visant à guider les équipes de recherche lorsqu’elles reliront les accords et autres documents pertinents.
Tâches essentielles
- Transmettre la version préliminaire du manuscrit aux partenaires et, le cas échéant, aux fournisseurs de données.
- Obtenir l’accord des partenaires pour utiliser leurs figures ou leurs images dans l’article.
- Présenter les résultats aux donateurs.
- Assurance qualité et vérification des faits.
Détails
Fournisseurs de données et Institutional Review Boards (IRB)
- Les fournisseurs de données exigent-ils une période d’examen ? De nombreux DUA stipulent que les fournisseurs de données doivent avoir l’opportunité (souvent 30 jours) de passer en revue tout article, présentation ou autre utilisation de leur nom avant la publication ou la soumission pour publication.
- Le DUA et l’IRB autorisent-ils les chercheurs à publier les données en même temps que l’article sur les résultats ? Si oui, y a-t-il des conditions ?
- Le DUA ou l’IRB stipulent-ils que les données doivent être supprimées ou renvoyées au fournisseur ?
- L’IRB exige-t-il d’être informé par les chercheurs de la publication d’un article ?
S’il y a plusieurs fournisseurs de données, un tableau comme celui ci-dessous peut être utile pour récapituler les informations principales
| Fournisseur de données | Exige-t-il une période d’examen ? | Le DUA spécifie-t-il la manière dont les données doivent être citées ? | Peut-on publier des données désidentifiées ? | Y a-t-il des instructions concernant la manière dont les données doivent être détruites ou renvoyées ? |
|---|---|---|---|---|
| Exemple : Fournisseur A | Oui—30 jours | Oui, il faut préciser que les résultats ne reflètent pas les opinions du Fournisseur A. | Pas clair dans le DUA : vérifier auprès du fournisseur. | Détruire au bout de 5 ans, sauf en cas de stockage dans un entrepôt de données. |
Partenaire de recherche
Même si les partenaires n’imposent aucune obligation formelle, leur expliquer l’analyse en détail peut les aider à comprendre les résultats et à y répondre par des mesures adaptées. Cette démarche est essentielle au maintien de relations fructueuses.
- Présentez les résultats au partenaire.2
- Distribuez au personnel du partenaire une synthèse des résultats rédigée en termes simples (si le partenaire le souhaite).
- Y a-t-il un protocole d’accord qui oblige l’équipe de recherche à transmettre les articles et les présentations au partenaire pour qu’il les examine avant leur soumission ou leur publication ? Même en l’absence d’obligation formelle, il peut être judicieux de prévoir un délai pour permettre au partenaire d’examiner la version préliminaire de l’article avant sa soumission.
- Demandez au partenaire l’autorisation d’utiliser son nom ainsi que ses figures ou ses images dans l’article.
Donateurs
- Les donateurs exigent-ils d’être informés des résultats de la recherche ou de la publication dans un délai déterminé ?
- La convention de subvention contient-elle des suggestions ou des exigences concernant la publication des données et du code de réplication ?
- Comporte-t-elle une obligation de rendre les résultats publics dans un délai déterminé ?
- Les donateurs donnent-ils des instructions concernant la manière dont ils doivent être mentionnés dans le manuscrit ?
Revue cible
- Vérifiez la politique de la revue cible en matière d’embargo : est-il possible de publier un document de travail ?3
- La revue a-t-elle d’autres exigences concernant la manière dont les résultats doivent être présentés et commentés ?|!4]
Médias
Les résultats sont-ils susceptibles d’attirer l’attention des médias, ou le chercheur principal souhaite-t-il bénéficier d’une couverture médiatique ? Si c’est le cas :
- Discutez de la stratégie de communication avec le partenaire de recherche.
- Il peut être intéressant de trouver un média qui souhaite couvrir le sujet, auquel l’équipe de recherche pourra communiquer en « avant-première » les résultats et la date de leur publication. Il convient toutefois de noter que certaines revues (notamment certaines revues médicales) n’autorisent pas les chercheurs à communiquer les résultats aux médias en dehors de la période d’embargo officielle.
- Les équipes de recherche peuvent consulter le service de relations avec les médias de leur université, ou le personnel de J-PAL si les chercheurs principaux font partie du réseau de J-PAL.5
- Envisagez de préparer un communiqué de presse ou de rédiger un article de blog.
Autres bonnes pratiques
- Procédez à une vérification approfondie de tous les faits et à une relecture minutieuse de l’article (voir la check-list ci-dessous).
- Préparez un ensemble de données et un code destinés à un usage public.
- Envisagez de soumettre les données et le code pour une nouvelle analyse par J-PAL.
- Mettez à jour les entrées des registres d’essais pour signaler l’achèvement de l’étude (par exemple celui de l’AEA, Clinical Trials ou OSF).
- Complétez la documentation interne (par exemple le journal du projet, les notes internes et les réflexions sur les enseignements tirés).
- Veillez à ce que le personnel du projet, les fournisseurs de données et tous les experts universitaires ou politiques qui ont participé à l’élaboration du projet soient mentionnés dans les remerciements.
- Envoyez un e-mail de remerciement aux anciens assistants de recherche, membres des équipes du projet et membres du personnel des organismes partenaires qui ont contribué au projet.
Check-list d’assurance qualité et de relecture
Vous trouverez ci-dessous une check-list utilisée par l'équipe de J-PAL Amérique du Nord dans le cadre de la récente soumission d’un article à une revue. Les tâches et les instructions sont destinées aux assistants de recherche ou autres membres du personnel du projet. La durée estimée et le niveau de priorité peuvent varier en fonction du projet.
Instructions
Veuillez effectuer chacune de ces tâches pour tous les documents (c’est-à-dire le texte principal, les tableaux et figures, l’annexe papier et l’annexe en ligne). Ce document n’a qu’une valeur de guide. Si vous identifiez des questions qui mériteraient d’être abordées mais n’apparaissent pas ici, nous vous invitons à les ajouter à la liste.
Vous êtes libres d’effectuer chaque tâche de la manière qui vous convient le mieux (par exemple en imprimant une copie papier pour l’annoter manuellement ou en utilisant le suivi des modifications ou un code couleur dans la version numérique). Lorsque vous avez terminé une tâche, veuillez apposer vos initiales dans le tableau à côté de celle-ci. Ce document permettra de vérifier que chaque tâche a bien été accomplie. Lorsque vous aurez fini, prévenez le reste de l’équipe de recherche.
Si vous identifiez des éléments qui doivent être modifiés ou corrigés, veuillez le faire directement dans le texte, les tableaux ou les graphiques. En cas de modifications importantes, informez-en le reste de l’équipe. Veuillez également indiquer O/N et tout autre détail pertinent dans la colonne « Des modifications sont-elles nécessaires ? » ci-dessous. Ce processus permettra de produire une version électronique unique et annotée de l’article et des documents annexes. Les chercheurs principaux pourront alors passer en revue les modifications et les accepter ou les refuser.
Tâches
Revoir le code
Durée estimée : deux personnes, 16 heures chacune
Effectuez une vérification finale du code de base afin de vous assurer que chaque fichier de code qui génère des chiffres, des tableaux ou des variables utilisés dans l’analyse a été contrôlé. La durée estimative indiquée ici suppose que le code a fait l’objet d’un examen continu tout au long du projet. Vous trouverez ci-dessous quelques exemples d’éléments spécifiques à examiner, mais nous vous invitons à adapter cette liste en fonction des spécificités de votre projet
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| Vérification de l’exactitude | ||||
| 1 | Vérifiez que le code s’exécute jusqu’au bout lorsque vous le déplacez dans un autre répertoire de travail. | |||
| 2 | Faites la liste de tous les fichiers de code à examiner. Lisez attentivement chaque fichier et testez-le. N’oubliez pas de : | |||
| -Vérifier que toutes les données/autres fichiers de code appelés à partir de ce fichier sont les versions les plus récentes. | ||||
| -Vérifier la définition de chaque variable utilisée dans l’analyse. | ||||
| -Vérifier que vous êtes satisfait du traitement des valeurs manquantes. | ||||
| 3 | Vérifiez les résultats générés par le code ainsi révisé par rapport à chacun des tableaux et des figures du projet d’article. Assurez-vous que le code final permet bien de reproduire les mêmes résultats, et notamment : | |||
| - Le nombre d’observations | ||||
| - Les statistiques sommaires : moyenne, écart-type, etc. | ||||
| - Les résultats des régressions : estimations ponctuelles, erreur-type, signification statistique, intervalles de confiance | ||||
| Vérification de la lisibilité | ||||
| 1 | Les commentaires présents dans le code sont-ils corrects ? Mettez à jour ou supprimez ceux qui ne sont plus valables. | |||
| 2 | Y a-t-il des fragments de code passés en commentaire qui doivent être supprimés ? | |||
| 3 | Est-ce que le code est compréhensible pour une personne extérieure ? Si ce n’est pas le cas, envisagez d’en modifier le format, de le diviser en plusieurs fichiers et de rédiger des fichiers readme pour en garantir la clarté. | |||
| 4 | S’il n’y a pas encore de dictionnaire de données et/ou de livre de code, créez-en un. | |||
Exigences de la revue
Durée estimée : une personne, 10 heures
Dressez la liste des exigences de la revue cible et cochez-les à mesure que vous avancez. Les revues imposent souvent des obligations par rapport au plan de pré-analyse et autres détails propres aux évaluations aléatoires. De façon générale, veillez en priorité à ce que toute déviation par rapport au plan de pré-analyse (s’il y en a un) soit mentionnée ou justifiée dans le texte
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| 1 | Exemple : Tous les éléments qui ne figurent pas dans le plan de pré-analyse sont-ils marqués d’un ^ (et tous les éléments sans ^ figurent-ils bien dans le plan de pré-analyse) ? | |||
| 2 | Exemple : Dressez la liste des analyses du plan de pré-analyse qui ne figurent pas dans le texte ni dans les annexes. |
Vérifier les tableaux, les graphiques et les figures
Durée estimée : une personne, 5 heures
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| 1 | Vérifiez l’orthographe dans le titre des graphiques, les axes, les notes de bas de page, les libellés des variables, etc. | |||
| 2 | Vérifiez la clarté et la cohérence des titres des tableaux, des graphiques et des figures. | |||
| 3 | Vérifiez les couleurs : les graphiques et les figures seront-ils compréhensibles s’ils sont imprimés en noir et blanc, et pour les lecteurs daltoniens ? | |||
| 4 | Vérifiez que les tableaux et les graphiques utilisés dans l’article sont les versions les plus récentes. | |||
| 5 | Si certains points de données apparaissent à la fois dans un graphique ou une figure et dans un tableau, sont-ils cohérents ? | |||
| 6 | Vérifiez les notes des tableaux pour vous assurer qu’elles fournissent les informations nécessaires et qu’elles sont à jour. Si ce n’est pas indiqué ailleurs, vérifiez qu’elles contiennent des informations sur l’ensemble de données utilisé, les erreurs-types, la pondération ou non des régressions, les variables de contrôle utilisées, etc. | |||
| 7 | Cohérence des tableaux : vérifiez que tous les tableaux qui décrivent la même catégorie d’informations sont présentés de manière similaire (par exemple, type de régression et d’erreur-type indiqué en sous-titre ou dans les notes du tableau, arrondis cohérents, etc.). | |||
| 8 | Vérifiez la grammaire et l’orthographe dans les notes des tableaux. |
Exactitude du texte
Durée estimée : deux personnes, 16 heures chacune
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| 1 | Surlignez ou soulignez chaque fait, chiffre ou affirmation figurant dans le texte. | |||
| 2 | Assurez-vous que chaque élément surligné puisse être corroboré par une référence externe valable ou par les tableaux/figures présents dans l’article principal ou en annexe. | |||
| 3 | Si un fait provient de votre jeu de données mais n’apparaît dans aucun tableau ou figure, vérifiez qu’il est bien documenté dans le code. | |||
| 4 | Si un fait provient du partenaire de mise en œuvre, assurez-vous qu’il est documenté (par exemple, sauvegardez les e-mails/notes d’appel dans un dossier partagé). | |||
| 5 | Pour chaque citation, vérifiez que la source dit sans ambiguïté ce pour quoi elle est citée. | |||
| 6 | Vérifiez que toutes les informations données dans l’article concernant la définition des échantillons et des variables sont conformes au code. | |||
| 7 | Vérifiez les équations : sont-elles correctes ? Chaque élément est-il défini ? Les indices et exposants sont-ils cohérents ? |
Vérifier la liste des références
Durée estimée : une personne, 5 heures
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| 1 | Vérifiez que toutes les citations qui apparaissent dans le texte figurent dans la liste des références. | |||
| 2 | Vérifiez que chaque élément figurant dans la liste des références est bien cité dans le texte. Si ce n’est pas le cas, il faut le retirer de la liste des références. | |||
| 3 | Toutes les références sont-elles exactes ? (Vérifiez l’orthographe du nom des auteurs, l’exactitude du nom de la revue, du volume de la revue, etc.). | |||
| 4 | Le lecteur pourra-t-il retrouver chacune des références (par exemple en effectuant une recherche en ligne) ? | |||
| 5 | Si des documents de travail sont cités, ont-ils été mis à jour depuis, ou publiés ailleurs ? | |||
| 6 | Vérifiez que les références intégrées au texte et la liste des références sont rédigées dans un style homogène. | |||
| 7 | Le style des références est-il conforme au guide stylistique de la revue ? |
Relecture
Durée estimée : deux personnes, 16 heures chacune
La version « finale » doit être entièrement relue par au moins une personne avant d’être envoyée aux chercheurs principaux pour validation
| Tâche | Des modifications sont-elles nécessaires ? | Personne responsable | Terminé ? (Initiales) | |
|---|---|---|---|---|
| 1 | Recherchez et corrigez les fautes d’orthographe et de grammaire dans le texte. | |||
| 2 | Repérez les formulations peu claires et suggérez des modifications pour les clarifier. | |||
| 3 | Vérifiez les termes souvent confondus, comme pourcentage et points de pourcentage. | |||
| 4 | Vérifiez que les titres des sections sont clairs et que leur mise en forme est homogène. Suggérez des modifications si nécessaire. | |||
| 5 | Vérifiez que tous les acronymes et abréviations sont explicités lors de leur première utilisation et qu’ils sont ensuite utilisés de manière cohérente. Modifiez si nécessaire. | |||
| 6 | Vérifiez que les noms de variables, les notations et les concepts sont utilisés de manière cohérente. Un même terme ne doit pas être utilisé pour désigner plusieurs concepts. Si plusieurs termes sont utilisés pour désigner un seul et même concept, veillez à ce que ce soit clairement précisé. Modifiez si nécessaire. | |||
| 7 | Vérifiez que chaque figure et chaque tableau est mentionné au moins une fois dans le texte. Si ce n’est pas le cas, ajoutez une référence à ce tableau/cette figure dans le texte ou supprimez-le/la. | |||
| 8 | Vérifiez que chaque tableau/figure est correctement référencé(e) dans le texte. Par exemple, chaque référence au « Tableau 1 » dans le texte renvoie-t-elle bien au Tableau 1 et non au Tableau 2 ? | |||
| 9 | Vérifiez la cohérence de la numérotation. Par exemple, si le tableau 1 en annexe est suivi du tableau A2, modifiez le système de numérotation pour qu’il soit cohérent. | |||
| 10 | Vérifiez que les documents figurant en annexe apparaissent bien dans l’ordre dans lequel ils sont mentionnés dans l’article. | |||
| 11 | Vérifiez que les noms et autres termes sont systématiquement utilisés et orthographiés de la même manière, aussi bien dans les remerciements que dans l’ensemble du texte (par exemple, Health Care ou Healthcare). |
Last updated September 2021.
These resources are a collaborative effort. If you notice a bug or have a suggestion for additional content, please fill out this form.
La check-list d’assurance qualité et de relecture est inspirée du manuel de l’assistant de recherche des professeurs Matthew Gentzkow et Jesse Shapiro.
Nous remercions Maya Duru, Laura Feeney, Sarah Kopper et Vincent Quan pour leurs commentaires et leurs conseils précieux. Cette ressource a été traduite de l'anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien de la Fondation Alfred P. Sloan et d'Arnold Ventures. Toute erreur est de notre fait.
Additional Resources
References
Gentzkow, Matthew and Jesse Shapiro. 2018. “Paper Production.” RA-manual wiki. Accessed June 7, 2019. https://github.com/gslab-econ/ra-manual/wiki/Paper-Production.
Taylor & Francis Group. 2019. “Engaging with the media: Reaching beyond academia.” Author Services. Accessed June 6, 2019. https://authorservices.taylorandfrancis.com/engaging-with-the-media/#.