La réalisation d’une évaluation aléatoire implique une collaboration étroite et une communication régulière entre des acteurs multiples : chercheurs universitaires, personnel de recherche, partenaires de mise en œuvre, détenteurs de données administratives, décideurs politiques et membres de la communauté. Ces acteurs très divers ont des perspectives différentes et utilisent chacun leur propre langage spécialisé, ce qui peut rendre la collaboration difficile. Un dialogue efficace favorisant l’implication des partenaires augmente les chances que l’évaluation se déroule sans accroc et puisse avoir un impact sur les politiques publiques. Cette ressource rassemble les retours d’expérience et les conseils de nombreux chercheurs et membres du personnel en matière de mise en œuvre d’évaluations aléatoires.
Communiquer les résultats aux partenaires de mise en œuvre et à tout autre acteur essentiel permet à ces derniers de modifier directement leurs activités, leurs politiques ou leurs procédures en conséquence, mais aussi de définir l’orientation des programmes à venir. La présente ressource donne des conseils aux chercheurs pour les aider à déterminer quand et comment communiquer avec leurs partenaires à propos des résultats et des indicateurs de progression d’une évaluation aléatoire. Une stratégie de communication soigneusement réfléchie, qui planifie les résultats à partager, ainsi que le calendrier et les modalités de ce partage, est un élément essentiel au maintien de relations solides avec les partenaires de mise en œuvre et autres intervenants clés. Or, de bonnes relations de travail entre les chercheurs et les parties prenantes sont cruciales pour favoriser l’impact du projet sur les politiques publiques, dans la mesure où les partenaires ont souvent une influence sur l’interprétation, la diffusion ou l’application éventuelles des données probantes générées par l’évaluation. La qualité de ces relations peut également avoir une incidence sur la disposition du partenaire à participer à d’autres recherches à l’avenir. Communiquer à propos des résultats est particulièrement important pour les raisons suivantes :
Le reste de cette ressource se compose des sections suivantes :
Lorsque vous commencez votre travail de planification avec un nouveau partenaire ou dans un nouveau contexte, assurez-vous de recueillir toutes les informations nécessaires et de planifier vos échanges avec le partenaire de recherche en tenant compte de ses besoins, de sa perspective et de sa réalité politique. Anticiper le point de vue du partenaire, ses motivations et les éventuels points de divergence dans l’interprétation des résultats vous permettra de préparer les discussions à venir et d’éviter ainsi les désaccords. Réfléchissez également aux conséquences que peut avoir la mise en avant de certains résultats et adaptez votre stratégie de communication en conséquence (si ce n’est pas en contradiction profonde avec les résultats scientifiques). Ce travail de préparation et de réflexion vous permettra de poser les bases d’un dialogue constructif tout au long du partenariat.
D’autres composantes clés du plan de communication sont décrites plus bas, dans la section « Les composantes de la stratégie de communication »
Au cours de cette phase, le chercheur n’a pas encore suffisamment de données pour produire les résultats finaux de la recherche. Il est possible que le recrutement ou la participation à l’intervention ne soient pas encore terminés, que la période d’étude ne soit pas encore écoulée ou que les données de fin d’étude ne soient pas encore disponibles. Partager des estimations d’impact provisoires, ou d’autres informations telles que des statistiques sommaires, des données de suivi et des indicateurs de processus, peut contribuer à maintenir le dialogue avec les partenaires. Cependant, communiquer ce type de données provisoires sans fournir suffisamment de contexte peut également compromettre l’intégrité de l’évaluation.
Il est possible que les responsables de la mise en œuvre souhaitent avoir accès aux résultats intermédiaires pour évaluer la sécurité de l’intervention et déterminer s’il est justifié de la poursuivre d’un point de vue éthique. D’un autre côté, les chercheurs peuvent être inquiets à l’idée que des décisions soient prises sur la base de résultats imprécis. Une solution à ce dilemme est évoquée plus bas, dans la sous-section « Suivi continu de la sécurité et de l’éthique ».
Partager des estimations d’impact provisoires
Partager des estimations d’impact provisoires peut :
« Si l’étude n’est pas encore terminée ou publiée au moment où s’ouvre la fenêtre d’action, rédigez un rapport d’une page, qui doit être à la fois visuellement convaincant et dénué de jargon, pour en résumer les premiers enseignements à l’intention des décideurs politiques. Présentez-leur vos conclusions préliminaires en personne en leur précisant que ces résultats sont officieux et ne doivent pas être cités avant leur publication » (« Connecting Research To Policy » 2018).
Suivi continu de la sécurité et de l’éthique
Les partenaires de mise en œuvre et les comités d’évaluation éthique ne sont pas toujours à l’aise à l’idée de ne pas être informés de l’assignation du traitement ou des résultats intermédiaires de l’étude. En effet, le chercheur comme le partenaire peuvent être porteurs de biais inconscients : le désir qu’a le chercheur de publier un article et la foi du responsable de la mise en œuvre dans son programme peuvent les amener à minimiser les risques ou les événements indésirables. Un responsable de la mise en œuvre peut également interpréter des résultats positifs illusoires comme la preuve d’une réussite incontestable et chercher à mettre fin à l’étude. Et même si le chercheur ou le responsable de la mise en œuvre sont parfaitement objectifs, il n’est pas possible de prouver cette objectivité totale à des acteurs extérieurs.
Dans ce cas, un accord préalable spécifiant un certain nombre de conditions de divulgation ou de règles d’arrêt, ou encore la convocation d’un comité indépendant de surveillance des données et de la sécurité (Data Safety and Monitoring Board, ou DSMB), peut permettre de dissiper les inquiétudes. Les membres d’un DSMB ont un accès intégral aux assignations de traitement, aux données et aux estimations d’impact intermédiaires, de façon à pouvoir veiller à la sécurité des participants et à l’efficacité du traitement pendant la durée de l’étude. Contrairement aux responsables de la mise en œuvre, aux bailleurs de fonds ou aux chercheurs, leur seul mandat est de garantir la sécurité de l’intervention. En suivant des protocoles préétablis et en s’appuyant sur le jugement statistique d’experts, ils déterminent si les résultats intermédiaires indiquent que l’intervention est trop dangereuse pour être poursuivie ou trop bénéfique pour en priver certaines personnes.
Borg Debono et al (2017) répertorient les situations où les données peuvent être partagées, les parties prenantes avec qui elles doivent l’être et les risques que représente un tel partage. Voir le Tableau 2 de l’article.
Autres analyses de données à partager
Les activités de recherche, de planification et de suivi menées dans le cadre d’une évaluation aléatoire produisent généralement toute une série de résultats et de produits annexes. Bien que tous ces produits puissent être d’une importance minime pour les chercheurs jusqu’à la publication, ils peuvent aider les partenaires de mise en œuvre à mieux comprendre leur programme et leur public. Le partage de ces résultats peut favoriser l’engagement des partenaires et la prise de décision sans pour autant compromettre l’intégrité de l’étude.
Cependant, le fait de partager des estimations d’impact provisoires comporte également des risques. Pour limiter ces risques, les chercheurs doivent veiller à replacer les résultats dans leur contexte et les accompagner de mises en garde, mais aussi planifier de manière préventive des entretiens de suivi avec le partenaire. Lorsque l’équipe de recherche planifie sa stratégie de communication, elle doit donc évaluer soigneusement les risques et les avantages.
Risque pour la réputation. L’étude n’étant pas terminée, les résultats peuvent être amenés à changer. Ces changements peuvent avoir plusieurs origines : il est possible que les résultats intermédiaires soient sensibles à chaque nouveau point de données, que les résultats se manifestent au fil du temps, ou bien que l’équipe de recherche ait reçu des données nouvelles ou de meilleure qualité, mis à jour ses techniques d’analyse ou corrigé des erreurs de programmation. Toute discussion concernant des « résultats en cours d’élaboration » peut nuire à la réputation d’un chercheur qui, par ailleurs, produit des travaux précis et de grande qualité.
Réaction du partenaire. Que ce soit conscient ou non, il est possible que le partenaire réagisse aux résultats intermédiaires d’une manière qui compromet l’étude ou introduit un biais. S’il découvre que les résultats sont nuls, il peut être amené à modifier l’intervention pour tenter de l’améliorer. À l’inverse, si les résultats semblent indiquer que l’intervention est efficace, le partenaire peut être incité à interrompre l’étude pour permettre aux membres du groupe témoin d’en bénéficier immédiatement.
Règles de publication. La règle d’Ingelfinger et les politiques d’embargo scientifique qui en découlent s’appliquent aux études destinées à être publiées dans des revues médicales. Ces politiques d’embargo risquent d’être enfreintes si les médias publient les résultats d’une étude avant sa parution dans une revue universitaire, compromettant ainsi la possibilité d’une publication académique. Voir la section « Politiques d’embargo » ci-dessous pour plus d’informations à ce sujet.
« Il peut s’agir de la synthèse d’une évaluation des besoins utilisée lors de la conception du projet dans laquelle le chercheur s’appuie sur des données existantes et/ou un travail qualitatif, d’une description de programmes similaires mis en œuvre dans d’autres pays, d’un rapport de référence contenant des données descriptives détaillées sur la situation au début du programme, ou encore de rapports réguliers issus des activités de suivi de la mise en œuvre du projet mises en place par les chercheurs » (Glennerster, 2015).
Voici quelques types de données ou d’informations que vous pouvez envisager de partager :
À ce stade, les chercheurs sont en possession des résultats de l’étude et d’un projet d’article ou de présentations prêts à être soumis à une revue, publiés comme document de travail, ou présentés dans le cadre d’ateliers ou de conférences.
La manière dont les résultats scientifiques sont présentés et analysés est généralement très éloignée de la perspective et des attentes du partenaire de mise en œuvre. Envoyer un manuscrit au partenaire sans lui fournir de cadre d’interprétation ni lui expliquer le jargon scientifique peut le conduire à interpréter les résultats de manière erronée ou négative et provoquer des tensions inutiles. Afin de créer un environnement propice aux questions, aux clarifications et à l’analyse du contexte universitaire, nous vous suggérons de prendre les mesures suivantes avant la publication :
Lorsque les résultats de l’étude sont nuls ou « décevants », il est particulièrement important de fournir des orientations au partenaire et de l’aider à mettre les choses en perspective. On peut par exemple l’aider à envisager ces résultats comme une opportunité d’apprentissage et d’amélioration de son programme, plutôt que de considérer ce dernier comme un échec. Les chercheurs peuvent également proposer d’aider le partenaire à élaborer un plan d’apprentissage et à réaliser ou à intégrer d’autres recherches afin d’améliorer son programme. Les organismes de mise en œuvre ont à cœur d’atteindre leurs objectifs et sont engagés vis-à-vis de la communauté qu’ils desservent, mais ne sont pas forcément attachés à un mode de fonctionnement particulier. En outre, ils sont généralement enclins à voir les aspects positifs de leur propre travail.
Les chercheurs peuvent également envisager le format de la « data walk », utilisé par certains projets communautaires de recherche participative pour favoriser l’engagement et la compréhension approfondie des partenaires et des membres de la communauté (Murray, Falkenburger, et Saxena 2015).
Outre le partage des documents scientifiques comme les résultats finaux des analyses, les manuscrits et les présentations, les chercheurs doivent également fournir des informations et des résultats visant à répondre aux questions de recherche et aux préoccupations initiales des partenaires, et aider ces derniers à préparer une synthèse des résultats selon leur propre perspective. Il peut notamment s’agir :
« Expliquez clairement et sans détour les résultats obtenus et ce qu’ils signifient dans le domaine de compétence des décideurs politiques, tout en restant suffisamment neutre pour éviter tout parti pris – ou toute apparence de parti pris – et pour respecter les règles en matière de lobbying » (« Connecting Research To Policy », 2018)
Franz J. Inglefinger, rédacteur en chef du New England Journal of Medicine, a défini la règle d’Ingelfinger dans un éditorial (« Definition of Sole Contribution » 1969). Bien qu’elle soit parfois interprétée de manière légèrement différente d’un rédacteur en chef à l’autre, les revues biomédicales américaines respectent toutes cette règle (« Uniform Requirements » 1991), qui a deux objectifs principaux :
Cette règle n’a pas vocation à limiter les présentations en conférence ni les échanges entre chercheurs (y compris les partenaires de mise en œuvre)
« Tout d’abord, nous exemptons de la règle d’Ingelfinger toutes les présentations effectuées dans le cadre de rencontres scientifiques et tous les résumés publiés, ainsi que toute couverture médiatique de ces présentations. Cependant, nous recommandons vivement aux auteurs de ne pas partager d’autres informations,notamment des figures et des tableaux, en dehors de ce qu’ils ont présenté à leurs pairs scientifiques dans le cadre de ces réunions » (Angell et Kassirer 1991).
D’autres politiques sont documentées dans les « Exigences uniformes », également connues sous le nom de « style Vancouver ». Ces exigences permettent également l’instauration d’un dialogue académique :
« Il ne s’agit pas non plus d’empêcher l’évocation d’un article présenté lors d’une rencontre scientifique s’il n’a pas été publié dans son intégralité dans les actes de la conférence ou autre publication similaire. Les articles de presse sur ce type de conférence ne sont généralement pas considérés comme des infractions à cette règle, à condition qu’ils ne fournissent aucune donnée supplémentaire et ne reproduisent pas les tableaux et illustrations » (« Exigences uniformes » 1991).
Si les résultats sont particulièrement urgents ou pertinents pour les politiques publiques, les chercheurs peuvent envisager de demander à leur revue cible s’il est possible de prendre des dispositions spéciales pour permettre aux décideurs politiques ou aux journalistes de prendre connaissance des résultats avant leur publication (« Connecting Research To Policy » 2018).
La mise au point d’un plan de communication entre les chercheurs et leurs partenaires dès les premiers stades du projet permet de poser les bases d’une relation fondée sur la compréhension mutuelle et le consensus et peut éviter les tensions dues à un décalage entre les attentes des uns et des autres. En plus de discuter de leur stratégie de communication lors de réunions ou d’appels téléphoniques, les équipes peuvent décider de formaliser ce plan en rédigeant une note écrite. Documenter les attentes du partenaire vis-à-vis des variables d’intérêt et des résultats attendus peut favoriser la productivité des échanges sur les résultats de la recherche en réduisant les risques de dérive progressive des objectifs ou de la mission du projet.
Un plan de communication et de suivi des résultats peut notamment inclure :
Last updated March 2021.
These resources are a collaborative effort. If you notice a bug or have a suggestion for additional content, please fill out this form.
Nous remercions Mary Ann Bates, Amy Finkelstein, John Floretta, Sara Heller, Sally Hudson, Rohit Naimpally, Jim Sullivan, Anne Thibault, Magdelena Valdes et Bridget Wack pour leurs analyses et leurs contributions précieuses. Ce document a été relu et corrigé par Chloe Lesieur, et traduit de l’anglais par Marion Beaujard. Le présent travail a pu être réalisé grâce au soutien de la Fondation Alfred P. Sloan et d'Arnold Ventures.
Uniform Requirements for Manuscripts Submitted to Biomedical Journals, 1991. Ce rapport, publié par l’International Committee of Medical Journal Editors, décrit les exigences standard qui s’appliquent aux manuscrits soumis aux revues biomédicales.
The Ingelfinger Rule Revisited, 1991. Éditorial expliquant dans quels cas et pour quelles raisons le NEJM applique la règle d’Ingelfinger.