Merci aux 500 experts et plus qui ont participé aux examens par des pairs des rapports du CAC

« Que voulons-nous? Le changement fondé sur des données probantes! Quand le voulons-nous? Après l’examen par des pairs! »–     Pancarte anonyme photographiée lors de la Marche pour les sciences

Il y a trente-cinq ans, j’ai reçu un coup de téléphone de David Roy, un professeur de l’Université de Montréal, qui m’invitait à me joindre à une demande de subvention qu’il comptait présenter à un organisme subventionnaire fédéral canadien. La subvention recherchée visait à soutenir l’élaboration de critères pour l’évaluation des recherches multidisciplinaires touchant la bioéthique. Il s’agissait d’un projet très intéressant : contrairement aux champs d’étude axés sur une discipline particulière, où les méthodes et les critères d’évaluation ainsi que les experts sont bien établis, la bioéthique est un domaine qui doit faire appel à des philosophes, des avocats, des psychologues, des théologiens et de nombreux autres intervenants, chacun devant adhérer à une approche disciplinaire particulière et unique au regard de l’excellence, de la valeur scientifique et de l’impact des recherches. Le projet n’a malheureusement pas été subventionné. Il n’était peut-être pas suffisamment pertinent comparativement à d’autres propositions. Ou était-ce parce que les pairs examinateurs ne disposaient pas des critères voulus pour évaluer la proposition? J’en suis resté avec la conclusion que, bien que l’examen par des pairs demeure un des outils les plus puissants jamais inventés pour faciliter la diffusion des recherches scientifiques de grande qualité, il soulève néanmoins certains problèmes particuliers et comporte plusieurs éléments qui demandent à être améliorés.

Mon histoire ne constitue pas seulement qu’une anecdote dans la longue histoire de l’examen par des pairs, une pratique initialement utilisée en 1731 par la Royal Society of Edinburgh pour une collection d’articles médicaux considérés par la revue Medical Essays and Observations. En effet, depuis sa première utilisation au début du XVIIIe siècle, cette pratique a considérablement évolué, ayant été adoptée à différents degrés et de différentes manières : le British Medical Journal a commencé à l’utiliser en 1893, mais la tout aussi prestigieuse revue The Lancet n’a pas commencé à recourir à cette méthode avant 1976. Entre le milieu et la fin du XXe siècle, la plupart des revues importantes (ainsi que la majorité des organismes subventionnaires) ont adopté le processus que nous reconnaissons aujourd’hui : des experts établis, impartiaux et non en situation de conflit d’intérêts examinent le contenu d’un manuscrit ou d’une demande de subvention et présentent une évaluation objective de sa valeur et de ses méthodes, laquelle est suffisamment détaillée pour aider les rédacteurs ainsi que les comités de sélection des organismes subventionnaires à déterminer quels articles doivent être publiés et quels projets doivent être financés.

L’examen par des pairs a continué d’évoluer. Les demandes en ligne n’ont pas toujours été la norme. Un proche ami m’a déjà raconté qu’il était si inquiet que sa demande de subvention ne parvienne pas à un organisme subventionnaire par voie du courrier postal régulier de trois jours qui permet à l’envoi d’être horodaté, qu’il a pris l’avion pour se rendre directement dans la ville où l’organisme était basé. (Il n’avait de plus emporté comme seul bagage qu’une boîte contenant le nombre de photocopies requis pour l’examen des pairs.)

Le processus des examens à simple ou à double insu s’est établi comme norme de référence, bien qu’occasionnellement, l’expérience d’une rencontre en personne entre la personne candidate et l’examinateur ait été tentée.

Le processus d’examen par des pairs du CAC n’est pas le modèle universitaireCe qui nous amène au processus d’examen par des pairs utilisé par le Conseil des académies canadiennes. Le travail du CAC consiste principalement à réaliser des évaluations sur l’état des connaissances relatives à certains sujets pertinents pour l’élaboration des politiques canadiennes. Depuis 13 ans, il a supervisé plus de 45 évaluations, réalisées par des comités d’experts qui examinent ce qu’on connaît d’un sujet, ce qui reste à en connaître et la façon d’évaluer la signification des deux types de constats. Mais le processus du CAC ne serait pas complet, encore moins valable pour les commanditaires qui lui demandent de réaliser les évaluations, sans son processus rigoureux d’examen par des pairs. Comparativement aux organismes subventionnaires, le CAC fait cependant intervenir les pairs examinateurs de manière légèrement différente.

• Pour chacun de ses rapports, le nombre de pairs examinateurs est presque identique au nombre de membres du comité d’experts (à un comité d’experts de 12 à 15 membres correspondra un comité de pairs examinateurs de 12 à 15 personnes)
• Les pairs examinateurs présentent leurs commentaires avant que la version définitive du rapport soit rédigée, afin de permettre au comité d’experts de les prendre en considération et d’améliorer globalement son rapport
• Tous les commentaires transmis par écrit par les pairs examinateurs (le nombre de commentaires peut atteindre plusieurs centaines) sont pris en considération lors d’une réunion du comité d’experts
• Les pairs examinateurs n’ont pas comme tâche de recommander que le rapport du CAC soit publié sous la forme présentée, publié moyennant quelques révisions importantes ou mineures ou qu’il ne soit pas publié
• Un surveillant de l’examen par des pairs choisi par le comité consultatif scientifique du CAC doit indiquer au conseil d’administration du CAC si le processus d’examen par des pairs a été suivi

S’il faut un village pour élever un enfant, il faut une métropole pour mener à bien le processus d’examen par des pairs du CAC. Depuis 2005, plus de 500 experts ont examiné ses travaux. Ceux-ci prennent au sérieux leur travail et ont amélioré les rapports du CAC de façon inimaginable. Je suis toujours émerveillé par les personnes qui accomplissent bénévolement ce travail tout simplement parce qu’elles ont à cœur la qualité des données scientifiques qui sont publiées. Voilà sans doute pourquoi une des plus éminentes autorités en matière d’intégrité scientifique, Francis Macrina, a décrit les pairs et les pairs examinateurs comme étant des « sentinelles sur le chemin de la découverte scientifique et de la publication des études scientifiques ».

Que vous ayez examiné le travail réalisé par autrui pour des revues, des demandes de subventions ou d’autres avenues de diffusion, merci pour à vous pour votre contribution.

Eric M. Meslin, Ph.D., MACSS Président-directeur général, Conseil des académies canadiennes