Comprendre et évaluer l'impact de la recherche: Bonnes pratiques

Comprendre les forces et les limites des outils et des indicateurs
 

Chaque outil a ses forces et ses faiblesses

Les outils fournissant des données bibliométriques ont chacun leurs forces et leurs faiblesses en ce qui concerne :

• la qualité de leurs données,
• la couverture des disciplines,
• les langues de publications,
• les types de documents. 
   

Les indicateurs bibliométriques doivent être utilisés avec prudences

• Les indicateurs bibliométriques sont nombreux, basés sur des calculs distincts et communiquent des informations spécifiques. Informez-vous sur la façon dont ils sont calculés, dans quel contexte ils sont pertinents et dans quel contexte on doit les utiliser avec discernement.
• Le facteur d’impact d'une revue se calcule en divisant le nombre de citations obtenues pour les articles publiés pendant une période donnée (2 ou 5 ans) par le nombre total d’articles publiés pendant cette même période dans la revue. Le facteur d’impact est proposé par le Journal Citation Reports grâce aux données de Web of Science. 

Le facteur d'impact ne devrait jamais être utilisé pour évaluer l’impact ou la qualité de la production scientifique d’individus, de groupes de recherche ou d’institutions. 

Selon la déclaration DORA, les limitations du facteur d'impact sont:

1. Les distributions des citations dans les revues sont très asymétriques ;
2. Les propriétés du facteur d’impact sont propres à chaque domaine : il s’agit d’un agrégat de types d’articles multiples et très divers, avec des articles primaires comme des articles de synthèse ;
3. Les facteurs d’impact peuvent être manipulés (ou « instrumentalisés ») par une politique éditoriale ;
4. Les données utilisées pour calculer les facteurs d’impact ne sont ni transparentes ni ouvertement accessibles au public.

Plusieurs facteurs affectent la valeur des indicateurs

• L’exactitude des données : des doublons de profils ou des noms mal orthographiés peuvent être à l’origine de données inexactes ;
• La couverture de la base de données : les domaines de recherche et les langues de publication ont une couverture inégale dans certains outils, ce qui peut avantager ou désavantager chercheurs et chercheuses ;
• Le genre : les femmes ont tendance à être moins citées que leurs pairs masculins pour des raisons qui n’ont rien à voir avec la qualité de leurs travaux ;
• Les types de documents : les recensions d’écrits et les articles sont généralement plus cités que les livres et les articles de conférence ;
• Les auto-citations : elles peuvent faire gonfler la valeur des indicateurs. Heureusement, certains outils permettent de les exclure de leur calcul ;
• Le temps : les indicateurs dérivés de citations, comme l’indice h, sont plus sensibles au passage du temps, ce qui les rend inadéquats pour comparer des chercheurs et chercheuses qui ne sont pas au même stade de leur carrière. Par ailleurs, les citations s’accumulent sur une une plus ou moins longue période de temps selon les disciplines.

Chaque discipline a ses particularités

Les habitudes de citations et de communication des résultats de la recherche varient d’une discipline à l’autre. Toutefois, il existe des indicateurs normalisés en fonction des disciplines, comme le Field-Weighted Citation Impact (disponible dans l’outil SciVal) ou le Category Normalized Citation Impact (disponible dans l’outil Incites), qui sont à privilégier dans certains contextes.

Les indicateurs normalisés sont pondérés selon les pratiques de citations disciplinaires et permettent donc une comparaison de l'impact scientifique entre plusieurs disciplines.

Contextualiser est primordial: l'analyse quantitative vient appuyer l'argumentation

Le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié. Déclaration DORA      

Chercheuses et chercheurs

• Ne prenez pas de raccourci! Servez-vous des indicateurs pour construire un récit d’impact qui met en valeur vos contributions scientifiques et votre excellence. Vous pouvez enrichir ce récit en ajoutant d’autres informations telles les retombées politiques, sociales et économiques de vos recherches.
• Posez-vous ces questions : que voulez-vous démontrer? À quoi serviront les données bibliométriques? Quels sont les éléments dont il faut tenir compte ? Quels ensembles de données doivent être analysés pour répondre au besoin?
   

Évaluatrices et évaluateurs

• Évaluer n'est pas synonyme de classer! Il existe divers indicateurs pour appuyer différentes forces en recherche. Évitez de comparer uniformément les performances d’individus aux profils variés.
• Évaluez les données bibliométriques selon l'objectif recherché : qui évaluez-vous et pourquoi?
   

Bibliothécaires et agents et agentes de recherche

• Cernez le besoin : prenez le temps d’échanger avec la personne faisant la demande afin de bien comprendre ce qu’elle tente de démontrer et proposez des indicateurs selon son besoin.
• Considérez la mission de l’entité de recherche.

Adapter pour tenir compte des spécificités des pratiques de diffusion de la recherche propres à une culture disciplinaire

Chercheuses et chercheurs

• Choisissez des indicateurs qui représentent le mieux votre réalité.
• Au besoin, inspirez-vous des mesures alternatives pour bonifier la rédaction de votre récit d’impact. Alors que les indicateurs "traditionnels" tirent majoritairement leurs données des métadonnées des articles scientifiques, les mesures alternatives (ou Altmetrics) se basent sur d'autres sources, comme les réseaux sociaux, les médias de masse, les blogues, les politiques publiques, etc.
  Exemples : citations dans les rapports gouvernementaux, dans les brevets, mention dans des blogues d'actualités scientifiques
• Les mesures alternatives peuvent servir de complément à une analyse bibliométrique traditionnelle : elles offrent un portrait de l’intérêt de la communauté scientifique ou du public pour une recherche. Toutefois, elles comportent certains biais. Par exemple, l’attention reçue n’est pas gage de la qualité de la recherche, car elle peut être liée à une controverse ou servir d’autopromotion.

Évaluatrices et évaluateurs

• Relativisez les données par rapport au contexte;
• Gardez une vision d’ensemble;
• Privilégiez les indicateurs qui concordent avec l’entité et la conjoncture analysées;
• Au besoin, combinez plusieurs indicateurs de façon à saisir au mieux les performances scientifiques;
• Personnalisez l’évaluation.

Bibliothécaires et agents et agentes de recherche

Offrez un service personnalisé :

• Aidez les chercheurs et chercheuses à bien identifier les particularités de leurs modes de diffusion de la recherche;
• Ciblez leurs spécialités de recherche afin de sélectionner les indicateurs qui refléteront au mieux la réalité de ce milieu de référence;
• Orientez-les vers des outils et ressources pertinentes.

Collaborer pour encourager un processus transparent qui fait évoluer les pratiques

Chercheuses et chercheurs

• Impliquez-vous dans le processus en consultant les responsables de la bibliométrie ou les bibliothécaires de votre institution et validez avec eux la méthodologie et les données.
• Maintenez à jour vos contributions scientifiques sur les plateformes (ex: dépôt institutionnel, ORCID, etc.). Cela permet de réduire les erreurs et d’augmenter la qualité et la fiabilité de vos données dans les outils bibliométriques.

Évaluatrices et évaluateurs

• Présentez aux personnes concernées les critères d’évaluation qui s’appuient sur les données bibliométriques;
• Ouvrez-vous à la discussion sur l’ajout de données complémentaires pour supporter l’évaluation.

Bibliothécaires et agents et agentes de recherche

• Décrivez la méthodologie et l'information pertinente pour la reproductibilité de l'analyse.
• Validez les données avec la personne faisant la demande.