Sciences dessus dessous

Archive du 21 mars 2017

On savait déjà que les minuscules études doivent être prises avec un grain de sel. On a désormais une idée de l’ampleur du problème et des «dégâts» (terme en partie exagéré, j’y reviens) qu’il cause.

Un trio de chercheurs mené par Daniele Fanelli, de l’Université Stanford, a publié hier une «Métaévaluation du biais en science» dans les PNAS. Les auteurs ont analysé pas moins 1910 méta-analyses (incluant plus de 33 000 études individuelles) dont les résultats pouvaient être agrégés et comparés les uns aux autres afin d’y puiser une série d’indicateurs leur permettant de quantifier toutes sortes de biais que l’on soupçonne de plus ou moins embrouiller la littérature scientifique. Et celui qui est le plus important est, de très loin, l’«effet petite étude» : essentiellement, plus un échantillon est petit, plus la taille de l’effet rapporté dans l’étude (bienfaits d’un futur médicament, risque associé à telle produit chimique, etc) a tendance à être grand, en moyenne.

Cela peut refléter des différences de méthode qui viennent avec la taille de l’échantillon ou avoir des racines «moins présentables» (on répète plusieurs fois la même étude avec de petits échantillons et on ne publie que les résultats les plus spectaculaires). Mais quoi qu’il en soit M. Fanelli et ses collègues ont trouvé que la taille de l’échantillon (ils ont utilisé l’«erreur-type» comme mesure de cette taille) est responsable «d’environ 27 % de la variance des résultats primaires», écrivent-ils. Cela signifie que si ces «résultats primaires» varient, disons, entre une minimum de 200 et un maximum de 300, alors l’«effet petite étude» est responsable de 27 des 100 points d’écart.

Notons que l’«effet petite étude» s’est avéré particulièrement fort dans les sciences sociales et les sciences biologiques, mais pas dans les sciences physiques. «Les physiciens, par exemple, ont fini par décider qu’ils en avaient assez de ces petites études faites par de petites équipes, alors ils ont opté pour un modèle collaboratif, dit John Ioannidis, un des co-auteurs de l’étude. Cela a changé complètement la manière dont ils font de la recherche et cela a probablement éliminé en grande partie le biais des petites études.»

Notons qu’aucun des autres biais ou sources de biais étudiés n’a dépassé 1,2 % de la variance, mais cela peut n’être que le signe que la méthode retenue par Fanelli et cie n’était pas bien adaptée pour tout. Ils concluent en effet que la pression de publier que subissent les chercheurs n’a pratiquement aucune influence, ce qui en fait tiquer quelques uns, mais certains des indicateurs utilisés sont douteux — le nombre d’articles publiés par année est une mesure du succès d’un chercheur, pas de la pression qu’il subit.

De la même manière, M. Fanelli a regardé si la présence d’un ou plusieurs auteurs à l’emploi d’une firme privée augmentait la taille de l’effet rapporté dans les études, ne trouvant presque rien. Mais l’intérêt d’une industrie ou d’une compagnie n’est justement pas toujours de gonfler l’effet : une entreprise qui fabrique des pesticides, par exemple, a bien évidemment intérêt à ce que les études sur l’efficacité de ses produits montrent les plus grandes différences possibles, mais c’est une autre paire de manche pour les études qui se penchent sur les effets de ces mêmes pesticides sur l’environnement.

Bref, ce n’est pas une étude qui est intéressante ou utile pour documenter tous les types de biais possibles en science. Mais il n’est pas inutile de s’en servir pour rappeler que les petites études sont souvent de piètre qualité et qu’on doit toujours, toujours les considérer avec circonspection. Comme d’autres l’ont noté avant moi, il y a un pattern qui se répète malheureusement souvent dans certains domaines, notamment celui des médecines dites alternatives : les études préliminaires ou de faible qualité/envergure montrent des résultats qui, en moyenne, penchent plutôt du côté positif (et l’industrie associée en fait grand usage) ; mais à mesure que l’on augmente la taille et la qualité des études, les effets allégués commencent à s’effacer, jusqu’à ce que des méta-analyses finissent par démontrer que pratiquement tous les essais cliniques et autres études de bonne qualité concluent à l’absence d’effet.

Il est inévitable que des petites études soient réalisées : quand on essaie quelque chose de nouveau, ce qui est par définition très fréquent en recherche, on ne commence pas par faire de grands échantillons de 2000 personnes. On teste d’abord le concept et les indicateurs sur de petits groupes puis, si les résultats le justifient, on étend l’envergure des expériences. Rien de plus normal, naturel et logique. Mais il faut toujours garder en tête que ces études-là viennent avec un (au moins un) gros astérique…

Lire les commentaires (4)  |  Commenter cet article






publicité

  • Catégories



  • publicité





  • Calendrier

    mars 2017
    D L Ma Me J V S
    « fév   avr »
     1234
    567891011
    12131415161718
    19202122232425
    262728293031  
  • Archives