Sciences dessus dessous

Sciences dessus dessous - Auteur
  • Jean-François Cliche

    Ce blogue suit pour vous l'actualité scientifique, la décortique, et initie des échanges à son sujet.
  • Lire la suite »

    Partage

    Mardi 21 mars 2017 | Mise en ligne à 11h45 | Commenter Commentaires (4)

    De bonnes notes pour la physique (et de moins bonnes pour les sciences sociales)

    On savait déjà que les minuscules études doivent être prises avec un grain de sel. On a désormais une idée de l’ampleur du problème et des «dégâts» (terme en partie exagéré, j’y reviens) qu’il cause.

    Un trio de chercheurs mené par Daniele Fanelli, de l’Université Stanford, a publié hier une «Métaévaluation du biais en science» dans les PNAS. Les auteurs ont analysé pas moins 1910 méta-analyses (incluant plus de 33 000 études individuelles) dont les résultats pouvaient être agrégés et comparés les uns aux autres afin d’y puiser une série d’indicateurs leur permettant de quantifier toutes sortes de biais que l’on soupçonne de plus ou moins embrouiller la littérature scientifique. Et celui qui est le plus important est, de très loin, l’«effet petite étude» : essentiellement, plus un échantillon est petit, plus la taille de l’effet rapporté dans l’étude (bienfaits d’un futur médicament, risque associé à telle produit chimique, etc) a tendance à être grand, en moyenne.

    Cela peut refléter des différences de méthode qui viennent avec la taille de l’échantillon ou avoir des racines «moins présentables» (on répète plusieurs fois la même étude avec de petits échantillons et on ne publie que les résultats les plus spectaculaires). Mais quoi qu’il en soit M. Fanelli et ses collègues ont trouvé que la taille de l’échantillon (ils ont utilisé l’«erreur-type» comme mesure de cette taille) est responsable «d’environ 27 % de la variance des résultats primaires», écrivent-ils. Cela signifie que si ces «résultats primaires» varient, disons, entre une minimum de 200 et un maximum de 300, alors l’«effet petite étude» est responsable de 27 des 100 points d’écart.

    Notons que l’«effet petite étude» s’est avéré particulièrement fort dans les sciences sociales et les sciences biologiques, mais pas dans les sciences physiques. «Les physiciens, par exemple, ont fini par décider qu’ils en avaient assez de ces petites études faites par de petites équipes, alors ils ont opté pour un modèle collaboratif, dit John Ioannidis, un des co-auteurs de l’étude. Cela a changé complètement la manière dont ils font de la recherche et cela a probablement éliminé en grande partie le biais des petites études.»

    Notons qu’aucun des autres biais ou sources de biais étudiés n’a dépassé 1,2 % de la variance, mais cela peut n’être que le signe que la méthode retenue par Fanelli et cie n’était pas bien adaptée pour tout. Ils concluent en effet que la pression de publier que subissent les chercheurs n’a pratiquement aucune influence, ce qui en fait tiquer quelques uns, mais certains des indicateurs utilisés sont douteux — le nombre d’articles publiés par année est une mesure du succès d’un chercheur, pas de la pression qu’il subit.

    De la même manière, M. Fanelli a regardé si la présence d’un ou plusieurs auteurs à l’emploi d’une firme privée augmentait la taille de l’effet rapporté dans les études, ne trouvant presque rien. Mais l’intérêt d’une industrie ou d’une compagnie n’est justement pas toujours de gonfler l’effet : une entreprise qui fabrique des pesticides, par exemple, a bien évidemment intérêt à ce que les études sur l’efficacité de ses produits montrent les plus grandes différences possibles, mais c’est une autre paire de manche pour les études qui se penchent sur les effets de ces mêmes pesticides sur l’environnement.

    Bref, ce n’est pas une étude qui est intéressante ou utile pour documenter tous les types de biais possibles en science. Mais il n’est pas inutile de s’en servir pour rappeler que les petites études sont souvent de piètre qualité et qu’on doit toujours, toujours les considérer avec circonspection. Comme d’autres l’ont noté avant moi, il y a un pattern qui se répète malheureusement souvent dans certains domaines, notamment celui des médecines dites alternatives : les études préliminaires ou de faible qualité/envergure montrent des résultats qui, en moyenne, penchent plutôt du côté positif (et l’industrie associée en fait grand usage) ; mais à mesure que l’on augmente la taille et la qualité des études, les effets allégués commencent à s’effacer, jusqu’à ce que des méta-analyses finissent par démontrer que pratiquement tous les essais cliniques et autres études de bonne qualité concluent à l’absence d’effet.

    Il est inévitable que des petites études soient réalisées : quand on essaie quelque chose de nouveau, ce qui est par définition très fréquent en recherche, on ne commence pas par faire de grands échantillons de 2000 personnes. On teste d’abord le concept et les indicateurs sur de petits groupes puis, si les résultats le justifient, on étend l’envergure des expériences. Rien de plus normal, naturel et logique. Mais il faut toujours garder en tête que ces études-là viennent avec un (au moins un) gros astérique…


    • En ce qui a trait aux études en psychologie, on a souvent présenté les résultats de grandes expériences connues comme démontrant des traits universels (du moins dans les ouvrages de vulgarization). Par exemple, l’expérience de Milgram (obéisance à l’autorité), l’expérience de la prison de Stantford (pulsions méchante qui s’expriment facilement), celle de Ash (on préfère se ralier à la majorité plutôt qu’à notre jugement). Toutefois, souvent dans ces expériences, et encore souvent dans les expériences en psychologie, les échantillons sont constituéss d’universitaires américains dans la vingtaine. Or, ceux-ci ne sont pas representatifs de la population américaine dans l’ensemble, et encore moins de la population mondiale. J’ai lu que certaines experiences en psychologie (notamment celle où on doit partager une somme d’argent entre deux participants) obtiennent des résultats très variés en fonction de la culture dans laquelle on la fait… Des idées la dessus M. Cliche?

    • Une taille d’échantillon trop petite cela se comprend qu’il y aura un biais. Pour la médecine alternative bien ce sont des effets placebo le plus souvent et cela varie en fonction des croyances des personnes participantes. Si tu n’es pas malade ou que cela va passer pas mal tout seul… Les deux peuvent faire la job et même rien du tout.

      Pour les sciences sociales ? Mais tu étudies quoi au juste en sociologie ou psychologie ? Non mais tu sondes la population , ton échantillon doit être représentatif.

      Mais prenons plutôt les sciences commerciales, le marketing. Ceux faisant des études de marché et très forts dans l’analytique. Ce n’est peut-être pas de la science mais le recours aux méthodes statistiques s’en rapproche. Alors qu’une approche comme celle de Clotaire Rapaille, de gourou, c’est plus fondé sur l’intuition, les symboles, la créativité. Son show devant une foule peut être de la poudre aux yeux mais les techniques de communication et certaines méthodes favorisant la créativité fonctionnent…

      Tu fais un brain-storming, il est possible qu’une idée créatrice et très bonne émerge.

      Pour d’autres choses que tu veux mesurer cela ne se mesure pas et aura un effet marginal ou plutôt très placebo. Comme du marketing aussi, des symboles et tout. La personne croit que sa recette gastronomique est meilleure parce qu’il brasse son repas de telle façon.

      Boire ta bière dans telle verre là cela est vrai mais ensuite pour des différences mineures on est dans le placebo ou dans le snobisme.

      Pour les sciences humaines, c’est meilleur dans la conceptualisation que dans la mesure bien que cela dépend quoi…

      J’allais dire que les sciences humaines c’est comme le modèle de la pyramide des besoins de Maslow.

      https://fr.wikipedia.org/wiki/Pyramide_des_besoins#Absence_de_donn.C3.A9es

      Ce n’est pas vraiment démontrable scientifiquement c’est conceptuel.

      Tu ne dois pas examiner ton modèle de manière rigide.Trop facile cela peut ensuite s’appliquer à tout le monde ? Tu fais de la philosophie ou encore de la morale et tu utilises des métaphores. Tu peux en faire une démonstration mais n’essaye pas celle scientifique.

    • Le problème reste fondamentalement que les sciences humaines ont du mal à se décrocher de la littérature. Il y a peut de monde qui s’efforce de prendre des mesures fiables et de les analyser correctement.

    • Je pense plus que ce sont les gens d’ici qui intègrent moins bien les deux et alors ils cherchent à se décrocher de l’un ou de l’autre donc cela crée une dichotomie plutôt qu’une synergie.

      Une anesthésie chez le dentiste cela devrait fonctionner ils peuvent toujours s’en assurer et de l’Aspirine aussi cela devrait être efficace pour réduire la douleur. https://fr.wikipedia.org/wiki/Acide_ac%C3%A9tylsalicylique Il peut toujours y avoir quelques variations d’une personne à l’autre mais l’efficacité est là.

      Alors que si on va dans l’humain dans la motivation, les encouragements. Ils viennent de qui ? Est-ce que la personne qui les fait est significative pour celle qui les reçoit ? Est-ce au bon moment ? Recevoir du support moral on le sait que cela aide mais tu veux mesurer avec précision ? Et chez tous ?

      Quelque chose qui est mécanique, biologique ou électrique. Versus un phénomène psychologique ou sociologique. Tu pédales le vélo avance mais qu’est-ce qui te donne envie de continuer à pédaler ?

      https://digest.bps.org.uk/2015/08/27/this-is-what-happened-when-psychologists-tried-to-replicate-100-previously-published-findings/

      Certaines de ces études n’ont pas de sens dès le départ ? Ou ne sont pas mesurables de manière objective ? Alors tenter de les répliquer.

      Alors que si tu verses ton eau dans ta bouilloire et la même quantité cela va te prendre tant de temps avant d’arriver à ébullition ? Tu demandes un trajet sur Google Maps et comme piéton et disons qu’il est fiable. Le temps qui est indiqué est pas mal le bon.

      Ton étude devrait se concentrer sur ce qui est scientifiquement démontrable ? Le reste c’est un art et cela est variable. Qu’est-ce qu’un bon prof ? Des élèvent vont trouver un prof exceptionnel alors que d’autres vont dire qu’il est mauvais et pareil pour un coach, le meilleur coach qu’il a jamais eu selon lui alors que pour un autre, il va l’avoir détesté. Personne n’a la même relation avec.

      Il y a des écoles pour former les enseignants bien sûr mais est-ce qu’il y a des certitudes absolues ? C’est comme les manières d’enseigner la lecture ou autre. Vous avez alors des débats interminables.

    Vous désirez commenter cet article?   Ouvrez une session  |  Inscrivez-vous

    publicité

  • Catégories



  • publicité





  • Calendrier

    mars 2017
    D L Ma Me J V S
    « fév   avr »
     1234
    567891011
    12131415161718
    19202122232425
    262728293031  
  • Archives