Sciences dessus dessous

Sciences dessus dessous - Auteur
  • Jean-François Cliche

    Ce blogue suit pour vous l'actualité scientifique, la décortique, et initie des échanges à son sujet.
  • Lire la suite »

    Partage

    Vendredi 20 janvier 2017 | Mise en ligne à 10h22 | Commenter Commentaires (22)

    Réplication d’études : au tour de la cancérologie de passer dans le tordeur…

    (Photo : Reuters / archives La Presse)

    (Photo : Reuters / archives La Presse)

    Depuis toujours, la base de la base élémentaire 101 des fondements primaires de la pierre d’assise sur laquelle repose le socle de toute science, c’est que si l’on veut que nos connaissances progressent, on doit pouvoir se fier aux résultats des expériences passées, on doit pouvoir construire dessus. Parce que si on ne peut pas partir de ces expériences-là pour guider de futures recherche, alors pourquoi on les fait ?

    Mais un travers bien connu des milieux scientifiques est que, justement, la validation des résultats antérieurs est une tâche ingrate et peu valorisée. Personne, ou presque, n’obtient de subventions pour refaire les expériences des autres et très peu de revues savantes sont intéressées à les publier. Si bien que, dans bien des disciplines, on doit (trop) souvent se fier à des résultats qui n’ont été rapportés qu’une seule fois et n’ont jamais été reproduits. Du moins, pas dans la littérature scientifique. Certes, le concept de «résultats convergents» permet de contourner ce problème en partie — sans refaire exactement les mêmes expériences, on peut mener des recherches un peu différentes qui donnent des résultats cohérents avec ce qui a déjà été publié —, mais ce n’est pas idéal. Si bien que plusieurs initiatives de reproduction d’expériences qui ont «fait école» dans leur discipline ont été entreprises.

    Et les résultats ne sont pas très glorieux, jusqu’à présent. En psychologie, une équipe a tenté de reproduire 100 expériences célèbres, mais n’a obtenu des résultats comparables que dans 39 % des cas. Des économistes ont voulu faire la même chose dans leur discipline, qui ne s’en est pas mieux tirée (49 %). Et voilà que le même exercice, entrepris en 2013 sur des études très citées en cancérologie, vient de livrer ses premières conclusions… qui ne sont pas plus reluisantes que les autres, rapport Nature. L’échantillon est encore petit, mais sur cinq expériences testées, seulement deux ont été reproduites «substantiellement». Les résultats de deux autres se sont avérés difficiles à interpréter (quelque chose s’est mal passé pendant la réplication, qui n’a pas pu être recommencée), et la cinquième réplication s’est bien déroulée mais n’a tout simplement pas obtenu les mêmes résultats que l’originale.

    Remarquez, cela ne veut pas dire que les trois études non reproduites sont mauvaises. Mais cela signifie qu’il y a une foule de facteurs, souvent très anodins en apparence, qui peuvent influencer l’issue d’une expérience. Et c’est particulièrement vrai en recherche biomédicale, où des détails comme la température des labos, des différences d’éclairage entre deux parties d’une pièce où l’on garde des souris, etc., peuvent fausser les résultats. En fait, il semble que même le simple fait que l’expérience soit menée par un homme ou une femme peut faire une différence, c’est tout dire…

    Une des principales conclusions de l’essai de réplication publié dans Nature est d’ailleurs qu’il n’y a pas assez de détails méthodologiques qui sont publiés dans les articles scientifiques. Et si on comprend mal comment ces détails peuvent influer sur le résultat d’une expérience, cela implique qu’on ne comprend pas (encore) bien ce que l’on étudie.

    Histoire à suivre…


    • Je crois qu’on sous-estime les erreurs dans les bases de données qui peuvent donner des résultats différents pour les études. Potentiel d’erreurs: erreur de mesure, erreur dans la prise de données, erreur de code, erreur dans la retranscription dans un logiciel de base de données, erreur dans l’ajout des données à une base existante, erreur dans la combinaison de différentes bases de données, erreur de transformation de données, etc. Et par la suite on peut se retrouver avec un individu né en 1982 qui a eu le cancer en 1975…

    • @adpi 11h10
      Exact! Une partie de mon travail est justement de veiller à l’intégralité des données de recherche de notre groupe de recherche. J’essaie d’automatiser le plus possible la saisie de données et de diminuer le facteur humain. Ce n’est pas toujours évident…

    • http://freakonomics.com/podcast/bad-medicine-part-1-story-98-6/

    • Oui c’est de la science mais ce ne sont pas des lois scientifiques et ce sont des phénomènes complexes et difficiles à mesurer. Pour l’être humain , chaque personne est unique. Pas tant que cela ? On veut simplifier à l’extrême comme on veut trouver la pilule miracle, le secret du bonheur ou avoir des certitudes, ce qui est rare…

      Votre étude sera toujours un peu , beaucoup imparfaite et avec ses limites. C’est prétendre vouloir la répliquer exactement qui est prétentieux sauf pour des choses évidentes. Tu n’es pas dans un milieu contrôlé parfaitement pour l’économie, le ceteris paribus, le toutes choses égales par ailleurs ce n’est pas évident en pratique ou même cela n’arrive jamais ce n’est que dans un cadre théorique que tu peux mesurer cela.

      Tout bouge, on est dans un monde en mouvement et non statique.

      Ceteris paribus est-il là ? Ont-ils coulé leur cours d’économie 101 ? Mais non, mais ils essayent pareil de voir clair et de mesurer…

      Pas seulement un homme ou une femme, si ce ne sont pas les mêmes individus, exactement au même moment , on ne peut pas répliquer à la perfection et comme chaque instant est unique… Par contre, si vous avez une loi de la nature ou même une loi économique elle va se reproduire. Ceteris Paribus en économie.

    • En rappel l’expérience suivante du lien entre propreté et sévérité morale :

      http://www.slate.fr/story/91163/chercheurs-psychologie-replication

      Je pense qu’il peut vraiment y avoir un certain lien mais difficile à mesurer. Par contre, leur expérience est proche du charlatanisme. Il faut que ce soit une personne obsédée de la propreté pour de vrai. Pas n’importe quel étudiant qui va se laver les mains et se sentir plus pur en regardant un film… C’est quoi cette niaiserie là ?

      Cela donne quasiment envier d’être grossier avec eux et vous imaginez le genre de films qu’on pourrait faire voir…

      C’est presque de la pensée magique leur affaire… Évidemment qu’un rituel peut peut-être comme dans la métaphore de Ponce Pilate.

      C’est comme aller à la confesse alors ou faire ses prières ? Tu te sens moins coupable ?

      Pour leur conclusion, je penserais même l’inverse :

      ” La conclusion de cette étude: que les gens qui se sentent eux-mêmes relativement purs –qu’importe qu’ils en aient ou non conscience– se sentent aussi moins dérangés par les souillures d’autrui. ”

      Comment savent-ils comment les gens se sentent vraiment ? Ils en ont pas conscience ? Étaient-ils sous hypnose pour se laver les mains ?

      On essaye de lire l’âme ou la conscience morale des gens avec des expériences bidons et on se croit scientifiques ?

    • Quand j’ai commencé à écrire mon premier article scientifique, tout bonnement, je me suis préparé à retracer mes démarches méthodologiques pour parvenir au résultat final, incluant l’analyse de celles qui n’avaient pas fonctionnées. Or, les magazines scientifiques exigent plutôt la description d’une démarche idéalisée, où tout fonctionnerait sur des roulettes, comme si l’illumination nous venait du premier coup, sans hésitation. Comme je le disais à mon directeur, bref, il faut raconter une “conte de fée ” pour que ça soit pris au sérieux(!).

      Mais voilà, ces essais et erreurs sont généralement les plus instructifs, parce que c’est là qu’on apprend pourquoi ça marche…et pourquoi ça ne marche pas. En escamotant ce (dur) labeur, on prive les lecteurs de l’apprentissage qu’on a réalisé durant tout ce temps. C’est sur que ça rend l’article plus digeste sur le plan intellectuel, mais les petits détails finissent par disparaître et pour retrouver les résultats des autres chercheurs, il faudrait réinventer le bouton à quatre trous ce qui, vous le soulignez M. Cliche, n’est pas une sinécure.

    • @ le_cyclope

      J’ai eu exactement la même réflexion lors de mon 3ième article (les deux premiers m’avaient donné l’impression que la science était un conte de fée). Mon article était bon mais l’une des expériences donnait des résultats surprenants et pas si simple à expliquer. Ce sont les reviewers qui ont suggéré d’enlever celle-ci pour que l’histoire soit plus digeste. Quand j’y pense (et c’est fréquent) je trouve ça épouvantable. Cela ne changeait pas le ‘take home message’ mais cela diminue grandement les nuances que l’expérience omise permettait.

      Aujourd’hui, j’ai légèrement changé de domaine, i.e. assez pour dire que depuis une dizaine d’années je suis extrêmement confortable avec la réplicabilité de mes études (qui avoisine les 100% et ce, dans un domaine de la Psychologie; donc dire que c’est l’être humain le problème, c’est une simplification). Bien sûr, cela me donne moins de publications mais je n’ai pas peur de me lever le matin et que quelqu’un me plante.

    • @le_cyclope @youhou C’est bizarre, ces demandes. J’aimerais avoir des explications un peu plus détaillée que les merdes qui me sont présenté sur une base régulière.

    • La méta-science vient à point parce que l’idéal scientifique se confronte de plus en plus à la réalité. L’objectivité est une vue de l’esprit et la réalité montre qu’on ne peut sortir de notre subjectivité. En fait ce monde qu’on croyait exister en dehors de nous est en fait intimement intriqué avec le nôtre. J’ai l’impression que la science sur la science risque de nous révéler des connaissances très révélatrices sur notre véritable nature.

    • Disons que je suis extrêmement dubitatif devant les commentaires de cyclope et youhou. Je me demande jusqu’à quel point ces « erreurs » où on apprend ce qui n’a pas fonctionné et qu’on corrige pour que ça fonctionne sont de véritables erreurs expérimentales. Dans certains domaines, il est assez facile de « corriger » des choses pour pratiquement induire le résultat voulu.

      Je ne dis pas que c’est ce que ces gens ont fait, je ne le sais pas. Mais je peux facilement imaginer certains scientifiques qui franchiraient la ligne sans s’en rendre compte ou en s’en rendant compte mais en allant de l’avant quand même.

    • Encore un bon texte, M. Cliche………..merci.

      Merci bien !
      JFC

    • @dcsavard
      ” il est assez facile de « corriger » des choses pour pratiquement induire le résultat voulu.”
      Ca fait penser à votre idole qui a fait disparaitre du site de la Maison Blanche, la page qui parlait du réchauffement climatique. Vendredi à midi une, elle était partie.
      La science “officielle” … ça me rappelle quelque chose de vraiment sombre !!

    • @dcsavard
      @yvan Dutil

      Désolé messieurs si j’ai donné l’impression que je corrigeais les choses pour que ça marche; je faisais plutôt référence à mon propre cheminement dans la mise sur papier du résultat d’une recherche.

    • @dcsavard
      @yvan Dutil

      Je ne comprends pas ce que vous n’avez compris dans mon post. Je faisais uniquement du pouce à le_cyclope sur le fait que quelques fois ce sont des demandes explicites des journaux scientifiques pour que le papier raconte une histoire idéalisée. Aujourd’hui, mes travaux ont été répliqué par d’autres laboratoires avec de nouvelles données qui vont beaucoup plus loin (cela fait maintenant près de 13 ans).

    • @le_cyclope Je révise régulièrement des articles scientifiques, et vous n’avez pas idée des merdes qui me sont présentés. Alors, moi j’ai plutôt tendance à demander des précisions sur l’expérience, pas d’enlever des éléments.

      Je vous donne l’exemple du dernier papier que j’ai révisé où on testait un matériel de construction cote à cote avec un matériel classique dans un mur test. Le problème est que le nouveau matériaux changeait l’albedo de la surface.

      Les clowns n’avait pas modélisé l’effet et même pas pensé de mettre une couche de peinture sur la surface!

      Reject off couse!

    • @gl000001 et JFC,

      me semble que ce genre de commentaires n’est pas à sa place ici. Si gl000001 veut poursuivre des discussions entamées sur d’autres blogues qu’il les poursuive sur ces autres blogues. Ceci étant dit, je n’ai pas l’intention de répliquer à ce genre de niaiseries.

    • @dcsavard
      Votre commentaire à l’endroit de Cyclope et Youhou n’a pas plus sa place ici. Votre dernier paragraphe semble dire que vous ne croyez pas qu’ils ont fait ça mais le mal est fait par le premier paragraphe.
      Si vous n’êtes pas sur de ce que la personne a écrit, posez une question !

    • «il y a une foule de facteurs, souvent très anodins en apparence, qui peuvent influencer l’issue d’une expérience»

      Y aurait-il en science également une «VÉRITÉ ALTERNATIVE»….comme on vient de le proclamé dans un autre Domaine connexe …au Pays de la Golden Moumoutte….

      .

    • @yvan Dutil
      Merci de vos explications, je comprends davantage votre réaction.

      Pour être plus explicite sur le premier article dont je parlais, il s’agissait précisément de reproductibilité d’un résultat, à savoir, déterminer les paramètres d’un modèle mathématique déterminé pour décrire une relation longueur-écaille chez les saumons. L’utilité de cette relation était de permettre le calcul d’un taux de croissance. Lorsque je tentais d’expliquer pourquoi ce modèle (lequel datait de 1930) pouvait avantageusement être remplacé par un autre, non-seulement pour des raisons statistiques, mais aussi biologiques, un des éditeurs associés du journal exigeait de retirer ces explications et de m’en tenir à la démarche classique que lui jugeais approprié. Dans ce cas précis, il s’agissait d’entêtement plutôt que d’une ligne éditoriale. Ça a tellement bardé, qu’il a d’ailleurs fini par se faire mettre à la porte dudit journal.

    • Tiens l’étude suivante : http://www.lapresse.ca/sciences/decouvertes/201701/26/01-5063482-des-six-ans-les-filles-sont-moins-enclines-a-se-considerer-brillantes.php

      Est-ce vraiment scientifique et réplicable ou bien les auteurEs ont des biais volontaires ou involontaires ? Les auteurs ou l’étude.

    • Je crois qu’il sera possible dans l’avenir d’avoir des résultats plus exacte, les scientifiques découvriront les raisons à laquelle les résultats peuvent être faux dans certain cas.
      Par contre selon moi les scientifiques font un travail exceptionnel dans la mesure du possible. Les découvertes faces au nouvelles technologies et scientifique ne finiront probablement jamais. Les résultats vont toujours être plus ou moins efficace selon moi.
      Je ne crois pas que la façons dont les tests sont effectués , que ce soit les femmes ou les hommes qui évalue les résultats soit une raison valable des erreurs.

    • Un peu tard peu-être, mais tout de même un article intéressant qui touche à la question:
      http://www.nature.com/news/crowdsourced-research-many-hands-make-tight-work-1.18508

      Même sans mauvaise foi, les résultats scientifiques peuvent varier dépendamment des méthodes statistiques choisies et de l’interprétation qu’on fait des résultats. Vous mettez le doigt sur un problème important dans la science. Les études DOIVENT être répliquées, mais malheureusement les ‘gros journaux’ lèvent trop souvent le nez sur les études qui ne sont pas en train d’innover. Il y a certains journaux qui se concentrent justement là-dessus, mais ceux-ci sont plutôt rares, et il n’y a pas le même ‘prestige’ associé à la publication dans un tel journal.

      On en parle cependant de plus en plus… À suivre comme vous dites.

    Vous désirez commenter cet article?   Ouvrez une session  |  Inscrivez-vous

    publicité

  • Catégories



  • publicité





  • Calendrier

    janvier 2017
    D L Ma Me J V S
    « déc   fév »
    1234567
    891011121314
    15161718192021
    22232425262728
    293031  
  • Archives