Sciences dessus dessous

Archive de la catégorie ‘Mathématiques’

Vendredi 21 août 2015 | Mise en ligne à 16h49 | Commenter Commentaires (66)

Avez-vous vu ma marge d’erreur ?

À la suite de mon article paru hier sur le dernier sondage CROP (oui, je travaille aussi sur la campagne ces temps-ci), qui donnait au NPD une confortable avance au Québec, Alexandre April, un prof de physique, m’a envoyé la réaction suivante. Je la reproduis ici parce qu’elle soulève, à mon sens, des questions très pertinentes, et on en discutera par la suite.

«Votre quoditien publiait en Une aujourd’hui un sondage démontrant une remontée significative du NPD dans les intentions de votes aux prochaines élections. Or, on lit à la fin de votre article « Compte tenu du caractère non probabiliste de l’échantillon, le calcul de la marge d’erreur ne s’applique pas », cela en raison du fait que le sondage s’est fait par le biais d’un panel web.

Je suis professeur de physique au cégep Garneau et, de par ma formation scientifique, j’ai des bases en probabilités et statistiques. Personnellement, je n’accorde de crédibilité qu’aux sondages dont la marge d’erreur est connue, donc aux sondages probabilistes. Je me suis toujours méfié des sondages non probabilistes, pour lesquels la marge d’erreur ne s’applique pas. J’ai la désagréable impression que ces sondages ne sont là que pour manipuler l’opinion publique (…).

Selon Jean-Marc Léger, président de Léger Marketing, «pour qu’une méthode soit qualifiée de probabiliste, elle doit offrir une chance égale et connue à chaque personne admissible sur un territoire donné d’être sélectionnée dans un échantillon. Le caractère aléatoire de la démarche permet ainsi d’associer au sondage une marge d’erreur.» Le sondage Internet ne peut donc pas être qualifié de probabiliste.  Mais comment un sondage peut-il être probabiliste, c’est-à-dire comment peut-on être certain du caractère aléatoire de l’échantillon ? Ça doit être possible, puisqu’on lit régulièrement aussi les résultats de sondages dits probabilistes pour lesquels la marge d’erreur est précisée. Pourquoi un sondage comme celui que vous avez commenté ce matin ne pourrait-il pas être probabiliste ?

(…) Pourquoi ne pas s’en tenir à des sondages probabilistes qui m’apparaissent moins susceptibles d’être conçus pour orienter l’opinion publique ?

Alexandre April, Ph D.»

Commençons par la fin : si les panels web ont remplacé les sondages téléphoniques chez pratiquement toutes les firmes — CROP est loin de faire cavalier seul, ici — c’est purement et simplement parce qu’ils coûtent moins cher à réaliser.

Si on leur reproche par ailleurs de ne pas être «probabilistes», c’est que leur échantillon n’a pas «une chance égale» d’inclure n’importe quel individu au sein d’une population. Tout le monde n’est pas branché sur Internet pour diverses raisons (âge, pauvreté, choix de vie, etc), ce qui peut introduire divers biais, et les sondeurs (c’est le cas de Léger, du moins) se constituent habituellement une sorte de «banque» de quelques dizaines ou centaines de milliers d’internautes parmi lesquels ils pigent ceux qui seront sondés pour une enquête en particulier. Et en cas d’écart entre le panel et ce que l’on sait de la population en général, les sondeurs pondèrent en conséquence. Bref, pas aussi aléatoire que de simplement tirer des numéros de téléphone au hasard.

Mais remarquez, même les sondages téléphoniques ne sont pas parfaitement probabilistes, et il fut une époque où ils ne l’étaient certainement pas plus que les panels web d’aujourd’hui. Peut-être qu’un jour, quand on aura fait plus de recherche et que l’Internet aura atteint le même degré de pénétration que le téléphone, les panels seront considérés comme «raisonnablement probabilistes». On verra.

En attendant, la question est : peut-on s’y fier ? Lors d’une autre campagne, il y a quelques années (la pratique ne date pas d’hier), je me souviens avoir posé pas mal de questions là-dessus à Youri Rivest, sondeur chez CROP, qui m’avait répondu essentiellement que la technique avait été abondamment testée (en comparant avec des enquêtes téléphoniques) avant d’être utilisée, et que certaines réponses et caractéristiques des panels étaient toujours validées auprès d’une sorte d’«échantillon maître» tenu par chaque sondeur. Cela m’avait été confirmé par la sociologue de l’UdeM Claire Durant, une spécialiste des sondages, qui demeurait tout de même prudente.

De toute manière, quand le gros de votre chiffre d’affaire vient de compagnies qui veulent avoir l’heure juste avant de prendre des décisions impliquant parfois des millions $, vous n’avez pas intérêt à produire des données bidon. Et à plus forte raison si elles sont publiées dans des médias de masse. Ce n’est pas parfait, je l’admets sans problème et j’insiste là dessus, mais la question pertinente, ici, est celle de savoir si la méthode est moins fiable que celle qu’elle remplace (les enquêtes téléphoniques), et à en juger par ce qui est ressorti de diverses comparaisons, il semble que non.

Maintenant, là où j’accroche, personnellement, c’est que cela prive M. et Mme Tout-le-Monde d’une nuance importante. Les outils de la statistique sont faits pour s’appliquer à des échantillons probabilistes. Si un panel web ne l’est pas, alors on ne peut pas calculer sa marge d’erreur. Ou enfin, oui, on peut, mais c’est comme de mettre un casque de moto pour manger un cornet de crème glacée : ce n’est pas vraiment fait pour ça.

Or la marge d’erreur a toujours eu une fonction d’avertissement pour les lecteurs. Elle sert à leur rappeler que ce sont là des statistiques, et qu’en stats, rien n’est jamais absolument et entièrement certain. Faut toujours se garder une petite gène, car on a toujours 1 chance sur 20 pour que les vraies intentions de vote se situent en dehors du célèbre ± 3 % 19 fois sur 20. Et le fait qu’un échantillon n’est pas probabiliste ne signifie en rien qu’il donne exactement la bonne réponse. Il est bien évident que si CROP a trouvé 47 % d’appui au NPD, cela veut dire «à peu près 47 %», «fort probablement quelque part entre 44 et 50 %». Pas «pile poil 47».

Alors du point de vue du journalisme et de la communication des données, on est un peu coincé : ou bien on ne donne pas de marge d’erreur, auquel cas on présente (ne serait-ce qu’implicitement) les résultats comme plus sûrs qu’ils ne le sont vraiment ; ou bien on calcule la marge d’erreur, commettant alors un impair mathématique et encourant le Terrible et Saint Courroux des statisticiens — colère qui aurait sans doute été le Cinquième Cavalier de l’Apocalypse si la théorie des probabilités avait été inventée à l’époque de la rédaction de la Bible.

Il y a bien l’avenue mitoyenne préconisée par Léger, qui me plaît pas mal et qui consiste à dire qu’«un échantillon de cette taille aurait eu une marge d’erreur de X si l’échantillon avait été probabiliste», mais j’en ai déjà touché un mot à une couple de statisticiens dans le passé, et ils ne se sont pas montrés convaincus. Alors vous pensez bien que j’ai pris mon trou, hein…

Mais plus sérieusement, vous, vous en pensez quoi ?

AJOUT, mardi 25 août, 16h10 : La présidente de l’Association des statisticiens et statisticiennes du Québec, Véronique Tremblay, m’a écrit hier pour réagir à mon billet. Je reproduis ici sa lettre, elle aussi très éclairante :

«M. Cliche,

Premièrement, je veux vous remercier d’avoir abordé le sujet des marges d’erreur et des sondages auprès de panels web dans votre blogue. Il s’agit d’un sujet qui soulève les discussions au sein même de la communauté de statisticiens.

Bien que je sois présidente de l’Association des statisticiennes et des statisticiens du Québec, je ne peux prétendre parler pour l’ensemble des statisticiens, mais je me permets de vous faire part de mon point de vue sur la question.

Commençons par la citation qui dit «pour qu’une méthode soit qualifiée de probabiliste, elle doit offrir une chance égale et connue à chaque personne admissible sur un territoire donné d’être sélectionnée dans un échantillon». Cette définition du sondage probabiliste est largement véhiculée mais elle démontre une certaine incompréhension du concept d’échantillonnage probabiliste. Pour qu’un échantillonnage soit probabiliste, il doit donner à chaque individu une probabilité non nulle et connue d’être sélectionné. Les probabilités de sélection n’ont pas à être égales : elles peuvent varier d’un individu à l’autre sans nuire au caractère probabiliste de l’échantillon. Il suffit de connaître cette probabilité et d’en tenir compte lors des estimations et du calcul des marges d’erreur, ce qu’un bon statisticien saura faire sans problème.

Le principal problème d’un panel web n’est pas tant au niveau du calcul de la marge d’erreur qu’au niveau du biais lié à la composition du panel. On pourrait bien spécifier une marge d’erreur pour un panel web, mais pour être rigoureux, il faudrait aussi préciser la population que représentent les répondants. Par exemple, dans votre article, on pourrait dire «47% des membres du panel web CROP» ou à la limite «47% des répondants» et non pas «47% de la population québécoise». Dans ce cas, on pourrait, à mon humble avis, accompagner le résultat d’une marge d’erreur.

La qualité du panel

Il faut aussi tenir compte du fait qu’il existe différentes qualités de panels web. Certains panels web sont dits «probabilistes», parce que les panélistes sont recrutés par téléphone sur une base aléatoire. Bien que les panels «probabilistes» ne fassent pas l’unanimité, il s’agit d’une alternative intéressante aux sondages téléphonique lorsque le budget est limité. Voici un texte intéressant à ce sujet http://web.stanford.edu/dept/communication/faculty/krosnick/Mode%2004.pdf.

Le taux de réponse

Le taux de réponse est aussi un élément central dans la qualité des résultats d’un sondage et devrait toujours être présenté, même pour un panel web. La non-réponse et les refus de répondre entraînent des biais importants. Les sondages web étant parfois fait très rapidement pour répondre aux besoins des journalistes, les taux de réponse sont très faibles.

La pondération

Pour la majorité des sondages, les probabilités de sélection sont inégales et le taux de réponse varie d’un groupe d’individus à l’autre. Pour réduire le biais associé à ces deux problèmes, on aura recours à la pondération des données (on attribue à chaque individu un poids qui correspond au nombre d’individus qu’il représente dans la population cible). La pondération réduit le biais mais elle a pour effet négatif d’augmenter la marge d’erreur. Le calcul des marges d’erreur pour des données pondérées est relativement complexe et la majorité des maisons de sondage n’en tienne pas compte. Par conséquent, elles sous-estiment largement la vraie marge d’erreur, qui peut facilement passer du simple au double après pondération.

Atténuer le «Terrible et Saint Courroux» des statisticiens

En plus d’éviter de présenter les résultats comme étant applicables à toute la population québécoise, voici une suggestion de ce que les journalistes pourraient présenter avec les résultats du sondage:
- Le panel web utilisé, une description du panel et la façon dont les panélistes sont recrutés (volontaire ou aléatoire par téléphone ou autre)
- Le taux de réponse et le traitement de la non-réponse
- La pondération effectuée et une marge d’erreur tenant compte de la pondération si le panel est probabiliste

J’apprécie sincèrement votre blogue. N’hésitez pas à communiquer avec moi si vous abordez de nouveau des sujets liés aux statistiques. Il me fera grand plaisir de vous répondre ou de vous diriger vers des spécialistes du sujet. J’en connais d’ailleurs plusieurs qui se feront un plaisir de discuter des méthodes de sondage avec vous.

Cordialement,

Véronique Tremblay ​, M.Sc., Stat.ASSQ
Présidente»

Lire les commentaires (66)  |  Commenter cet article






(Source : ironmaiden.com)

(Source : ironmaiden.com)

Pour me faire pardonner mon silence des derniers jours — et celui des semaines à venir, puisque je pars en vacances vendredi —, je vous ai trouvé non pas une, mais deux études fort intéressantes sur la musique. Absolument captivantes, vraiment… Oh certes, aucune des deux, admettons-le d’entrée de jeu, n’a trouvé la preuve scientifique qu’Iron Maiden est le plus grande groupe de l’Histoire de la musique, passée et à venir. C’est d’ailleurs là un point commun à toutes les études portant sur la musique, et c’est toujours un brin décevant. Mais bon, d’une part, il y a franchement des évidences d’une telle énormité qu’elles peuvent facilement se passer de démonstration ; et d’autre part, on voit aussi dans ces travaux qu’il y a bien d’autres choses que le heavy metal dans la vie, même si c’en est une partie fondamentale.

Le premier article, paru hier dans les PNAS, se veut la recherche la plus vaste jamais entreprise pour trouver une ou des caractéristiques universelles dans la musique, c’est-à-dire des traits qui seraient communs à absolument toutes les musiques du monde. Patrick Savage, de l’Université des arts de Tokyo, et son équipe ont pour ce faire analysé 304 enregistrements provenant de partout sur la planète, afin d’y trouver (ou non) 32 caractéristiques différentes, dont certaines paraissent a priori incontournables pour pouvoir qualifier un morceau de «musique» — tempo constant, mesures divisées en multiples de 2 ou 3, notes «discrètes» (i.e. jouées distinctement les unes des autres), etc.

Mais la seule règle absolue que M. Savage a trouvé, c’est qu’en musique, il y a des exceptions à toutes les règles. Même en utilisant une définition aussi vague que «tonalités discrètes ou motifs rythmiques réguliers ou les deux», les chercheurs ont trouvé des exceptions, notamment trois enregistrements de Papouasie-Nouvelle-Guinée qui ne comprenaient ni l’un, ni l’autre.

Rien n’est absolument universel, donc — ce qui n’est pas particulièrement étonnant, m’a dit l’ethnomusicologue Gérald Côté, puisque les raisons pour lesquelles on joue de la musique varient grandement d’une culture à l’autre, voir mon texte paru ce matin dans Le Soleil. Mais bien sûr, il demeure évident que certains traits sont communs à presque toutes les musiques du monde, ce qui pourrait ouvrir une fenêtre sur leurs origines. Par exemple, dans l’échantillon de M. Savage, le fait de chanter/jouer à plusieurs est extrêmement répandu, ce qui suggère que la musique pourrait au départ avoir eu un rôle dans la coordination des groupes humains. De même, le fait qu’une majorité de morceaux sont chantés/joués par des hommes et que les groupes sont habituellement unisexes — et ce, dans la plupart des cultures — suggère qu’il pourrait y avoir eu une fonction de parade nuptiale. À moins que ce ne soit un effet du patriarcat, qui était lui aussi presque universel…

(Source : Savage et al./PNAS)

(Source : Savage et al./PNAS)

* * * * *

Voilà pour l’universalité de la musique. Si vous ne restez pas hypnotisé trop longtemps par le tableau qui résume ces résultats, alors allez lire cet article paru récemment sur le site de Science, au sujet de «structures fractales» qui donne à tout morceau une signature humaine, voire propre à chaque musicien.

Les auteurs de l’étude, parue dans PLoS-ONE, ont analysé en profondeur le jeu du célèbre batteur Jeff Porcaro dans le «trépidant» hit de 1982 I Keep Forgettin’, du chanteur Michael McDonald — une chanson que nous aussi, franchement, on continue d’oublier sans arrêt malgré le génie de Porcaro, pour des raisons qu’il ne vaut vraiment pas la peine de se remémorer en écoutant la toune sur Youtube, vous pouvez me croire (ou non). Il y a pourtant une foule d’excellents disques qui sont sortis en 1982, mais bon, concentrons-nous sur Porcaro…

Les fractales sont des petites bêtes mathématiques que l’on obtient en répétant un même motif à plusieurs échelles — voir ici pour des exemples. On peut bien sûr en voir en géométrie, mais elles peuvent également exister dans le temps, et les auteurs de l’étude en ont trouvé dans les notes de 16e que Porcaro jouait sur ses cymbales près de 400 fois par minute dans I Keep Forgettin’, possiblement pour se garder réveillé. Pour l’oreille humaine, ces battements sont joués de façon parfaitement égale, mais des instruments plus précis permettent d’y déceler toutes sortes de déviations : les unes sont jouées un demi-brin en avance, les autres un dixième de poil en retard, d’autres sont jouées un peu plus fort ou plus doucement.

Ce sont ces infimes déviations qui, ensemble, forment des patterns, des fractales. Et ce sont ces fractales qui, bien qu’imperceptibles ou presque, distinguent la musique jouée très mécaniquement par un ordinateur et celle d’un vrai musicien — et on pourrait même y voir des signatures personnelles. Les chercheurs derrière cette étude, dirigée par le physicien (et batteur) allemand Holger Henning, entendent en effet poursuivent leurs travaux en menant le même genre d’analyse sur plusieurs musiciens.

En ce qui me concerne, et vous me direz ce que vous en pensez, ces travaux sont particulièrement intéressants parce que l’on pense spontanément que si la musique plaît à l’esprit humain (ou occidental), c’est parce qu’elle organise le temps, parce qu’elle possède une structure. Ce n’est sans doute pas faux, mais le fait est que quiconque a déjà écouté une chanson jouée par ordinateur (voir notamment ce qu’on trouve sur des sites comme songsterr.com) sait très bien qu’il n’y a pas que cela. L’ordinateur respecte le rythme et les tonalités à la perfection, mais c’est justement ce qui rend l’écoute franchement ennuyante : l’ensemble est si parfait qu’il sonne robotique, statique. Il faut donc y ajouter un facteur humain, avec les défauts qui viennent avec, pour rendre la pièce agréable. Et Henning et al. nous disent maintenant que ce pourrait être «une structure dans les défauts de la structure» qui fait la différence…

Fascinant. Et à suivre.

Lire les commentaires (22)  |  Commenter cet article






Lundi 5 janvier 2015 | Mise en ligne à 11h45 | Commenter Commentaires (27)

La chance, la poisse et le cancer

La «nouvelle», si le terme convient vraiment, a fait beaucoup de bruit ces derniers jours : selon une étude publiée dans la prestigieuse revue Science, ou du moins selon les articles de presse à son sujet, les deux tiers des cas de cancer s’expliqueraient simplement par de la «malchance», et non par la génétique, l’environnement et/ou de mauvaises habitudes de vie. Pratiquement tous les médias du Québec l’ont reprise et, à un moment de l’année où l’abus des bonnes choses est une routine, une manchette aussi déculpabilisante que celle-là a eu un retentissement bien prévisible sur les réseaux sociaux, où l’on ne compte plus les «je le savais, c’est juste de la chance». Mais… Mais…

Mais il y a un petit problème, ici. Un menu détail. Un léger quiproquo : l’étude en question ne démontre pas que les deux tiers des cas de cancer sont dû au hasard. Mais alors là, pas du tout. Le travail, réalisé par le généticien Bert Vogelstein et le mathématicien Cristian Tomasetti, de l’Université Hopkins, est extrêmement intéressant, mais il y a malheureusement des subtilités du jargon statistique qui semblent avoir échappé à la machine médiatique.

Le duo d’auteurs part d’un principe bien connu. Le cancer est causé par des mutations dans l’ADN de nos cellules. Or lorsque nos cellules se divisent, il arrive (rarement, mais quand même) que des erreurs soient commises dans la retranscription dudit ADN, ce qui provoque des mutations. Cela donne donc des tumeurs qui ne sont dues ni à la génétique, ni à des facteurs environnementaux comme la pollution ou la cigarette, mais simplement à une forme de malchance, une sorte de risque de cancer «de base» qui serait inhérent à tous les animaux dont les cellules se multiplient.

Pour étudier le phénomène, MM. Vogelstein et Tomasetti ont donc épluché la littérature scientifique afin de calculer des risques de cancer pour 31 organes différents — l’idée étant ici que nos cellules ne se divisent pas au même rythme dans tous les organes. Et ils ont trouvé, comme ils s’y attendaient, que les organes dont les cellules se divisent rapidement sont plus souvent le siège de tumeurs que les autres. La corrélation est même très, très forte, avec un coefficient de 0,81 — une valeur de 0 indique une absence de corrélation, alors qu’une valeur de 1 (ou de –1, je vous épargne les détails) montre que deux variables «bougent» ensemble de manière systématique. Et en faisant le carré de ce coefficient, l’on obtient un autre coefficient, «de détermination» celui-là, qui indique la part de la variation qui peut s’expliquer par une variable. Dans le cas qui nous intéresse, on a 0,812 = 0,66. C’est de là que vient le ratio des «deux tiers» dont on parle ici.

Mais ce qu’il importe de noter, en tout ceci, c’est que la «part de la variation» ne doit pas être confondue avec la part du risque total. Comme l’explique ici le biostatisticien anglais Ben O’Hara, une variable peut expliquer une grande partie de la variation sans dire grand-chose sur le risque absolu. Par exemple, si le risque de tumeur varie d’un organe à l’autre entre, disons 0,01 et 1 %, alors la «part de la variation» peut, certes, être une donnée absolument fondamentale. Mais si le risque fluctue entre 80 et 81 %, alors franchement, on s’en fout pas mal : une variable peut bien expliquer les deux tiers de la différence entre un risque de 80 % et un risque de 81 %, c’est vraiment ce qui se passe de 0 à 79,9 % qui nous intéresse.

Les chiffres que je donne ici sont fictifs et caricaturaux, mais ils font ressortir ce que MM. Vogelstein et Tomasetti ont vraiment étudié : la variation, pas le risque absolu. En outre, il faut aussi vraiment souligner à grands traits que ce sont des organes que l’on compare ici, et non les situations (génétique défavorable, pollution, tabagisme, alcool, etc) dans lesquelles se trouvent ou non les organes.

Alors ce qu’ont trouvé les chercheurs de Hopkins demeure bien intéressant pour documenter le risque de base que nous avons de développer un cancer par le seul fait que nos cellules se divisent, mais cela n’enlève rien au fait que la cigarette multiplie par 15 à 30 le risque absolu de cancer du poumon, que l’abus d’alcool accroît le risque absolu de développer plusieurs types de cancer, que 70 % des cancers cervicaux sont causés par le virus du papillome humain, et ainsi de suite.

Désolé…

Lire les commentaires (27)  |  Commenter cet article






publicité

  • Catégories

  • Blogues sur lapresse



    publicité





  • Calendrier

    août 2015
    D L Ma Me J V S
    « juil    
     1
    2345678
    9101112131415
    16171819202122
    23242526272829
    3031  
  • Archives

  • publicité