Biais et erreurs: Mathématiques alternatives, Appel à l’ignorance, Cueillette de cerises, Sources maltraitées.
Deux études sont passées au scalpel et torturées jusqu’à ce qu’elles avouent l’assassinat de SEP. Attention, cet article contient des graphiques difficilement soutenables.
Bernard Guennebaud se présente comme mathématicien. Il a de nombreuses théories à propos de nombreux sujets, qui tournent tous autour des vaccins.
La sclérose en plaques (SEP) est une maladie neurologique caractérisée par de multiples atteintes démyélinisantes des fibres nerveuses du cerveau, de la moelle épinière et des nerfs crâniens. Deux études cas-témoin explorent un lien possible avec le vaccin hépatite B chez les enfants.
- La première étudie les cas d’atteintes démyélinisantes multiples, aussi appelées scléroses en plaques (SEP, ou MS en anglais).
- La seconde étudie les cas d’atteintes démyélinisantes simples.
Ces deux études ne trouvent pas de lien avec le vaccin hépatite B. Intervention de Bernard, qui nous dit oui-mais-non et nous détaille ce que personne d’autre que lui n’a su voir.
Le signal-de-Bernard
Bernard nous explique que:
- La première étude, rapporte 143 cas de SEP dont 80 vaccinés hépatite B et 63 non vaccinés.
- La seconde étude, rapporte 349 cas d’atteintes démyélinisantes (SEP et non SEP) dont 154 vaccinés hépatite B et 195 non vaccinés.
Il calcule donc:
- Proportion d’atteintes démyélinisantes suivies de SEP chez les vaccinés hépatite B: 80/154=52%
- Proportion d’atteintes démyélinisantes suivies de SEP chez les non vaccinés hépatite B: 63/195=32%
Il note que 52 est plus grand que 32 et précise (sans expliciter son calcul) :
il y a moins d’une chance sur 10000 d’observer un écart au moins aussi important par le seul fait du hasard
Sa conclusion: C’est un signal très, très significatif de la responsabilité du vaccin hépatite B. Ce sera, le signal-de-Bernard.
Ce que nous dit en substance Bernard, c’est: « Regardez, un petit nombre de personnes vaccinées donnent un grand nombre de SEP, alors qu’un grand nombre de personnes non vaccinées donne un petit nombre de SEP ». Le signal-de Bernard semble irréfutable.
Petite parenthèse didactique:
Disons que dans la rue on demande à 100 personnes de tirer une fois à pile ou face. On constate qu’il y a environ 50 personnes qui obtiennent pile et on en déduit que la pièce n’est pas truquée.
- Arrive une personne qui nous dit: Oui, mais regardez: 90% des gens qui ont obtenu pile sont gauchers. Il y a donc un lien entre être gaucher et obtenir pile. Cette personne aura évidemment tort pour la raison suivante: On ne connaît pas la proportion de gauchers parmi ces 100 personnes. S’il y a 90% de gauchers qui tirent à pile ou face, il sera normal de trouver qu’ils sont responsables de 90% des lancers pile. C’est donc une information essentielle et on ne peut tirer aucune conclusion pertinente sans la connaître.
- Arrive une personne qui nous dit: Avec 100 personnes dont 50 piles on ne voit pas bien que la pièce est truquée, mais si je sélectionne 75 personnes dont 50 piles, on voit bien qu’il y a beaucoup plus de tirages pile et que la pièce est truquée.Cette personne aura évidemment tort pour la raison suivante: On ne peut comparer que ce qui est comparable, comme la totalité des personnes avec la totalité des résultats. Connaître le nombre initial de personnes à avoir participé est donc une information essentielle et on ne peut tirer aucune conclusion pertinente sans la connaître.
Revenons au signal-de-Bernard.
La seconde étude dénombre 349 cas de première atteinte (tirage à pile ou face) et la première étude dénombre 143 cas d’atteintes multiples (tirage pile). Pour que le signal-de-Bernard ait la moindre réalité, ici aussi il faut comparer ce qui est comparable: On ne peut comparer que la totalité des premières atteintes avec la totalité des atteintes multiples.
Les deux études s’intéressent à des cas qui proviennent de la même source: La cohorte KIDSEP. Il s’agit d’une liste de personnes ayant eu une première atteinte et que l’on va suivre pour savoir si elles développent des atteintes multiples.
Est-ce que 143 est le nombre total d’atteintes multiples ?
Tout ce que l’on sait, c’est ce que les auteurs précisent:
Les cas sont des patients de la cohorte KIDSEP, qui inclut la plupart des cas de SEP en France.
The case series consisted of patients from the French Kid Sclérose en Plaques (KIDSEP) neuropediatric MS cohort, which includes most incident cases of childhood-onset MS in France.
Dire que des noms sont issus de l’annuaire téléphonique, qui inclut la plupart des personnes qui ont un téléphone, ne permet pas de savoir si l’on parle de 10 noms ou de 10 000.
Dans la seconde étude, les auteurs précisent:
Ce dernier groupe de patients faisait parti de l’étude précédente avec un design similaire qui testait spécifiquement les SEP confirmées.
The last group of patients was included in the previous study with a similar design that tested specifically confirmed MS
À cause du contexte, on peut supposer que l’on parle de la définition du groupe, et non pas de sa composition, ce qui impliquerait que la totalité des individus peut très bien avoir changé d’une étude à l’autre.
Cependant, même en préférant l’explication la plus favorable à Bernard (tous les cas SEP de la première étude et seulement eux sont dans la seconde étude), celui-ci ne sera pas plus avancé. En effet, rien ne permet d’affirmer que ces 143 cas représentent la totalité des cas de SEP de la cohorte. Ce n’est précisé nulle part, les auteurs n’en parlent pas. Bernard le pense, mais il est incapable de le prouver.
Est-ce que 349 est le nombre total d’atteintes ?
De la même façon, Bernard le pense mais il est incapable de le prouver. Le principal problème est qu’il ne connaît pas la taille réelle de la cohorte KIDSEP. Malgré de multiples relances sur le sujet, il s’est révélé incapable d’évaluer combien de personnes il y a en totalité.
L’argument d’ignorance
Il y a donc deux informations essentielles qui manquent à Bernard et sans elles il ne peut conclure. Le signal-de-Bernard est infondé.
Notons qu’il y a là un problème méthodologique aux conséquences majeures, mais relativement simple à mettre en évidence et à éviter. Bernard aurait pu le remarquer, il ne l’a pas fait c’est fâcheux. Cependant, tout le monde fait des erreurs et c’est comme ça que la science progresse depuis toujours. Le plus gros problème n’est donc pas cette erreur manifeste, mais l’incapacité de Bernard à l’apprécier et/ou la reconnaître. Devant l’impossibilité d’accéder à certaines données, il a choisi de remplir les blancs avec ses opinions personnelles. Son incapacité à reconnaître ses propres carences méthodologiques jette un doute sur l’ensemble de son travail.
Il aurait été tout à fait suffisant de mettre en évidence les carences de la méthode pour en déduire que le signal-de-Bernard ne représente rien et ce billet pourrait donc très bien s’arrêter ici. La suite montre que le signal-de-Bernard n’est pas juste infondé, il est faux. Mais il est important de répéter que même si cette information n’avait pas été révélée, cela n’aurait rien changé à la situation.
L’effectif effectif
Bernard donc, estime que les deux études comprennent la totalité des premières atteintes et des atteintes multiples de la cohorte KIDSEP. Nous avons vu que rien ne permet de le dire et que ces affirmations sont donc infondées. Cependant ce n’est pas tout, puisque nous savons qu’au moins l’une de ces affirmations infondées est fausse.
En effet, si on connaît l’effectif de la cohorte, on peut se rendre compte qu’il est loin de correspondre à ce qu’imagine Bernard. Il est 40% plus élevé.
Il y a en réalité 493 cas d’atteinte démyélinisante et Bernard en utilise 349 pour faire le calcul de son signal. Nous somme donc bien dans un cas ou il nous dit: Avec 100 personnes dont 50 piles on ne voit pas bien que la pièce est truquée, mais si je sélectionne 75 personnes dont 50 piles, on voit bien qu’il y a beaucoup plus de tirages pile et que la pièce est truquée.
- Que savons nous de ces 144 cas supplémentaires ? Rien.
- Combien de SEP ? On ne sait pas.
- Combien de vaccinés ? On ne sait pas.
- Combien de non vaccinés ? On ne sait pas.
Une étude cas-témoins a de nombreux avantages mais aussi quelques inconvénients qu’il faut connaître. En particulier rien ne permet de dire que les cas retenus sont représentatifs de la population totale et donc il est impossible de faire des comparaisons sur la fréquence de telle ou telle caractéristique parmi les cas, c’est une erreur qu’un épidémiologiste pointerait dans la minute. Bernard n’est pas épidémiologiste. Au sein de cette cohorte, il n’a aucune idée de la proportion réelle des SEP par rapport aux premières atteintes ou des vaccinés par rapport aux non vaccinés. Il ne nous dit rien d’autre que: « 90% des gens qui ont obtenu pile sont gauchers. Il y a donc un lien entre être gaucher et obtenir pile ».
Le signal-de-Bernard est faux.
– Il voit des choses que personne ne voit. Il fait des choses que personne ne fait.
– Des choses réelles ?
Initiative Rationnelle 