Niveaux de preuve

jeudi 4 avril 2013, 13:33 Fourrure Quelques bases Lien permanent

Il y a une petite quinzaine d'année, un prof de l'école vétérinaire de Nantes intervenait dans un quelconque congrès de médecine vétérinaire auquel je participais. Je ne me rappelle plus du sujet, mais je me souviens de son introduction, et de sa conclusion. Un gars plutôt dynamique, blagounettes à l'appui, sourire ultra-bright, qui m'a plutôt donné un fort a priori négatif. Son propos était de confronter je ne sais plus quelle entité pathologique à l'EBM.

Ouais, j'avais achevé mes études, et passé ma thèse depuis peu. Et je n'avais jamais entendu parler de ce truc. EBM, Evidence-Based Medecine. Certains préfèrent SBM (science-based medicine), ou médecine basée sur des preuves, en bon français. Cette logique allait devenir, petit à petit, l'étalon-or de la bonne pratique médicale. Mais à l'époque, je découvrais un concept. Ou plutôt, je m'énervais contre. Bien sûr que la médecine devait être basée sur des preuves. On n'allait quand même pas soigner les animaux ou les gens sur des simples avis de type variés, quelle que soit leur expérience, ou sur un fatras d'habitudes accumulées, quand même. Il y avait le sérieux des AMM des médicaments, les publis scientifiques qui fondaient toute la connaissance médicale, malgré leurs inhérentes limites, bref, je ne voyais pas ce qu'il y avait de nouveau là-dedans.

J'étais jeune, naïf et idéaliste. J'allais tomber de très haut. Pas au cours de cette conf', non, ma chute allait être plus lente, plus progressive. Il me fallait le temps de réaliser que non, définitivement, aussi pertinente qu'ait été ma formation, aussi motivés qu'aient été mes profs, tout ce que j'avais appris ne respectait pas, loin s'en faut, les standards de l'EBM. Il faut bien reconnaître deux limites à la formation d'un jeune vétérinaire de l'époque (pas si lointaine, gamins) : j'avais appris pléthores de choses sur la pathologie, la sémiologie, toutes les bases du vivant (anatomie, physio, etc), j''avais appris plein de trucs sur la pharmacie, mais je n'étais pas prêt à soigner des animaux. Alors j'ai copié les premiers vétos avec lesquels j'ai bossé. Ou je les ai choisis en anti-modèle, selon les cas.

Il m'a fallu du temps pour repasser tout cet apprentissage "sur le tas" au filtre de ma formation initiale puis continue.

Je suis devenu exigeant sur le niveau de preuve, et je viens de lire un article très intéressant sur ce concept a priori assez simple, écrit par le Dr Steven Novella sur le blog Science-based Medicine. Je vous en propose, avec son accord, une traduction, après vous avoir rappelé, suite au commentaire très pertinent de docdu16, que l'EBM ne se réduit pas au niveau de preuves (les meilleures données cliniques externes), mais qu'elle doit aboutir à une décision en y confrontant les préférences du patients et l'expertise propre au clinicien.

Les niveaux de preuve

Les défenseurs de la médecine basée sur la science sont souvent attaqués sur le mode : que vous faut-il pour vous convaincre de l'efficacité de la médecine au lait de vache sacrée ? Ce défi contient une accusation à peine voilée : quelles que soient les preuves que je vous offrirai, je ne réussirai pas à vous convaincre car vous êtes un foutu sceptique.

Pourtant, il y a un seuil, un niveau de preuve qui me convaincrait de n'importe quoi. En réalité, je suis convaincu que nombre d'affirmations scientifiques sont très probablement vraies - en tout cas suffisamment convaincu pour en conclure qu'elles sont vraies. Ce qui, en médecine, signifie que je suis assez convaincu pour les utiliser comme base de ma pratique médicale.

Il y a de nombreuses différences de fonctionnement entre les pratiquants de la médecine basée sur la science (EBM) et ceux qui acceptent les allégations et les pratiques que nous considérerions comme de la pseudoscience ou de la fraude, mais j'ai récemment été frappé par une différence bien particulière : le seuil auquel nous plaçons le niveau de preuve exigé avant d'accepter une allégation.

La semaine dernière, j'ai participé à un débat sur la légitimité de l'homéopathie (vous pouvez lire mon compte-rendu complet ici, et ici). Face à moi se trouvait Andre Saine, un naturopathe canadien, doyen de l'académie d'homéopathie canadienne. Il y avait, en résumé, une différence-clef entre la position de Saine et la mienne pendant ce débat : il accepte des preuves extrêmement faibles pour confirmer la réalité de l'homéopathie. Son degré d'exigence en termes de niveau de preuve est incroyablement bas.

IEt pourtant il était certain que les preuves qu'il apportait ne pourraient que convaincre les sceptiques. J'en suis arrivé à la conclusion que Saine n'avait aucune notion du niveau de preuve habituellement exigé en médecine, et en science de manière plus générale.

Que vous faudrait-il pour me convaincre ?

Nous avons beaucoup écrit sur ce à quoi ressemblent des preuves convaincantes. J'ai également écrit sur des sujets scientifiques en dehors de la médecine, et cela m'a aidé à avoir une perspective plus large. Ainsi, par exemple, les adeptes des perceptions extra-sensorielles acceptent également des preuves extrêmement faibles.

Que faut-il pour que la communauté scientifique accepte la réalité d'un phénomène ? Et pour qu'elle écarte les explications alternatives ?

Voici les quatre critères qui doivent être remplis simultanément pour qu'une preuve scientifique soit convaincante :

1- Des études à la méthodologie rigoureuse, conduite avec un insu adapté (explication ici en français), suffisamment puissantes, qui définissent et contrôlent de manière adéquate toutes les variables pertinentes (et confirmées en passant l'épreuve de la relecture par les pairs et l'analyse post-publication).

2- Des résultats positifs statistiquement significatifs.

3- Un ratio signal/bruit raisonnable (avec une pertinence clinique en ce qui concerne les publications médicales, pour que nous puissions distinguer le signal du bruit dans notre pratique)

4- L'expérience doit être reproductible de manière indépendante : quelle que soit la personne reproduisant l'expérience, l'effet doit être détecté sans équivoque.

Nous constatons souvent avec les approches médicales douteuses (comme l'homéopathie) que seul le critère numéro 2 est nécessaire : toute étude avec une signification statistique est considérée d'une fiabilité à toute épreuve.

Nous voyons également souvent un tour de passe-passe semblable à celui des vendeurs de voitures neuves. Ces derniers vont utiliser la méthode des quatre cases, divisant une feuille de papier en quatre carrés. Dans le premier, il y a le prix de la voiture, dans le second, le taux d'intérêt, dans le troisième, l'acompte, et dans le quatrième, la remise. Les mensualités seront calculées sur cette base.

L'astuce du vendeur de voiture consiste à exploiter cette méthode pour être sûr d'y gagner : si la remise est élevée, le prix de la voiture le sera aussi. Vous ne ferez jamais une bonne affaire sur les quatre case à la fois.

Les partisans des pseudo-sciences travaillent de la même façon. Ils proposent des études qui satisfont à un, parfois deux des critères cités plus haut, mais jamais aux quatre à la fois. Ils proposeront des études mal conçues avec des résultats positifs, ou des études bien menées avec des résultats positifs mais aucune pertinence clinique, ou impossibles à reproduire.

On n'obtient jamais les quatre critères à la fois pour une simple et bonne raison : le phénomène mis en avant n'est pas réel. Seul un effet réel sera obtenu de façon répétée dans des études rigoureuses.

Il faut bien comprendre que ces critères sont la base de la reconnaissance scientifique, sans même parler de plausibilité a priori. Pour chaque critère, il faut en apprécier la qualité : à quel point une étude est-elle rigoureuse, combien de fois l'expérience a-t-elle été reproduite, quelle est l'ampleur de l'effet ? Moins une allégation est plausible, plus le niveau de preuve devrait être élevé pour la démontrer.

Les homéopathes et les adeptes des sciences peu plausibles n'aiment pas ce raisonnement. Ils le raillent sous l’appellation de "biais de plausibilité". Les autres appellent cela "la science".

Il est cependant important de signaler que sans même parler de plausibilité ou de probabilité a priori, l'homéopathie n'arrive de toute façon pas à satisfaire aux critères scientifiques minimaux de recevabilité. Elle ne s'en approche même pas, même en lui concédant le bénéfice du doute.

Pour la défense du seuil de niveau de preuve

Si vous êtes convaincu par la réalité de quelque chose comme l’homéopathie, l'acupuncture, la médecine énergétique ou toute autre pratique aussi improbable, le seuil d'acceptabilité semble injuste. Il passe pour une astuce inventée par les sceptiques pour nier la réalité de vos fabuleuses pratiques médicales.

Ce niveau de preuve est, pourtant, le standard scientifique (bien sûr, ce standard peut être plus ou moins élevé, mais il s'agit là du seuil minimum).

L'EBM repose partiellement sur le principe qu'un standard aussi rigoureux est justifié et nécessaire, et qu'il devrait sans doute être même plus élevé qu'il n'est actuellement. Nous pourrions écrire un article sur chacune des raisons qui justifient cette position, mais on peut les résumer de la façon suivante :

  • La recherche médicale est un domaine complexe car les gens sont, de manière générale, une variable et un système "bruyant" qui rend difficile la conception des études et le contrôle des variables.
  • Les effets placebos sont variés et difficile à comprendre.
  • Le degré de liberté des chercheurs rend possible la fabrication de résultats positifs même à partir d'un phénomène qui n'existe pas. Ceci implique une rigueur toute particulière dans la conception et la réalisation des études, ainsi que la possibilité de reproduire les résultats de manière indépendante.
  • Il y a parfois des fraudes dans la recherche scientifique.
  • Il y a un biais financier considérable dans la recherche médicale, puisque c'est une science appliquée dont les bénéfices peuvent se compter en milliards.
  • Les humains sont, de manière générale, sujet à de nombreux biais cognitifs et heuristiques (explication en français ici, ce sont des notions très importantes pour comprendre l'importance de l'EBM), failles logiques, faux souvenirs, mauvaises perceptions, et autre mécanisme d'auto-persuasion. Il faut être conscient que l'on peut nous amener à croire à peu près n'importe quoi.

Conclusion

La science rigoureuse nous ancre à la réalité. Sans elle, nos croyances nous plongent dans un monde imaginaire qui satisfait à nos désirs et émotions mais qui n'a plus grand chose à voir avec la réalité. On peut nous amener à croire que l'eau pure peut se souvenir de "l'essence" d'une substance qui fut diluée en elle, et que cette essence peut soigner des gens en fonction de critères sans aucun lien avec leur maladie, tels que leur personnalité.

Sans cadre scientifique, nous croirons à la magie. C'est une tendance qui appartient à notre héritage, à notre évolution. Mais notre capacité à la logique et à la pensée critique également !

Depuis deux siècles, la médecine scientifique a mûri, nous avons appris à étudier les maladies et la médecine de plus en plus rigoureusement. Nous avons beaucoup appris sur notre capacité à nous mentir à nous même, et sur les moyens subtils de manipuler les données et la recherche.

Nous savons maintenant comment prouver qu'une chose est réellement réelle, pas qu'elle a juste l'air d'être réelle. Nous devrions résister avec vigueur à ceux qui tentent de rejeter cette sagesse durement acquise parce qu'elle menace les croyances qu'ils chérissent.

Voilà pour la traduction de l'article. Que puis-je ajouter ?

Que la médecine que nous pratiquons n'est que partiellement EBM. Tout ce que nous faisons n'a pas été prouvé. Beaucoup de choses sont faites "parce que ça marche", même si l'on n'a parfois qu'une idée assez médiocre des raisons pour lesquelles ça marche. La science progresse, de plus en plus de pratiques sont confirmées. D'autres sont écartées. Il faut continuer dans cette voie. Appliquer avec prudence ce qui marche, même si l'on ne sait pas vraiment pourquoi, et avoir conscience de ces limites ! Une pratique purement EBM est impossible, car les gens et les maladies ne sont pas des chiffres. Mais cet argument, qui est utilisé par les adversaires de l'EBM, ne justifie en aucun cas son abandon ni, à l'inverse, de se dire que tout est permis parce qu'après tout, c'est pas parce que quelque chose n'est pas prouvé que ça ne marche pas.

La critique et la rigueur ne concernent pas que les médecines alternatives : il faut appliquer ce niveau d'exigence à la médecine "normale". Il faut savoir remettre en question, rester vigilant, être prêt à revoir ses a priori. ce n'est pas facile. Être sceptique, c'est aussi être ouvert d'esprit : il ne faut pas non plus rejeter une idée parce qu'elle ne nous plait pas. Mais il est hors de question d'accepter une pratique potentiellement dangereuse pour le patient s'il en existe une autre dont les effets, les bénéfices et les limites sont connus et acceptables.

On a beaucoup parlé ces derniers temps du scandale du Mediator, de celui des pilules de troisième et quatrième génération, du dépistage du cancer de la prostate et de celui du sein (je parle de médecine humaine car c'est là qu'on a le plus de donnée, vous comprenez la logique). Je crois en la science pour sa capacité à se critiquer elle-même, tout le temps. C'est pour moi le plus important des points faibles de la plupart des pratiques alternatives. Et la différence entre la science et la croyance.

Un grand merci à @Drkalee, @La_Bzeille, @lenatrad, @Dr_Ezrine, @zeJeeP, @mildis, @jabial, @13Atg, @zecalvin, @Bidibulina, @monosynaptik, @CharlineDAVID et aux autres twittos qui m'ont aidé dans cette traduction. Remerciements tout particuliers à Borée.

Ce billet est dédié aux chaussettes de Jaddo.

Fil des commentaires de ce billet