Discussion :

[Neckara]

Je ne vois pas de situation où ça serait le cas. A priori, qu'on s'appelle jean ou jacques, ça ne change pas l'efficacité d'un médicament, par exemple.

Tu peux avoir des gros risques de ré-identifications, et si c'est le cas, tes données ne sont plus réellement anonymes.

Un exemple classique sont les données de géolocalisation. Tu peux rien qu'avec ~5 données de géolocalisation ré-identifier des personnes.


Un autre exemple tout bête, si tu as un patient traité pour le COVID dans un hôpital à une date t, il sera ~ k-anonyme, i.e. anonyme parmi k personnes. Derrière tu peux discriminer, e.g. avec l'âge. Si l'hôpital a reçu peu de patients COVID, tu seras capable de ré-identifier certains patients, et donc d'obtenir des informations médicales supplémentaires sur ces dernier.

La revue n'a pas à faire confiance aveuglément aux auteurs, surtout dans un contexte aussi sensible.

La reproduction d'études est aussi là pour ça.

Quoiqu'il arrive, il te faudra bien faire confiance aux auteurs à un moment où un autre. C'est pour cela qu'une étude isolée n'est pas une preuve définitive, et qu'il faut reproduire les expériences.

Imagine qu'on devait faire une enquête poussée pour chaque article accepté… on s'en sortirait plus.

L'étude a été démontée en à peine quelques jours. S'ils avaient fait leur boulot correctement, ils auraient vu les problèmes eux aussi.

Elle n'a pas été "démontée". Elle a reçu, si je me fis à la lettre ouverte, quelques critiques assez classiques, mais rien qui ne soit réellement de nature à remettre en cause les conclusions de l'étude (l'hôpital mal attribué n'a rien changé aux conclusions).

Il y a certes eu quelques accusations… mais comme l'a dit un autre membre, faut étayer un peu plus cela (e.g. les données ont mal été corrigée statistiquement… suffit pas de le dire, faut argumenter un peu plus que ça). D'autres critiques étaient juste à côté de la plaque vis à vis des prétentions de l'article. Et d'autres encore a priori fausses (e.g. une cohorte qui auraient été incluse dans les 96 000 cas, mais qui n'est en réalité que citée).


Il faut aussi pas se tromper, quand l'étude est sortie, tu as dû avoir des milliers de personnes qui se sont penchées dessus. Des personnes avec chacune leurs spécialités. Ça serait équivalant, pour les auteurs, à vérifier les données pendant 1 ans (et encore…)… soyons réalistes.


Soyons aussi honnête, j'ai vu des articles publiés sans aucun problèmes, même dans Nature, écrire des grosses conneries, ou avoir une faille/erreur dans leur protocole. C'est un peu facile d'exiger la perfection… beaucoup plus difficile à faire.

Tout cela nuit à la "vraie" science.

L'hyper-critique sur cet article nuit aussi à la "vraie" science. À s'indigner sur l'article du Lancet alors qu'en réalité c'est un article qui est tout à fait dans la norme de ce qu'on peut trouver dans la recherche (après une lecture rapide). Jusqu'à le critiquer sur des choses qu'il ne dit pas / n'a pas la prétention de dire.


Les données ne peuvent pas être vérifiée… d'accord. Est-ce une raison suffisante pour dire que l'article est nul ? Non.


Je vais prendre un parallèle, tu testes des médicaments sur des souris. À la fin de l'étude, tu fais comment pour prouver que chaque souris a reçu ce que tu affirmes ? Comment tu fais pour faire une autopsie sur les cadavres des souris si elles ne sont pas conservées à la fin de l'étude ?

Il faut accepter à un moment qu'il est impossible d'avoir une garantie et une traçabilité parfaite. C'est pour cela qu'on a derrière des méta-études, qui analysent tout cela.

Ca c'est la théorie. En vrai, on a généralement un pseudo-code sans détails d'implémentation ni toutes les valeurs de paramètre. Sans compter que dès que tu as du machine learning, les résultats ne sont pas reproductibles sans les données d'apprentissage.

Tu peux reproduire si tu as des données d'apprentissages similaires. C'est à dire qu'il te faudra faire ta propre acquisition.

Après les détails d'implémentations sont-ils toujours nécessaires ?

[Invité]

Elle n'a pas été "démontée". Elle a reçu, si je me fis à la lettre ouverte, quelques critiques assez classiques, mais rien qui ne soit réellement de nature à remettre en cause les conclusions de l'étude (l'hôpital mal attribué n'a rien changé aux conclusions).

3 auteurs se sont rétractés. Le 4e auteur bosse pour Surgisphere... Donc oui, cette affaire est lamentable.

"Based on this development, we can no longer vouch for the veracity of the primary data sources. Due to this unfortunate development, the authors request that the paper be retracted."

https://www.thelancet.com/journals/l...324-6/fulltext

[David_g]

L'essai Britannique "recovery" vient de publier : https://www.recoverytrial.net/news/s...-with-covid-19

[Neckara]

3 auteurs se sont rétractés. Le 4e auteur bosse pour Surgisphere... Donc oui, cette affaire est lamentable.

"Based on this development, we can no longer vouch for the veracity of the primary data sources. Due to this unfortunate development, the authors request that the paper be retracted."

https://www.thelancet.com/journals/l...324-6/fulltext

Le fait qu'ils se soient rétractés ne signifie absolument pas que l'étude était mauvaise…

Il faut aussi comprendre pourquoi ils se sont rétractés.
Tout simplement parce qu'on leur a demandé de faire un review des données, et que cela n'a pas été possible car dévoilerait des informations que la société juge trop sensibles. Ils ont donc préférés se retirer… ce qui ne signifie en rien que l'étude était mauvaise.

Our independent peer reviewers informed us that Surgisphere would not transfer the full dataset, client contracts, and the full ISO audit report to their servers for analysis as such transfer would violate client agreements and confidentiality requirements. As such, our reviewers were not able to conduct an independent and private peer review and therefore notified us of their withdrawal from the peer-review process.

On peut aussi se douter qu'ils ont reçus pas mal de mails "pas très gentil", comme ce fût le cas pour d'autres chercheurs… et qu'ils n'avaient pas envi de continuer dans une telle position.

[Invité]

Le fait qu'ils se soient rétractés ne signifie absolument pas que l'étude était mauvaise…

Il faut aussi comprendre pourquoi ils se sont rétractés.
Tout simplement parce qu'on leur a demandé de faire un review des données, et que cela n'a pas été possible car dévoilerait des informations que la société juge trop sensibles. Ils ont donc préférés se retirer… ce qui ne signifie en rien que l'étude était mauvaise.

Exact, la méthodologie est peut-être parfaite. Mais comme on a aucune garantie sur les données (hormis qu'il y a des erreurs), les conclusions sont juste bonnes pour la poubelle.

On peut aussi se douter qu'ils ont reçus pas mal de mails "pas très gentil", comme ce fût le cas pour d'autres chercheurs… et qu'ils n'avaient pas envi de continuer dans une telle position.

Oui enfin ça ressemble beaucoup à du complotisme là...

Après les détails d'implémentations sont-ils toujours nécessaires ?

Oui, je pense qu'on sous-estime les implémentations :

https://python.developpez.com/actu/2...s-depuis-2014/
https://www.developpez.com/actu/3034...st-pas-fiable/

[Marco46]

On peut aussi se douter qu'ils ont reçus pas mal de mails "pas très gentil", comme ce fût le cas pour d'autres chercheurs… et qu'ils n'avaient pas envi de continuer dans une telle position.

Raoult a reçu des menaces de mort contre injonction de retirer son protocole, je n'ai pas le souvenir de t'avoir lu t'en émouvoir.

Pour le reste tu es toujours aussi infect et hypocrite. A peu près tout ce que tu dénonces s'applique à tes propos.

[Neckara]

Exact, la méthodologie est peut-être parfaite. Mais comme on a aucune garantie sur les données (hormis qu'il y a des erreurs), les conclusions sont juste bonnes pour la poubelle.

On n'a jamais des garanties parfaites sur les données… d'où la nécessité d'études reproductives.

C'est quand même dingue d'en arriver à des niveaux d'exigences aussi irréalisables. Pendant des décennies on a eu des études qui n'avaient aucune garantie sur les données, ça n'a jamais posé problème à personne. Mais maintenant qu'on parle de l'hydroxy, tout à coup, il faudrait une traçabilité/garantie parfaite mais irréaliste. Et surtout tout en restant dans une logique d'urgence…



Moi, dans le cadre de ma recherche, j'utilise des bases de données… va prouver que les données à l'intérieur sont réelles et pas remplies à la main par un stagiaire. Quand t'en as d'autres qui doivent détruire les données après l'expérience pour respecter des contraintes légales, va prouver ensuite que leur données sont réelles… Quand on fait une acquisition en ligne… va prouver que toutes les personnes/données sont réelles.

Quand t'as des expériences in-vitro, tu conserves pas les tubes à essais… va prouver ensuite que tu n'as pas écrit n'importe quoi quand tu as fait tes relevés. Quand t'as des études sur animaux, va prouver quoi que ce soit quand tes cadavres ne seront plus conservés. Quand ton infirmière relève une valeur… va prouver que c'était exactement la bonne valeur et qu'elle n'a pas confondu un 6 avec un 9 ou un 7 avec un 1.


Faut arrêter le ridicule. Donnes-moi n'importe quelle étude, et je te dirais qu'elle est pourrie parce qu'elle ne peut pas prouver X ou Y sur ses données. Quand bien même elle utiliserait des chiffres officiels e.g. de l'INSEE, va prouver que les chiffres de l'INSEE sont correct…

Oui enfin ça ressemble beaucoup à du complotisme là...

Il n'y a rien de complotiste dedans…

Tu as des chercheurs qui ont publiés qui se sont vu insulter et menacer par e-mail.
Et quand t'es dans une position où tu peux pas prouver tes données (ce qui est tout à fait normal et courant), tu peux avoir envie de ne pas te battre et d'abandonner pour te faire oublier. De ne pas insister envers et contre tout.

Oui, je pense qu'on sous-estime les implémentations :

https://python.developpez.com/actu/2...s-depuis-2014/
https://www.developpez.com/actu/3034...st-pas-fiable/

D'où l'intérêt donc de ne pas donner l'implémentation pour que d'autres reproduisent les résultats avec leur propre implémentation… et donc découvrent des erreurs sur la nôtre.

[Neckara]

Raoult a reçu des menaces de mort contre injonction de retirer son protocole, je n'ai pas le souvenir de t'avoir lu t'en émouvoir.

Il a retiré ses études ? non.
Quel rapport alors avec la discussion actuelle ?


Tiens, je suis vachement hypocrite parce que je ne m’émeus pas des petits nafricains qui morent de fin… et de toute la misère du monde et tou et tou. On parle du COVID, mais pas des autres, on est donc tous des hypocrites infects.

Pour le reste tu es toujours aussi infect et hypocrite.

Regardes-toi dans un miroir avant de lancer de telles affirmations…

A peu près tout ce que tu dénonces s'applique à tes propos.

Par contre, t'es pas foutu d'appuyer tes affirmations avec un seul exemple ?

[Ryu2000]

L'essai Britannique "recovery" vient de publier : https://www.recoverytrial.net/news/s...-with-covid-19

Peut-être que les médias s'emballent trop vite et que ça va faire comme pour l'étude de The Lancet.
Ce n'est pas parce qu'une étude existe que les données sont sérieuses, que les résultats sont reproduisibles, que les interprétations sont corrects, etc.
Déjà il faut voir si les patients étaient en début de maladie. Parce que c'est là que l'hydroxychloroquine est potentiellement efficace.

[Invité]

Déjà il faut voir si les patients étaient en début de maladie. Parce que c'est là que l'hydroxychloroquine est potentiellement efficace.

Si tu te sens le courage de lire 35 pages de jargon médical en anglais, le protocol est décrit ici : https://www.recoverytrial.net/files/...2020-05-14.pdf

Ce n'est pas parce qu'une étude existe que les données sont sérieuses, que les résultats sont reproduisibles, que les interprétations sont corrects, etc.

Tout à fait d'accord. Et c'est valable pour toutes les études, indépendamment de leur conclusion pour / contre l'HCQ.

[Neckara]

Si tu te sens le courage de lire 35 pages de jargon médical en anglais, le protocol est décrit ici : https://www.recoverytrial.net/files/...2020-05-14.pdf

Je viens de survoler.

Les interprétations statistiques doivent être super casse-couilles vu qu'ils ne peuvent pas faire de la pure randomisation (donc introduit des biais dans les populations testées).


Ce qui est parfaitement normal. Par exemple si on veut tester en double aveugle si la confiture de poire est meilleure que du beurre de cacahouète, on va pas donner du beurre de cacahouète à des personnes qui en sont allergique. Donc on aura des résultats parmi les personnes qui ne sont pas allergiques au beurre de cacahouète, et non pas parmi la population totale.


EDIT: Tu as aussi les personnes qui vont vouloir arrêter le traitement en cours de route, ça doit être tellement casse-bonbon à gérer statistiquement ça aussi.


Je serais donc curieux de la manière dont ils vont représenter leurs résultats dans le rapport final. Est-ce qu'ils vont considérer les biais négligeables, ou vont être super-précis dans l'explication des résultats ? Mais surtout comment vont-ils synthétiser les résultats.

[Marco46]

Intéressant, intéressant ...

[Neckara]

... est-ce que tu ne voudrais pas juste un jour réfléchir 2 secondes ?


La personne de la vidéo fait parti de la structure à laquelle appartient Raoult, c'est un premier élément qui nous indique qu'il faut déjà prendre du recul. Les votes et commentaires sont désactivés, un autre red flag très important.


Bien évidemment aucune source dans la description de la vidéo...


1ère image :

Venons en au contenu de la vidéo... le tableau affiché est trompeur. Le rouge indique quelque chose de négatif, le vert quelque chose de positif. Une ligne rouge nous fait penser que l'étude est de mauvaise qualité, et une ligne verte, une étude de bonne qualité.

Regardons donc les labels des colonnes. On notera que ce guignol n'a pas séparé des colonnes descriptives des colonnes de qualité. Que l'étude soit pour/contre, n'est pas un signe de mauvaise qualité, et n'a rien à faire au milieu du tableau.

Le Big Data vs Clinical n'est a priori pas un signe de mauvaise qualité, c'est plutôt la conclusion à laquelle il veut arriver.


Il reste donc deux colonnes (soit la moitié des colonnes), les conflits d'intérêts, et le fait que le traitement soit détaillé... ce qui est très très pauvre pour juger de la qualité d'un article... c'est très faible pour une soit-disant "méta-étude".

D'ailleurs je pourrais même faire dire l'inverse de la colonne "conflits d'intérêts"... les rouges c'est ceux qui ont été honnête et ont déclaré leur conflit d'intérêt, et le rouges les malhonnêtes qui ne l'ont pas déclaré.


Il ne reste plus qu'à se pencher sur les lignes... et là c'est franchement bizarre. Les références sont mal écrite, il est difficile de retrouver les études juste avec cette image. Du peu qu'on peut voir, les études ont été sélectionnées de sorte à obtenir ce joli tableau. Où sont passé les études du Raoult ?

On notera qu'une étude contre se retrouve perdue en haut du tableau, ce qui renforce cette impression de "bloc rouge" pour les études contre en bas du tableau. On notera qu'une bonne partie des études "contre" sont en absence de conflit d'intérêt, donc la seule chose qui leur est reprochée est l'absence de description détaillée du traitement. Cependant avec cette masse de rouge, on passe vite à côté, vu qu'au lieu d'avoir, pour ces études, 1/2 de colonne en rouge, on en a 3/4...



2ème image :

Pour le second graphique, c'est un joyeux bordel. On mélange un peu tout et n'importe quoi dans les "outcomes". Cela permet de noyer l'outcome "death", qui, si on se penche dessus, a beaucoup plus d'étude en "noir", i.e. pourrait être un défaveur de l'hydroxy.

Le tout bien évidemment sans aucune notion de qualité de l'article, donc c'est juste le nombre d'étude.


Conclusion :

Bref, on est dans un cas flagrant de manipulation d'images...

C'est une honte pour ce chercheur.

[Neckara]

Voilà la première figure refaite un peu plus correctement à l'arrache sur un tableur. Il y a encore 4 défauts :

• il manque des colonnes pour évaluer la qualité des études ;
• il manque des études ;
• il faudrait quand même vérifier ces conflits d'intérêts / détail des traitements (bizarrement je leur fais moyen confiance...) ;
• l'orange est peut-être une couleur encore trop forte, en fonction de l'importance des autres colonnes, on pourrait même les mettre en jaune.

D'ailleurs en refaisant le tableau je me suis aperçu d'une chose, certaines études classées "pour" sont potentiellement contre dans la figure suivante... Il faudrait rajouter au moins une colonne "résultats statistiquement significatifs", et même une e.g. "a évalué le taux de mortalité". Mais ça risquerait de mettre un peu de pagaille dans leur joli tableau...


Mais bon, j'ai d'autres trucs prévus aujourd'hui... que de refaire le travail de ce guignol.

[fredoche]

Dommage que personne n'ose te le dire, mais moi ça ne me pose pas de problèmes parce qu'à mon sens ça ne fait aucun doute : c'est toi le guignol Neckara, et surtout sur ce sujet.

J'ai lu les quelques dernières pages hier, et tu t'es juste régalé de l'étude du Lancet qui était juste une escroquerie.

Mais même ça tu es incapable de le voir :

Le fait qu'ils se soient rétractés ne signifie absolument pas que l'étude était mauvaise…

Contre

Bref, on est dans un cas flagrant de manipulation d'images...

C'est une honte pour ce chercheur.

Tu te fous de qui ?

Si tu avais ne serait-ce qu'un soupçon d'objectivité plutôt que de mener des combats à charge contre cette équipe de chercheurs et de médecins. Toi au moins tu n'en as aucune de honte, à traiter les gens de criminels ou de guignols.

Quand est-ce que tu nous mets le lien sur ta thèse o grand chercheur et docteur, toi qui arrive à lire en 1/2 heure ou 1/2 journée les thèses de Mr Abderkhane sur un sujet que tu ne connais absolument pas, et dont tu es capable de juger de la qualité aussi vite.
Moi aussi je suis curieux de lire ce que tu es capable de pondre oh grand épistémologue

[halaster08]

Dommage que personne n'ose te le dire, mais moi ça ne me pose pas de problèmes parce qu'à mon sens ça ne fait aucun doute : c'est toi le guignol Neckara, et surtout sur ce sujet.

Pas forcément en ces termes exacts, mais ça lui a déjà été dit, a plusieurs reprises sur différents sujets qui ont mal finis comme celui-ci.

[Neckara]

Tu te fous de qui ?

Est-ce que tu as au moins compris ce que j'affirme ?

La manipulation d'image est avérée, la manipulation des données sur le Lancet n'est pas vérifiée/vérifiable (du moins des sources fournies jusqu'à présent).

Dans le premier cas, c'est un problème méthodologique flagrant. Dans le second cas, c'est un problème inhérent à la recherche, en l’occurrence, du fait de contraintes légales et contractuelles.

Si tu avais ne serait-ce qu'un soupçon d'objectivité plutôt que de mener des combats à charge contre cette équipe de chercheurs et de médecins. Toi au moins tu n'en as aucune de honte, à traiter les gens de criminels ou de guignols.

Il n'y a aucune honte à avoir.

Ils sont criminels car ils ont, de par leur incompétence, grandement retardés l'établissement de protocoles de soins, ce qui coûte des vies. S'ils ont raison, et avait fait correctement leurs études dès le départ, on aurait pu sauver bien plus de vies. Ils ont les vies non-sauvées sur la conscience. Criminels parce qu'ils font l'objet d'une enquête actuellement, n'ayant pas respectés les commissions d'éthiques.

Guignols parce que vu leur niveau d'incompétence sur le protocole expérimental même pas digne d'un niveau de master, le terme est encore très faible.

Quand est-ce que tu nous mets le lien sur ta thèse o grand chercheur et docteur,

Si je poste sous pseudonyme, ce n'est pas pour afficher mon nom réel après...

toi qui arrive à lire en 1/2 heure ou 1/2 journée les thèses de Mr Abderkhane sur un sujet que tu ne connais absolument pas, et dont tu es capable de juger de la qualité aussi vite.
Moi aussi je suis curieux de lire ce que tu es capable de pondre oh grand épistémologue

Tu sais des documents de 100 à 300 pages, ça se lit rapidement...

T'as pas encore digéré ça hein... juger grossièrement de la qualité d'un tel document ça prend quelques minutes à tout péter, pas la peine de connaître le domaine... mais continue de parler de choses dont tu n'as aucune idée...
Je suis sûr que, toi, tu l'as lu cette thèse hein...

Après ouais, je connais absolument rien des sujets...
Qu'est-ce qu'il faut pas entendre... pas comme si j'avais des compétences en gestion/économie...

[Marco46]

Le rouge indique quelque chose de négatif, le vert quelque chose de positif. Une ligne rouge nous fait penser que l'étude est de mauvaise qualité, et une ligne verte, une étude de bonne qualité.

En rouge chloroquine pas bien, en vert chloroquine bien. Je ne vois rien à redire aux couleurs choisies !

Criminels parce qu'ils font l'objet d'une enquête actuellement, n'ayant pas respectés les commissions d'éthiques.

Bah oui, l'ouverture d'une enquête suffit à établir la culpabilité. Et tu sais de quoi tu parles tu as un master en droit à ce que tu prétends ...

Si je poste sous pseudonyme, ce n'est pas pour afficher mon nom réel après...

Compte tenu du nombre de conneries que tu débites post après post c'est en effet très sage de ta part.

[Neckara]

En rouge chloroquine pas bien, en vert chloroquine bien. Je ne vois rien à redire aux couleurs choisies !

...

Parce que tu mélanges des indicateurs de qualités avec des indicateurs descriptifs des études donnant une représentation biaisé lors de la lecture de l'image...

Je pensais pourtant avoir été assez clair à ce niveau là, mais bon ça ne m'étonne même plus de toi.

Bah oui, l'ouverture d'une enquête suffit à établir la culpabilité. Et tu sais de quoi tu parles tu as un master en droit à ce que tu prétends ...

1. L'absence d'autorisation d'un comité d'éthique est avéré ;
2. Le fait qu'il ai fait une publication scientifique est avéré ;
   
   • soit c'est une étude clinique, il est coupable (car requiert une autorisation d'un comité d'éthique) ;
   • soit c'est une étude observationnelle, il est coupable (infraction du code déontologique de médecine / empoisonnement).

Il me semblait pourtant avoir évoqué ce point précédemment...



Oui, on est innocent jusqu'à preuve du contraire, et il faut le jugement des autorités compétentes. Mais, pour faire une image, quand t'as une personne qui tue plusieurs autres en pleine rue bondée, devant des caméras, et en le clamant haut et fort, t'appelles pas ça un "tueur présumé".

[David_g]

Il y a quand même des choses dérangeante dans cette méta analyse sur la méthode (rien que la partie conflit d'intérêt me fait tiquer) mais bon passons. Il y a d'excellent vulgarisateur pour expliquer tout cela (y compris sur la méta sorti au usa).

Un point qui me dérange c'est le fait d'utiliser des arguments pour critiquer des études pour ensuite se servir du même argument pour valoriser son point de vue.

Exemple : DR a bien précisé, une étude où le diagnostic ne repose pas sur une PCR n'a aucune valeur. je n'ai pas de souci sur l'argument que je trouve pertinent. Mais par contre, dans ce cas pourquoi inclure "Barbosa & Esper" qui faisait de la téléconsultation purement).

Il y en a plusieurs dans ce genre qui me font tiquer et m’ennuie comme pour l'avis sur l'effet qui change sans arrêt (tout en étant toujours affirmatif sans aucun doute possible).

De toute comme pour toute étude en ce moment, les gens convaincus seront convaincus quoi qu'il en soit, les opposants seront contre quoi qu'il en soit. Et on retrouvera les meêmes échanges: big Pharma/big Data, Méthode, Les publications sont toutes frauduleuses, etc etc.

Note pour le Lancet : qu'elle soit rétracté ne prouve rien sur les autres études en soi. Cela dit juste qu'il faut ne pas tenir compte de celle-ci et avec du recul (autre que l'aspect politique qui est à part du processus scientifique) que le process marche à peu prés quand l'éditeur et l'auteur joue le jeu (répondre aux questions, critiques).
lui est un sujet à part) quand l'auteur/éditeur répond aux questions.

EDIT : pas du tout d'accord avec Neckara sur l'étude du Lancet mais parce qu'il se positionne sur la méthodologie. Oui, leur méthodologie était peut être bonne mais comme les données ne sont pas prouvées; la qualité intrinsèque de l'étude est nul. c'est aussi l'avis des auteurs d'ailleurs .