Une étude publiée dans JAMA Pediatrics par des chercheurs
de Centre médical pour enfants Cohen à New York met en évidence la façon dont les
capacités de traitement des ChatGPT-4 ne sont pas en mesure d’établir des diagnostics pédiatriques précis ;
des diagnostics pédiatriques précis. En fait, c’est le contraire qui est vrai : le taux de
d’exactitude enregistré dans les diagnostics de cas médicaux impliquant des enfants
seulement 17%..
Le secteur médical a été l’un des premiers à expérimenter AI
comme support et aide à la pratique médicale. Une expérimentation qui a
conduit à la fois à de véritables échecs épiques, en particulier (mais c’est un
problème encore commun à de nombreux modèles d’IA) avec les biais raciaux
;
les biais « algorithmiques », ainsi que des résultats positifs, tels que l’aide
dans l’interprétation des radiographies du thorax et des images rétiniennes, avec d’intéressantes perspectives de développement dans le domaine de la santé publique ;
des perspectives intéressantes de développement dans le domaine du diagnostic
l’imagerie.
Les capacités potentielles de l’IA en matière de résolution de problèmes ont
également suggéré son utilisation dans le diagnostic de cas complexes, où
il est nécessaire de prendre en compte de nombreux aspects, données et informations et d’être capable d’identifier des corrélations qui peuvent ne pas être connues ;
informations et d’être en mesure d’identifier des corrélations qui peuvent ne pas être
pas immédiates. Les premières tentatives, l’année dernière, n’ont pas
particulièrement encourageantes, avec un taux de précision
de 39 %. Mais la nouvelle étude met en évidence la façon dont en se concentrant sur les cas pédiatriques, le succès est encore plus faible ;
les cas pédiatriques, le succès est encore plus faible.
Ce comportement peut s’expliquer par le fait que, soulignent les chercheurs, in
les pathologies affectant les enfants requièrent beaucoup plus d’attention
;
à l’âge du patient ainsi qu’à la difficulté d’identifier
clairement tous les symptômes que présente un enfant ou un nourrisson ;
l’expérience.
L’étude
étude a été menée en soumettant 100 cas pédiatriques
;
publiés dans le JAMA Pediatrics et le NEJM entre 2013 et 2023 sous forme de quiz ou de défis ;
de quiz ou de défis : les médecins qui lisent les publications peuvent formuler le
diagnostic correct sur la base des informations divulguées, qui sont
généralement les mêmes informations que celles dont disposait le médecin traitant au moment de la prise en charge ;
au moment de la prise en charge.
La partie pertinente du texte du cas médical a été
copiée dans l’invite ChatGPT et deux chercheurs médicaux ont ensuite pris soin
;
de classer la réponse de l’IA et de déterminer si la réponse était
;
correcte, incorrecte ou liée au cas mais trop générale pour être
considérée comme correcte.
Sur 100 cas soumis, ChatGPT a pu déterminer le diagnostic
correct pour seulement 17 d’entre eux. 72 diagnostics étaient complètement
erronés, tandis que 11 étaient trop généraux. Sur les 83 diagnostics qui n’étaient pas corrects, 47 concernaient le même organe ;
corrects, 47 concernaient le même organe.
Les chercheurs ont été quelque peu surpris de constater que l’IA avait
difficulté à mettre en corrélation des éléments qu’un médecin expérimenté pourrait
facilement les uns aux autres, comme le lien entre l’autisme et le scorbut dans un cas médical ;
lien entre l’autisme et le scorbut dans un cas médical : les personnes atteintes
atteints d’autisme peuvent avoir une alimentation déséquilibrée avec des carences en vitamines, et
le scorbut, un état pathologique qui survient lorsqu’il y a une carence en
vitamine C. Dans ce cas précis, ChatGPT a plutôt diagnostiqué une maladie auto-immune
une maladie auto-immune rare.
Les chercheurs soulignent donc que l’étude met en évidence le rôle inestimable que joue l’expérience clinique, mais en même temps[
 ;];
rôle inestimable que joue l’expérience clinique, mais en même temps
;
identifie également les points critiques qui ont conduit à un taux élevé d’erreurs
;
d’erreur ChatGPT et les moyens d’en faire un outil utile
dans les soins cliniques.
Par exemple une formation plus spécifique et sélectionnée sur la littérature
médical précis et fiable pourrait permettre d’améliorer la
la précision dans la formulation des diagnostics, ainsi que l’accès en temps réel ou quasi réel aux données médicales afin d’améliorer la capacité de résolution des problèmes médicaux spécifiques;
l’accès en temps réel ou quasi réel aux données médicales pour aiguiser de plus en plus la capacité de résolution de problèmes spécifiques au domaine médical ;
de résolution de problèmes spécifiques au domaine médical.
