ChatGPT peut vous aider pour beaucoup de choses, mais pas pour les diagnostics pédiatriques (Image : Vitor Pádua / ) Résumé
- Une étude de JAMA Pediatrics a montré que ChatGPT (dans la version GPT-4) a un taux de précision de seulement 17 % dans le diagnostic des symptômes chez les enfants, alors qu'il est efficace à 39 % chez les adultes.
- La recherche visait à mettre en évidence les faiblesses de la technologie pour suggérer des améliorations, notamment dans le domaine des soins médicaux.
- Les difficultés sont attribuées à la complexité de l’identification des maladies chez les enfants, qui souvent ne savent pas comment exprimer clairement leurs symptômes.
- L’IA n’a pour la plupart pas réussi à établir des liens entre les symptômes et d’autres affections du patient, telles que les neurodivergences et les carences en vitamines.
Une étude récente a montré que ChatGPT oublie 83 % des diagnostics de symptômes chez les enfants. Les recherches menées par JAMA Pédiatrie, une revue scientifique dans le domaine de la pédiatrie, souligne que GPT-4 a de sérieux problèmes pour identifier la maladie chez les enfants. Son taux de réussite est meilleur chez les adultes, atteignant 39 %.
Comme l'expliquent les auteurs, l'objectif de l'étude n'est pas de critiquer ChatGPT (ni même de dire que les parents qui utilisent l'IA au lieu d'emmener leurs enfants chez le médecin sont irresponsables), mais de montrer les faiblesses de la technologie et comment elle peut être utilisée. amélioré pour aider les médecins.
Les cas pédiatriques sont plus compliqués à identifier
La difficulté de ChatGPT à reconnaître les symptômes pédiatriques est liée au fait qu'il est plus difficile d'identifier les maladies chez les enfants. C’est parce que les enfants ne sont pas doués pour exprimer ce qu’ils ressentent. Après tout, ils n’ont pas l’expérience qu’un adulte peut avoir pour identifier si une douleur au ventre est musculaire ou provient d’un organe.
ChatGPT a dû jouer à House, mais n'a pas dit que tous les cas étaient du lupus (Image : Vitor Pádua / )
Le test ChatGPT a utilisé 100 défis de cas pédiatriques publiés sur le JAMA Pédiatrie e non Le Journal de médecine de la Nouvelle-Angleterre. Dans ces défis, les revues scientifiques publient des cas de patients avec des diagnostics difficiles et les informations dont disposaient les médecins à l'époque – presque comme si elles jouaient à House.
Après avoir envoyé l'invite, deux médecins évaluent si la réponse de ChatGPT était correcte, incorrecte ou si l'IA a partiellement réussi. Dans 17 cas, l'IA a eu raison, dans 83 il y avait des erreurs et 72 étaient des erreurs complètes.
Faire cette recherche avec 100 cas peut sembler une bonne idée, mais JAMA Pediatrics a un facteur d'impact de 26,1, considéré comme un bon chiffre dans le milieu universitaire. Élargir l’étude à davantage de cas nécessiterait plus de temps et d’argent. Cependant, cela démontre les points sur lesquels ChatGPT doit s'améliorer.
Dans l’étude, les médecins rapportent que l’IA était incapable d’établir des liens entre les symptômes et les autres conditions du patient. Certains cas de neurodivergences sont liés à des carences vitaminiques.
ChatGPT peut vous indiquer les symptômes d'une maladie, mais a du mal à les relier à l'état des patients (Image : Reproduction/)
Par exemple, une personne autiste peut suivre un régime alimentaire restreint et souffrir d’un manque de vitamines. Un cas de ce type a été présenté au ChatGPT, mais il n'a pas pu relier l'état du patient au scorbut, une maladie provoquée par l'absence de vitamine C.
Pour résoudre ces erreurs d’IA, les auteurs de l’étude préconisent que ChatGPT ait accès à des articles médicaux provenant de revues respectées, et non à n’importe quel site Web. Une autre solution consiste à mettre rapidement à jour l’IA avec les informations médicales.
ChatGPT et les appareils similaires ne remplaceront pas les médecins, mais la vaste capacité de traitement sera un autre outil pour aider à diagnostiquer les cas plus difficiles. Que ce soit aujourd’hui ou demain, vous devrez toujours consulter un médecin, mais au moins la télémédecine peut vous aider.
Avec informations : JAMA Pediatrics et Ars Technica
ChatGPT rate 83 % des diagnostics de maladies chez les enfants
