Sous- et surtriage ; risque de suicide sous-estimé

Enquête : ChatGPT Health n'est pas fiable pour les conseils médicaux

ChatGPT Health, un outil d'IA qui fournit des conseils médicaux, n'est pas du tout à la hauteur. Plus de la moitié des cas nécessitant des soins d'urgence n'ont pas été classés par ordre de priorité. L'outil a également ignoré les signaux d'alarme indiquant une possible tentative de suicide. C'est ce qui ressort d'une étude publiée dans Nature Medicine.

ChatGPT Health a été présenté en grande pompe au début de l'année comme un outil qui aide les gens à "comprendre et à prendre en charge plus activement leur santé et leur bien-être". Selon son créateur, OpenAI, 40 millions de personnes utilisent déjà cet outil pour obtenir des informations et des conseils en matière de santé.

Des chercheurs de l'Icahn School of Medicine at Mount Sinai (New York, USA) ont examiné la fiabilité des conseils de santé de ChatGPT Healt. Leurs conclusions sont si alarmantes qu'elles ont été publiées d'emblée dans l'édition en ligne du 23 février de Nature Medicine.

Dans un grand nombre de cas graves, ChatGPT n'oriente pas correctement les utilisateurs vers des soins d'urgence. L'étude a également révélé de sérieux problèmes concernant les mesures de sécurité en cas de crise suicidaire imminente.

Sous- et sur-triage

Dans le cadre de l'évaluation, l'équipe de recherche a élaboré 60 scénarios cliniques structurés couvrant 21 spécialités médicales. Les cas allaient d'affections bénignes pouvant être prises en charge à domicile à de véritables urgences médicales. Trois médecins ont déterminé le niveau d'urgence approprié pour chaque cas sur la base des lignes directrices de 56 associations médicales.

Lors des tests menés avec ces scénarios réalistes de patients, plus de la moitié des cas que les médecins jugeaient nécessiter des soins urgents ont été sous-priorisés. ChatGPT s'est en outre montré particulièrement incohérent. L'outil indiquait souvent reconnaître des symptômes dangereux, tout en rassurant malgré tout le patient. À l'inverse, des patients présentant des symptômes anodins se voyaient conseiller de consulter un médecin ou un service d'urgence le plus rapidement possible.

" ChatGPT Health a bien fonctionné pour des urgences classiques comme l'AVC ou les réactions allergiques sévères ", explique le co-auteur, le Dr Ramaswamy. "Mais le système éprouvait des difficultés dans des situations plus nuancées, où le danger n'est pas immédiatement évident - précisément celles où le jugement clinique est souvent le plus crucial. "

Le risque suicidaire est ignoré

Selon OpenAI, ChatGPT Health est programmé pour orienter les utilisateurs exprimant des pensées suicidaires vers la ligne américaine de prévention du suicide 988 "Suicide and Crisis Lifeline". Les chercheurs ont toutefois constaté que ces avertissements apparaissaient de manière incohérente : parfois déclenchés dans des situations à faible risque, ils n'apparaissaient pas - ce qui est particulièrement alarmant - lorsque les utilisateurs décrivaient des projets concrets d'automutilation.

"Les alertes du système n'étaient pas alignées sur le risque clinique : elles étaient plus fiables dans des scénarios à faible risque que dans des cas où une personne expliquait ouvertement comment elle envisageait de s'automutiler. Dans la pratique, le fait de décrire de manière détaillée une intention d'automutilation constitue en réalité un indicateur d'un risque plus élevé et plus grave, et non d'un risque diminué ", souligne le senior et co-auteur principal Girish N. Nadkarni.

Les auteurs de l'étude recommandent que, en cas d'aggravation ou de symptômes inquiétants - tels que des douleurs thoraciques, un essoufflement, des réactions allergiques sévères ou des changements de l'état mental - les personnes recherchent immédiatement une aide médicale, plutôt que de se fier aux conseils de chatbots.

L'évaluation indépendante devrait devenir la norme

" Les LLM sont le premier réflexe de nombreux patients pour obtenir un avis médical, mais en 2026 ce sont précisément dans les situations cliniques extrêmes qu'ils sont les moins sûrs, là où un bon jugement fait la différence entre une urgence manquée et une panique inutile ", déclare Isaac S. Kohane, MD, PhD, chef du département d'informatique biomédicale à la Harvard Medical School.

" Lorsque des millions de personnes utilisent un système d'IA pour décider si elles ont besoin de soins d'urgence, les risques sont extrêmement élevés. L'évaluation indépendante devrait être la règle, pas une option. "

L'étude a évalué le système à un moment précis. Les modèles d'IA étant régulièrement mis à jour, leurs performances peuvent évoluer dans le temps, ce qui renforce encore l'importance d'évaluations indépendantes, soulignent les chercheurs.

ChatGPT Health n'est pas encore disponible en Europe. Selon OpenAI, cela s'explique par l'incertitude quant à la conformité du chatbot médical avec le RGPD européen, le règlement relatif aux dispositifs médicaux (MDR) et l'AI Act.