Selon OpenAI

Un million d'utilisateurs confieraient des pensées suicidaires à ChatGPT

Plus d'un million d'utilisateurs de ChatGPT évoquent des pensées liées au suicide avec cet assistant d'IA générative, selon des estimations fournies par l'entreprise qui l'a créée, OpenAI.

OpenAI, l'entreprise californienne d'intelligence artificielle (IA), estime qu'environ 0,15% des utilisateurs de sa création ChatGPT ont des "conversations qui incluent des indicateurs explicites de planification ou d'intention suicidaire potentielle", rapporte-t-elle sur un blog en début de semaine.

Vu qu'OpenAI revendique 800 millions d'utilisateurs hebdomadaires, cela correspondrait à quelque 1,2 million de personnes dans le monde. L'entreprise estime également qu'environ 0,07% des utilisateurs hebdomadaires actifs de ChatGPT présentent des signes de potentielles urgences de santé mentale, liées à des épisodes psychotiques ou maniaques, soit un peu moins de 600.000 personnes.

La question n'est pas neuve, elle occupe le devant de la scène depuis la mort d'un adolescent californien, Adam Raine, dont les parents ont récemment attaqué OpenAI en justice. Ceux-ci affirment que ChatGPT avait fourni à l'ado des conseils spécifiques sur la manière de passer à l'acte.

OpenAI a, depuis, renforcé les contrôles parentaux, et affirme avoir mis en place d'autres garde-fous, notamment un accès renforcé aux assistances téléphoniques d'urgence.

LIRE PAR AILLEURS : L’impact de ChatGPT sur le cerveau a été évalué par le MIT

Différents 'garde-fous' mis en place

La firme indique avoir mis à jour son modèle pour mieux reconnaître et répondre aux utilisateurs vivant une urgence de santé mentale: "Nous avons récemment mis à jour le modèle par défaut de ChatGPT afin qu’il reconnaisse et prenne mieux en charge les personnes en situation de détresse. Aujourd’hui, nous partageons la manière dont ces améliorations ont été réalisées et leurs performances."

L'entreprise affirme ainsi travailler avec plus de 170 professionnels de santé mentale pour réduire de manière significative les réponses problématiques. "En collaboration avec des experts en santé mentale disposant d’une expérience clinique concrète, nous avons entraîné le modèle à mieux identifier les signes de détresse, à désamorcer les conversations et à orienter les utilisateurs vers des professionnels de santé lorsque cela est approprié."

"Nous avons également élargi l’accès aux lignes d’assistance en cas de crise, redirigé les échanges sensibles provenant d’autres modèles vers des modèles plus sûrs et ajouté de légers rappels pour encourager à faire des pauses lors de longues sessions", explique l'entreprise. 

Le renforcement de sécurité concerne plus précisément les troubles de type psychose ou manie, l’automutilation et le suicide et la dépendance émotionnelle à l’intelligence artificielle. "À l’avenir, en plus de nos indicateurs de sécurité de référence de longue date concernant le suicide et l’automutilation, nous intégrerons la dépendance émotionnelle et les urgences psychologiques non suicidaires à notre série standard de tests de sécurité de référence pour les prochaines versions du modèle", poursuit OpenAI.

"Nous pensons que ChatGPT peut offrir un espace de soutien permettant aux utilisateurs d’exprimer et de comprendre leurs émotions, tout en les incitant à solliciter l’aide de proches, de leur famille ou d’un professionnel de santé mentale lorsque cela est nécessaire."

Toute personne ayant des pensées suicidaires peut contacter la ligne d'écoute du Centre de prévention du suicide au 0800/32.123 (elle est anonyme, gratuite et disponible 24h/24). Plus d'infos sur le site Prévention du suicide.