Medische AI-tool OpenEvidence niet langer toegankelijk vanuit EU
OpenEvidence, een AI-tool voor het zoeken en synthetiseren van referenties uit medische bronnen, is niet langer toegankelijk vanuit de Europese Unie. Als reden verwijst het bedrijf naar de EU AI Act.
OpenEvidence is een AI-toepassing die artikels samenvat uit gereputeerde medische bronnen zoals de New England Journal of Medicine, het JAMA Network, het NCCN (National Comprehensive Cancer Network), het Mayo Clinic Platform Accelerate en andere evidence-based tijdschriften. Het profileert zich als alternatief voor UpToDate, dat een redactie met menselijke experts heeft.
Sinds begin deze week is OpenEvidence echter niet meer toegankelijk vanuit de Europese Unie en het Verenigd Koninkrijk. Wie vanuit die landen de website bezoekt, ziet alleen de melding “Vanwege de toenemende onzekerheid over de regelgeving met betrekking tot de behandeling van AI-systemen in de Europese Unie en het Verenigd Koninkrijk, waaronder de EU-wetgeving inzake kunstmatige intelligentie (AI Act), is OpenEvidence niet beschikbaar in de Europese Unie of het Verenigd Koninkrijk."
Lees ook: OpenEvidence, de nieuwkomer
AI Act en MDR
De Europese AI Act waarnaar OpenEvidence verwijst, deelt AI-toepassingen in vier categorieën in, op basis van het risico. Toepassingen die de gezondheid, veiligheid of mensenrechten in gevaar kunnen brengen gelden als ‘high risk’ en zijn aan strikte verplichtingen onderworpen, zoals een grondige risico-analyse, en uitgebreide documentatie over het doel en de werking van het systeem.
Een tool die gezondheidsinformatie synthetiseert, zoals OpenEvidence, lijkt hier onder te vallen. De regels voor high-risk toepassingen van de AI Act gaan echter pas in vanaf augustus 2026.
Wel al van toepassing is de Europese Medical Device Regulation (MDR). Wanneer software gebruikt wordt voor een medisch doel zoals diagnose, monitoring, voorspelling of behandeling van een ziekte, wordt ze beschouwd als ‘Software as a medical device’. Dat impliceert verplichtingen zoals het opstellen van technische documentatie, het uitvoeren van een conformiteitsbeoordeling en het aanbrengen van een CE-markering.
"Zodra een chatbot een diagnose of een behandeling suggereert, valt ze onder de MDR.”
Bij de beoordeling volgens de MDR wordt er gekeken naar het gebruik in de praktijk – het is niet voldoende dat de maker van de software in de gebruiksvoorwaarden vermeldt dat deze niet bedoeld is voor medisch gebruik.
“Wanneer een AI-chatbot louter een samenvatting geeft, is het geen medical device,” zei Koen Cobbaert, Regulatory Science &Policy Expert op een recente studiedag van het FAGG over medische software. “Maar zodra een chatbot een diagnose of een behandeling suggereert, valt ze wel onder de MDR.”
'Zorgwekkend'
De noodzaak van regulering van AI-tools is wellicht geen overbodige luxe. Een preprint-artikel op MedXriv wijst op de lage betrouwbaarheid van OpenEvidence bij een test met de MedXpertQA-dataset. Met name de herhaalbaarheid (geeft de chatbot hetzelfde antwoord wanneer een vraag herhaald wordt?) is lager dan verwacht. De auteurs noemen dat “zorgwekkend, gezien het feit dat clinici deze tools al gebruiken voor klinische besluitvorming in de dagelijkse praktijk.”
