De Europese AI-verordening en de gevolgen voor de zorg
De Artificial Intelligence verordening van de Europese Unie brengt duidelijkheid over het gebruik van kunstmatige intelligentie (AI), ook binnen de medische sector. Maar met deze wetgeving komen ook nieuwe verplichtingen.
Duidelijkheid en verplichtingen
De Artificial Intelligence verordening van de Europese Unie brengt duidelijkheid over het gebruik van kunstmatige intelligentie (AI), ook binnen de medische sector. Maar met deze wetgeving komen ook nieuwe verplichtingen.
Na vijf jaar onderhandelen is in juli 2024 de AI Act officieel gepubliceerd (EU Verordening 2024/1689). De wet treedt op 1 augustus 2024 in werking. Het doel? Het bevorderen van betrouwbare, mensgerichte en transparante AI binnen de EU, met tegelijkertijd aandacht voor fundamentele rechten, democratie, milieubescherming en innovatie.
De AI-verordening hanteert een risico gebaseerde aanpak, vergelijkbaar met de Medical Devices Regulation (MDR). Niet elk AI-systeem dat in medische hulpmiddelen wordt gebruikt, brengt een risico met zich mee. Apparaten die vallenonder klasse IIa of hoger van de MDR worden geclassificeerd als 'high-risk systemen'. Deze vallen dan ook automatisch onder de high-risk AI-systemen van de AI Act. Dit komt omdat hun gebruik aanzienlijke risico’s kan vormen voor de gezondheid van de patiënten.
Vier belangrijke actiegebieden
Niet alleen producenten en distributeurs krijgen verplichtingen, maar ook gebruikers (Zorgorganisaties vallen hier dus rechtstreeks onder). Het is essentieel dat zij deze goed begrijpen. Binnen deze wetgeving onderscheiden we vier belangrijke actiegebieden:
1. Beheer van datakwaliteit
Dit blijft primair de verantwoordelijkheid van leverancier. Zo wordt voorkomen dat AI-systemen op basis van onvolledige of bevooroordeelde datasets worden getraind. Een voorbeeld hiervan is een AI-algoritme dat alleen getraind is met gegevens van mannelijke proefpersonen en daardoor niet goed presteert bij vrouwen.
2. Minimalisatie van risico’s
Bekende en te voorziene risico’s, zoals fout-positieve diagnosen en onjuist gebruik moeten zoveel mogelijk worden beperkt.
3. Zorg voor adequate prestaties
De prestaties van een AI-systeem worden niet alleen beoordeeld op outputkwaliteit, maar ook op factoren zoals verwerkingstijd. Gebruikers zijn wettelijk verplicht om tekortkomingen te melden bij de leverancier.
4. Informatie en training voor gebruikers
Gebruikers moeten weten hoe ze een AI-systeem moeten gebruiken, inclusief de risico’s en de beperkingen van diagnostische resultaten. Dit is een verplichting die over de hele levenscyclus van een AI-systeem blijft gelden en valt onder het bredere principe van AI-geletterdheid. Daarnaast is AI-geletterdheid van alle betrokkende van belang, ook die van inkoop en implementatie.
Meldplicht voor gebruikers
In de afgelopen maanden heeft onze leverancier VISUS zich intensief verdiept in de implicaties van de AI-verordening, zowel voor ons als voor onze klanten. In de toekomst kan bijvoorbeeld JiveX mogelijk een belangrijke rol spelen bij het registreren van gebruikersgedrag en de kwaliteit van AI-resultaten, als onderdeel van Post Market Clinical Surveillance. Daarnaast kan onze software helpen om deze gegevens op een veilige en AVG-conforme manier te verwerken en door te sturen.
Zelfs als er geen bestaande kanalen zijn, moeten AI-gebruikers altijd problemen en afwijkingen in het systeem melden bij de leverancier. Ons advies? Wacht niet tot de deadline van 1 augustus 2026. Zorgorganisaties en gebruikers doen er goed aan zich nu al voor te bereiden op de nieuwe verplichtingen en vereisten.
