AI Act in de zorg – praktische toepassing

Met Chat GPT is het gebruik van Artificiële Intelligentie (“AI”) mainstream geworden. Naast dat het leuk is om uit te proberen, horen we ook steeds meer geluiden dat het door medewerkers op de werkvloer wordt gebruikt. Ook in de zorg worden de eerste pilots gestart. Maar we horen ook dat de meeste AI-toepassingen in de zorg vaak in de onderzoeksfase blijven steken. AI wordt een “black box” genoemd, hoe kan je dan als zorgverlener de verantwoordelijkheid nemen en het veilig toepassen in de behandeltrajecten? Is het genoeg om te controleren of de AI-toepassing een CE-markering heeft? Of heb je zelf als gebruiker ook verantwoordelijkheden als het om veiligheid en kwaliteit van AI-toepassingen gaat? Dit artikel helpt jou om meer grip te krijgen op de veiligheid en kwaliteit van het nieuwe AI-landschap.

Inventarisatie en inkoop

AI-toepassingen in de zorg zijn met name relevant in het kader van kwaliteit, het verzamelen van stuurinformatie voor het management, het doen van onderzoek op grote hoeveelheden van data en het leveren van zorg. Meer concreet, door onze klanten wordt het ingezet bij het zoeken naar overeenkomsten in het menselijk genoom bij een bepaalde ziekte en het bepalen van de beste behandeling. In een onderzoek waar we aan mogen bijdragen zal het worden ingezet om bij kanker vast te stellen bij welke behandeling een specifiek persoon het meeste baat heeft, waardoor kwaliteit van leven voorop kan staan.

Nu ben jij vanuit de zorginstelling ook tot de conclusie gekomen dat je een AI-systeem wil inkopen. Je hoort om je heen dat je goed moet opletten en moet weten wat je doet. Maar je mist de praktische handvatten om je zeker te voelen in het proces. Waar begin je dan? 

Allereerst is het goed om te beginnen met een inventarisatie; wat voor AI-systeem of applicatie met AI wil je inkopen? Of wil je juist een samenwerking aangaan met de ontwikkelaar en gezamenlijk een toepassing ontwikkelen? 

Gaat het om een AI-toepassing die je wil inzetten bij het leveren van zorg, dan is het belangrijk de volgende informatie op een rijtje te zetten: 

• waar gaat de toepassing ingezet worden (bijvoorbeeld administratief of juist in behandeltrajecten)?
• wat moet de toepassing kunnen?
• binnen welke patiëntengroep wordt de toepassing ingezet?
• moet de toepassing kunnen communiceren met bestaande systemen?
• in hoeverre is er kennis in huis met betrekking tot de toepassing?

Aanvullend is de volgende informatie van belang wanneer er samengewerkt gaat worden met een ontwikkelaar:

• wat zijn de verantwoordelijkheden van de ontwikkelaar en wat zijn de eigen verantwoordelijkheden?
• wie krijgt de rechten over het eindproduct?
• hoe wordt de samenwerking ingericht? En moet er betaald worden of is het een investering vanuit beide kanten?

De regels

Voor AI-systemen die ingezet worden bij het leveren van zorg moet je rekening houden met enerzijds de sectorspecifieke wetgeving: de Medical Device Regulation (“MDR"). Anderzijds toekomstige wetgeving specifiek voor AI: de wet op artificiële intelligentie (“AI Act”). De AI Act regelt het juridisch kader van AI-systemen en kent een op risico gebaseerde aanpak, net zoals de MDR. Er zijn vier risicocategorieën: onaanvaardbaar, hoog, minimaal en laag. Voor elke categorie gelden specifieke verplichtingen. De categorie hoog risico kent de meeste verplichtingen. Deze verplichtingen staan verderop in dit artikel genoemd.

Voor de AI Act geldt dat de tekst nog niet definitief is. Op 14 juni 2023 is er overeenstemming bereikt in het Europese Parlement. Hierna starten de onderhandelingen met de Raad van Ministers over de definitieve tekst. Het Europese Parlement en de Raad van Ministers liggen niet ver uit elkaar, daarom wordt verwacht dat de AI Act ergens in het eerste kwartaal van 2024 ingevoerd zal worden en worden er geen grote tekstuele wijzigingen verwacht. Na de invoering zal er een overgangsperiode zijn om te wennen aan de nieuwe regels.

Wat is voor de zorg relevant uit de AI Act?

De verwachting is dat veel van de AI-systemen voor de zorg in de risicocategorie hoog zullen vallen. Wanneer een AI-systeem voor de zorg een conformiteitsbeoordeling van een onafhankelijke derde nodig heeft om op de markt te kunnen brengen, valt het in de risicocategorie hoog.¹ Wanneer die conformiteitsbeoordeling precies nodig is, is voor medische software in de MDR geregeld; als het om software gaat die classificeert als een product uit klasse IIa of hoger is een conformiteitsbeoordeling van een onafhankelijke derde nodig. Software die ingezet wordt in behandeltrajecten of bij diagnose zal over het algemeen in klasse IIa of hoger vallen. Dat betekent automatisch ook dat AI-systemen die ingezet worden in behandeltrajecten in de risicocategorie hoog uit de AI Act zullen vallen.

Verplichtingen hoog risico AI-systemen

AI-systemen met een hoog risico moeten onder de AI Act aan de volgende verplichtingen voldoen voordat ze op de markt gebracht kunnen worden: 

• risicomanagement systeem;
• systeem voor gegevensbeheer;
• AI-systeem moet gelogd worden;
• technische documentatie;
• transparantie en menselijk toezicht;
• AI-systeem moet nauwkeurig en robuust zijn en de cybersecurity moet in orde zijn.

Dat zijn niet de minste verplichtingen. Ook niet gek, het wordt niet voor niets als hoog risico gezien. Deze verplichtingen rusten niet op één partij; de AI Act kent verschillende rollen en elke rol kent eigen verantwoordelijkheden. 

Voor een zorginkoper die een AI-systeem wil inkopen en implementeren in de zorgpraktijk is het belangrijk om te weten onder welke rol zij vallen. Op dit moment geldt dat deze rol ‘deployer’ genoemd wordt. Hier is sprake van wanneer de zorginstelling het AI-systeem onder eigen gezag gebruikt.² De zorginstelling heeft als verplichting om:

• het AI-systeem te gebruiken volgens de gebruiksaanwijzing;
• bestaande wettelijke verplichtingen na te blijven leven (zoals bijvoorbeeld de Algemene verordening gegevensbescherming (‘’AVG’’));
• menselijk toezicht toe te passen wanneer het AI-systeem geïmplementeerd is; en
• de leverancier of distributeur van het product op de hoogte te brengen van elk ernstig incident.

Voor het toepassen van menselijk toezicht geldt dat de zorginstelling protocollen moet hebben voor de evaluatie van de uitvoer van het AI-systeem en beleid moet hebben met betrekking tot periodieke controles op juistheid van de aanbevelingen die uit het AI-systeem komen. Het menselijk toezicht is namelijk bedoeld om de risico’s tot een minimum te beperken. Het toezicht moet dus effectief zijn.

Veruit de meeste verplichtingen zijn voor de ‘provider’, degene die een AI-systeem ontwikkelt en op de markt brengt.³ Het volgende moet geregeld zijn:

• kwaliteits- en risicomanagement systeem;
• technische documentatie;
• registratie van het AI-systeem;
• conformiteitsbeoordeling;
• CE-markering;
• toezicht na het in de handel brengen.
  
  

Praktische handvatten voor de zorginstelling

Nu je als inkoper weet wat je wil inkopen en wat je eigen verplichtingen onder de AI Act als deployer zijn, kun je kritisch kijken naar de eigen organisatie; wat is er al en wat moet er nog geregeld worden? Dit kun je zien als een nulmeting met daaropvolgende een GAP-analyse. Daarnaast is het goed om na te denken of het in jouw organisatie verstandig is om een AI Officer te hebben. De AI Officer beschikt over de relevante kennis en kan meehelpen in het inkooptraject. Daarnaast is de AI Officer een geschikte functie om na implementatie verantwoordelijk te zijn voor de naleving van de verplichtingen uit de AI Act. Naast verplichtingen uit de AI Act, kennen we ook verplichtingen uit bestaande wet- en regelgeving. Zoals de AVG, MDR en de verschillende NEN- en ISO-normen. Op basis van die bestaande verplichtingen zijn aanvullend nog de volgende functies nodig:

• functionaris gegevensbescherming;
• privacy officer;
• security officer;
• PRRC.⁴

Nadat je kritisch naar de eigen organisatie hebt gekeken, is de volgende stap het starten van gesprekken voor de inkoop (of de gezamenlijke ontwikkeling). In de praktijk wordt opgemerkt dat er op dit punt wat terughoudendheid is. Naast dat er veel ontwikkeld wordt en er misschien (te) veel keus is aan samenwerkingspartners, kan het lastig zijn om te bepalen wat de juiste keuze is. Zo zijn er bijvoorbeeld verschillende ontwikkelaars die AI-systeem ontwikkelen om bepaalde foto’s te beoordelen, zoals longfoto’s of foto’s van moedervlekken. Om een juiste keuze te maken is het belangrijk om kennis te hebben van de verplichtingen die op de ontwikkelaar rusten. Hieronder worden een aantal verplichtingen uit de AI Act uitgelicht waarmee je juist als zorginstelling grip kunt krijgen op de veiligheid en kwaliteit en er met meer zekerheid genavigeerd kan worden tussen de verschillende opties.

Logging

Voor de provider geldt de verplichting het AI-systeem te loggen om te kunnen traceren en controleren wat er precies is gebeurd om tot de response te komen.⁵ Afhankelijk van hoe dit precies is ingericht, neemt dit de angst voor de ‘black box’, waar vaak naar gerefereerd wordt wanneer er over AI wordt gesproken, weg. Met het loggen is het de bedoeling dat achteraf opgezocht kan worden wat er precies is gebeurd. Als gebruiker blijf je dus niet volledig blind. Hierbij is het belangrijk om tijdens het inkoopproces goed na te gaan of de provider dit inderdaad heeft ingericht, hoe het is ingericht en of het ook makkelijk te raadplegen is. Dit is ook een onderwerp dat meegenomen kan worden in de contractuele afspraken. Als gebruiker wil je liever niet dat er bijvoorbeeld allemaal extra kosten in rekening worden gebracht bij inzage. Je wil dat deze gegevens praktisch en snel toegankelijk zijn. 

Transparantie

De transparantieverplichting die op de provider rust houdt in dat transparant moet zijn hoe het AI-systeem werkt.⁶ Dat betekent niet dat alles tot in detail inzichtelijk moet zijn. Met transparantie wordt bijvoorbeeld bedoeld dat inzage wordt gegeven in wat voor data er is gebruikt om de AI te trainen. Als inkoper moet je je dan afvragen of dat past bij de patiëntengroep waar je het voor wil inkopen en of er mogelijk bias in zit. Zo kan een model dat gebouwd is rondom vrouwen uit de Verenigde Staten anders uitpakken en misschien niet één op één toegepast worden op vrouwen in Nederland. Of misschien bestaat de dataset voornamelijk uit mensen uit één etnische groep. Het is daarom belangrijk om na te gaan met wat voor datasets het algoritme is getraind, waarom die keuzes zijn gemaakt en of je problemen voorziet voor de praktijk waar jij het wil toepassen.

Menselijk toezicht

De verplichting van menselijk toezicht ligt bij de gebruiker. Dit betekent dat het voor de inkoper ook verstandig is om in kennis te investeren. Het advies is om te investeren in een AI Officer. Het is namelijk belangrijk om protocollen te hebben voor de evaluatie van de uitvoer van het AI-systeem en om beleid te hebben met betrekking tot periodieke controles op juistheid van de aanbevelingen die uit het AI-systeem komen.⁷ Als zorginstelling kun je na de implementatie dus niet achteroverleunen. Structurele evaluaties en controles zijn belangrijk. Ook omdat incidenten aan de ontwikkelaar teruggekoppeld moeten worden.

Naast de uitgelichte verplichtingen, is het advies om zeker ook vragen te stellen over de andere verplichtingen die op de provider rusten. Daarbij is het doel om te achterhalen hoe de provider aan de verplichtingen voldoet en of dat past bij de zorginstelling en haar praktijk.

Contract en beleid

Je hebt je inventarisatie gedaan, je bent goed voorbereid om de juiste vragen te stellen aan de provider en hebt een keuze gemaakt. Nu is het tijd voor de implementatie en het contract. Als uit je analyse is gebleken dat je aan bepaalde normen moet voldoen, denk aan de NEN 7510, dan heb je als taak om beleid te gaan schrijven. Uit je analyse blijkt ook het juridisch kader dat van toepassing is. Daarvoor geldt dat je naast al geldende wet- en regeling ook alvast rekening houdt met aankomende wet- en regelgeving, zoals de AI Act. In de zorg wordt namelijk voor langere periodes ingekocht, dan is voorsorteren op wat gaat komen van belang. Voor het juridische gedeelte houdt dat in dat er contracten worden gesloten. De minimale afspraken om op te nemen zijn als volgt:

• verantwoordelijkheden;
• aansprakelijkheid;
• afspraken omtrent de monitoring in de praktijk;
• toegang tot loginformatie;
• intellectuele eigendomsrechten;
• exit-regeling;
• ondersteuning (als bijvoorbeeld blijkt dat het niet helemaal werkt zoals zou moeten, of als bepaalde updates nodig zijn en wanneer de provider achter kwetsbaarheden komt).

Daarnaast is het belangrijk om na te gaan wat voor maatregelen de provider heeft ingeregeld om het menselijk toezicht mogelijk te maken. Indien nodig kunnen daar nog aanvullende afspraken over worden gemaakt in het contract. De uitvoering is namelijk de verantwoordelijkheid van de zorginstelling. 

In sommige gevallen is het verder nog nodig om audits uit te voeren, dit kunnen interne en externe audits zijn. Als het goed is heb je dit meegenomen in het vaststellen van het kader tijdens de analyse, zodat je op tijd afspraken kunt plannen. Uit de praktijk komen namelijk geluiden van lange wachttijden.

En dan?

Nadat je alle stappen hebt doorlopen en alle afspraken duidelijk op papier hebt staan, kun je het AI-systeem daadwerkelijk gaan implementeren en een plek geven in behandeltrajecten. Maar ben je dan klaar? Kort antwoord: nee. Met wat meer uitleg: het is belangrijk om duurzaam te onderhouden, dus in de gaten te houden of er met de tijd nog veranderingen in wetgeving komen waardoor je mogelijk niet meer voldoet aan de (nieuwe) verplichtingen. Dat hoef je niet alleen te doen, zo kun je hulp inschakelen van de functionaris gegevensbescherming, PRRC, privacy-, security - of AI officer. Maar vergeet vooral ook niet de eerdergenoemde periodieke controles en evaluaties. 

Mocht je willen laten beoordelen of je op de juiste weg zit, je alle relevante onderwerpen in je vizier hebt of juist helemaal ontzorgt willen worden? Neem vrijblijvend contact met ons op. Onze specialisten denken graag met je mee en kunnen ook een training op locatie verzorgen.

¹ Amendment 58 Proposal for a regulation Recital 30, Europese Parlement 14 juni 2023.
² Artikel 3 lid 1 onder 4 voorstel AI Act, Europese Parlement 14 juni 2023.
³ Dit is onder andere een natuurlijk persoon of een rechtspersoon die een AI-systeem ontwikkelt of laat ontwikkelen en het op de markt brengt of onder eigen naam of handelsmerk in gebruik neemt.
⁴ Person Responsible for Regulatory Compliance, een verplichte rol vanuit de MDR.
⁵ Artikel 12 lid 2 voorstel AI Act, Europese Parlement 14 juni 2023.
⁶ Artikel 13 lid 1 voorstel AI Act, Europese Parlement 14 juni 2023.
⁷ Artikel 14 voorstel AI Act, Europese Parlement 14 juni 2023.