Steeds meer zorginstellingen maken gebruik van Artificial Intelligence (AI). Naast mooie kansen zoals het verminderen van administratieve lasten kan het gebruik van AI ook risico's met zich meebrengen. Want wat nou als schade ontstaat bij een patiënt tijdens het gebruik van een AI-tool bij een medische behandeling? Een vaak gestelde vraag, een lastige kwestie en helaas niet zo één twee drie te beantwoorden omdat het antwoord op deze vraag sterk afhangt van de concrete situatie. Bovendien eigenlijk te breed voor een blog vanwege het casuïstiek karakter van het aansprakelijkheidsrecht, maar een collega had een dusdanig goed idee dat ik het niet kon laten: ''Waarom bespreek je dit niet aan de hand van een casus?".
Casus
Ziekenhuis de Linde gebruikt een AI-systeem genaamd Radio AI. Het betreft een AI-systeem dat radiologiebeelden analyseert en borstkanker kan herkennen. Het AI-systeem wordt door een hulpverlener van ziekenhuis de Linde ingezet bij patiënt X. Na een analyse door Radio AI, komt naar voren dat patiënt X geen tumor heeft. Op grond van de AI Act is menselijke controle vereist. De hulpverlener controleert de scan en ook de hulpverlener ziet geen afwijkingen. Patiënt X wordt naar huis gestuurd.
Maar na een aantal maanden vertrouwt patiënt X het niet en gaat terug naar ziekenhuis de Linde. Er wordt opnieuw een scan gemaakt. De scan wordt beoordeeld door het AI-systeem, ditmaal is er slecht nieuws. Er is een tumor te zien. De oude radiologiebeelden worden erbij gepakt en bij nadere analyse, is ook hier, hoe klein ook, een afwijking te zien. Een borstsparende operatie is niet langer mogelijk, terwijl dit in een eerder stadium misschien wel had gekund. Kortom, patiënt X heeft schade.
De crux van deze casus is dat er zowel sprake zou kunnen zijn van een fout, ofwel onzorgvuldig handelen, van de hulpverlener en/ of het ziekenhuis als van een gebrek in het AI-systeem. Laten we deze opties nader onderzoeken. Omwille van de duidelijkheid, deze blog is niet bedoeld als een uitputtende opsomming van aansprakelijkheidsgrondslagen en alle vereisten die gelden in dit kader, maar als een eerste verkenning aan de hand van bovengenoemde casus.
Onzorgvuldigheid (mens)
De hulpverlener heeft de scan van het AI-systeem gecontroleerd maar heeft de vals negatief er niet uitgepikt. Is hier grond voor aansprakelijkheid? Patiënt X zal allereerst moeten aantonen dat bijvoorbeeld de hulpverlener of het ziekenhuis, een fout heeft gemaakt. Laten we inzoomen op de mogelijke aansprakelijkheid van de hulpverlener.
Tussen hulpverlener en patiënt X is een geneeskundige behandelingsovereenkomst overeengekomen. Of sprake is van een fout wordt daarom beoordeeld op grond van de zorgvuldigheidsnorm zoals vastgelegd in de Wet op de geneeskundige behandelingsovereenkomst (WGBO) [1]. Hierin is bepaald dat de hulpverlener de zorg van een goed hulpverlener in acht moet nemen en moet handelen met de op hem rustende verantwoordelijkheid zoals voortkomt uit de professionele standaard en kwaliteitsstandaarden[2]. Welke zorgvuldigheid van een zorgverlener precies moet worden verwacht met betrekking tot een AI-systeem zal zich nog nader uit moeten kristalliseren. Een leidraad die handvatten geeft voor de invulling hiervan is: Leidraad voor kwalitatieve diagnostische en prognostische toepassingen van AI in de zorg.
Onzorgvuldig handelen kan daarnaast voortvloeien uit het niet volgen van een wettelijke verplichting of het overtreden van een wettelijk verbod. Hier is bijvoorbeeld sprake van als niet wordt voldaan aan een verplichting van de AI Act, zoals het uitvoeren van menselijke controle. Of er is bijvoorbeeld niet gecontroleerd of het AI-systeem een CE-markering draagt op grond van de Medical Device Regulation (MDR).
Kortom, heeft de hulpverlener van ziekenhuis de Linde voldoende zorgvuldig gehandeld? Dit moet worden beoordeeld aan de hand van alle feiten en omstandigheden van het geval en is zeer complex. Bovengenoemde casus bevat te weinig informatie om hier concrete uitspraken over te doen. Wel kunnen we kijken naar omstandigheden die relevant zouden kunnen zijn, zoals het feit dat de vals negatief er bij de menselijke controle niet uit is gepikt. Wanneer bijvoorbeeld het protocol of beleid omtrent het gebruik van het AI-systeem niet is gevolgd, zou dit een aanknopingspunt kunnen zijn dat hier niet zorgvuldig is gehandeld [3]. Ook wanneer de hulpverlener Radio AI niet conform de gebruiksinstructies heeft gebruikt, ligt aansprakelijkheid voor de hand.
Hulpzaken
De hulpverlener van ziekenhuis de Linde zou ook nog aansprakelijk kunnen zijn op grond van een risicoaansprakelijkheid: het gebruik van een ongeschikte hulpzaak [4]. Een zaak is ongeschikt wanneer het hulpmiddel niet bijdraagt aan het uitvoeren van de verbintenis, in dit geval: de behandelingsovereenkomst. Hierbij zou bijvoorbeeld kunnen worden gekeken naar de nauwkeurigheid van Radio AI. De nauwkeurigheid zou namelijk iets kunnen zeggen over de mate waarin het systeem kan bijdragen het uitvoeren van de geneeskundige behandelingsovereenkomst [5]. Een lagere nauwkeurigheid betekent echter niet meteen dat er sprake is van ongeschiktheid. Ook hier geldt weer, alle feiten en omstandigheden van het geval moeten in aanmerking worden genomen.
Hierbij is nog goed om te vermelden dat in principe eerst de producent zal moeten worden aangesproken wanneer er sprake is van een gebrek in het product (zie de paragraaf gebrekkigheid).
Centrale aansprakelijkheid van de zorginstelling
In principe kan een werkgever worden aangesproken, wanneer een werknemer tijdens zijn werkzaamheden schade veroorzaakt aan derden [6]. Specifiek voor de zorg geldt daarnaast de zogenaamde centrale aansprakelijkheid. Wanneer er sprake is van een geneeskundige behandelingsovereenkomst en een fout van de hulpverlener kan in sommige gevallen ook het ziekenhuis worden aangesproken. Dit is mede afhankelijk van de partij waarmee de geneeskundige behandelingsovereenkomst wordt aangegaan: de individuele zorgverlener of de zorginstelling.
Gebrekkigheid (het systeem)
Wanneer Ziekenhuis de Linde Radio AI zelf heeft ontwikkeld en op de markt aanbiedt, kan het ziekenhuis mogelijk ook op grond van de productaansprakelijkheidsregels worden aangesproken. Let op: als ziekenhuis zal je ook als fabrikant kwalificeren wanneer je een ingekocht AI-systeem onder eigen naam of merk gebruikt of een AI-systeem substantieel wijzigt.
De productaansprakelijkheidsrichtlijn wordt namelijk herzien zodat ook AI onder deze wetgeving valt [7]. De richtlijn moet eerst nog definitief worden vastgesteld en worden omgezet in nationale wetgeving. Daarnaast zal de toekomstige AI liability directive van belang zijn [8]. Hierin worden bepaalde bewijsvermoedens vastgelegd, zie onze eerdere blog voor meer informatie over de AI liability directive.
Een fabrikant is aansprakelijk voor een gebrek in zijn product. Een product is gebrekkig wanneer het niet de veiligheid biedt die men daarvan mag verwachten [9]. Omstandigheden die hierbij in aanmerking moeten worden genomen zijn de presentatie van het product, het redelijkerwijs verwachten te gebruik en het tijdstip waarop het in het verkeer is gebracht. Wanneer een product niet voldoet aan de wettelijk gestelde eisen, zal aansprakelijkheid voor de daardoor geleden schade snel worden aangenomen. Wanneer blijkt dat ziekenhuis de Linde niet voldoet aan de vereisten van de AI Act of andere wetgeving zoals de MDR, bijvoorbeeld het vereiste van post market monitoring, en daardoor een bepaalde bug niet gesignaleerd is en opgelost, en als gevolg hiervan schade is ontstaan, zal aansprakelijkheid voor de hand liggen.
Conclusie
Kortom, het vaststellen van wie er aansprakelijk is bij het gebruik van een AI-systeem, kan een ingewikkelde puzzel zijn. Het is als zorginstelling belangrijk om bewust te zijn van de aansprakelijkheidsrisico's die het gebruik van AI met zich meebrengen. Hieronder een aantal takeaways om hier een goede start mee te kunnen maken:
- Wees alert op het feit dat wanneer je een AI-systeem zelf ontwikkelt, een bestaand AI-systeem onder eigen naam of merk in gebruik neemt of het AI-systeem ingrijpend wijzigt, je kwalificeert als fabrikant onder de productaansprakelijkheidsrichtlijn en in het geval van een fout in het AI-systeem, aansprakelijk kan worden gesteld. Houd bij het opstellen van de contracten met afnemers dan ook rekening met dit risico en maak afspraken over de aansprakelijkheid.
- Check, als zorginstelling, de dekking van je verzekering en of deze ook schade dekt veroorzaakt door AI-systemen.
- Volg bij gebruik van een AI-systeem de gebruiksinstructies zoals beschikbaar gesteld door de aanbieder van een AI-systeem. Wanneer het AI-systeem niet conform de gebruiksinstructies is gebruikt, is het moelijker(er) aan te tonen dat zorgvuldig is gehandeld.
- Wees bij het sluiten van overeenkomsten met AI-leveranciers, alert op beperkingen op de aansprakelijkheid.
- Als je als zorginstelling een AI-systeem inkoopt, is het van belang om te controleren of de aanbieder in het bezit is van de (juiste) technische documentatie en of er een CE-markering is aangebracht op het AI-systeem. Wanneer je dit niet controleert, voldoe je niet aan je zorgplicht als zorginstelling en kan dit leiden tot aansprakelijkheid wanneer er een gebrek ontstaat.
- Op grond van de AI Act rusten op de zorginstelling, als gebruiker van AI, concrete verplichtingen zoals het uitvoeren menselijke controle. Zorg dat je als zorginstelling aan deze vereisten voldoet. Stel daarnaast beleid op voor het zorgvuldig gebruik van AI binnen de organisatie en zorg dat de organisatie bekend is met het beleid en deze ook volgt. Controleer onder andere of het beleid goed aansluit bij de gebruikersinstructies van de gehanteerde AI-systemen.
Mocht je vragen hebben over aansprakelijkheid omtrent AI-systemen, schroom dan niet om contact op te nemen. Bij ICTRecht denken we graag met je mee.
[1] Artikel 7:453 WGBO.
[2] Artikel 1 lid 1 Wkkgz. Zie ook: HR 9 november 1990, ECLI:NL:HR:1990:AC1103.
[3] HR 2 maart 2011, ECLI:NL:HR:2001:AB0377. Hier motiveerde de Hoge Raad dat wanneer niet wordt gemotiveerd waarom wordt afgeweken van het protocol, afhankelijk van de omstandigheden van het geval dit als een toerekenbare tekortkoming kan gelden.
[4] Artikel 6:77 BW.
[5] J. van Staalduinen, ''Medische aansprakelijkheid en AI: Welke wegen leiden naar Rome? Overzicht, analyse en vraagstukken'', Nederlands Juristenblad afl. 32, p. 2576.
[6] Dit is vastgelegd in artikel 6:170 BW. Wanneer er sprake is van een opdrachtnemer – opdrachtgever relatie geldt artikel 6:76 BW (aansprakelijkheid voor hulppersonen).
[7] Voorstel voor een richtlijn van het Europees Parlement en Raad inzake aansprakelijkheid voor producten met gebreken,COM(2022) 495 final.
[8] Richtlijn van het Europees Parlement en Raad betreffende de aanpassing van regels inzake niet-contractuele civielrechtelijke aansprakelijkheid aan artificiële intelligentie (AI),COM(2022) 496 final.
[9] Artikel 6:186 BW.
