In een eerdere blog is de AI-leidraad in de zorg globaal behandeld. Vervolgens zijn we dieper in de leidraad gedoken door naar de eerste 3 fasen te kijken. In deze blog worden de laatste 3 fasen uit de leidraad behandeld en kijken we daarna naar de zin (of onzin?) van deze AI-leidraad.
Fase 4: ontwikkeling van de benodigde software
Deze fase heeft betrekking op de verdere ontwikkeling van de software. Het gaat hier om het ontwerp, de ontwikkeling, gebruikerstesten en bijbehorende systeemeisen.
Het is van belang dat de uitkomsten van het AIPA-model (AIPA staat voor Artificial Intelligence Prediction Algorithm) uitlegbaar en transparant zijn. De leidraad maakt een onderscheid tussen een ‘inherent uitlegbaar’ en een ‘complex model’. Maar wat betekent dat? Bij een inherent uitlegbaar model kan er direct geïnterpreteerd worden hoe de modelvoorspellingen tot stand zijn gekomen. De fabrikant moet deze informatie ook beschikbaar maken voor de eindgebruikers. Een complex model kan een algoritme zijn op basis van deep learning. Hiervan wordt ook wel gezegd dat het om een black-box gaat. Het is onduidelijk hoe het algoritme tot een bepaalde uitkomst is gekomen. Wanneer hier gebruik van wordt gemaakt, moet de fabrikant onder andere onderbouwen waarom er niet voor een uitlegbaar model is gekozen. De leidraad benadrukt het belang van de bruikbaarheid van die uitleg voor de eindgebruikers. Zo wordt er bijvoorbeeld geadviseerd om de stakeholders te betrekken bij het ontwerp van de uitleg.
Daarnaast legt de leidraad ook de nadruk op de duidelijkheid van de eigenschappen van de software. Deze eigenschappen dienen de eindgebruikers te kennen en begrijpen. De leidraad geeft zelfs aan dat de informatiebehoefte van de eindgebruikers leidend is in de wijze waarop de eigenschappen worden toegelicht. Vooral in de zorg is het belangrijk dat de kennis er is. Als de arts aan de patiënt niet duidelijk kan uitleggen hoe tot een bepaalde diagnose is gekomen, zal de patiënt misschien wel het vertrouwen in de arts verliezen. Wanneer een arts collegiaal overleg wil voeren, is het van belang dat er zoveel mogelijk details besproken kunnen worden. Vertrouwd raken met het AIPA is dan van essentieel belang.
Wanneer het AIPA vervolgens op de markt is gebracht, is continue monitoring een vereiste. Dit is een onderdeel van het kwaliteitsmanagement en zelfs een vereiste vanuit de MDR. Als aanvulling hierop doet de leidraad nog best wat aanbevelingen. Zo wordt er onder andere aanbevolen om een monitoringsplan op te stellen en een mogelijkheid in de software in te bouwen om te registreren of de eindgebruiker de voorspelling/het advies wel of niet opvolgt.
Voor wat betreft de beveiliging en het testen van de software sluit de leidraad aan bij de bestaande normen en regelgeving en wordt er daarnaast sterk aanbevolen om erop toe te zien dat eindgebruikers ook voldoende kennis hebben over deze normen en regelgeving.
Fase 5: effectbeoordeling van het AIPA in combinatie met de software
In deze fase is er aandacht voor het bepalen van de impact of de meerwaarde van het AIPA in de praktijk.
Een effectbeoordeling van het AIPA is een verplichting om de meerwaarde te toetsen. Daarnaast moet de ontwikkeling en de bijbehorende effectbeoordeling een dusdanig proces zijn waarbij de stakeholders zo vroeg mogelijk betrokken worden. Om dit meer visueel te maken: een effectbeoordeling kan plaatsvinden in een ziekenhuis door het AIPA bijvoorbeeld als een pilot mee te laten draaien in de praktijk van dat ziekenhuis. Het volgende moet dan in kaart gebracht worden: de verwachte effecten, risico-inventarisatie en de mens-machine interactie (dus hoe wordt er geïnteracteerd met de software).
Naast het bovenstaande is er ook een ‘sterk aanbevolen’-aspect in deze fase, namelijk een Health Technology Assessment. Dit houdt in dat er gekeken wordt naar de verwachte kosten en baten van het AIPA in de praktijk ten opzichte van de huidige praktijk. Dus is het AIPA van toegevoegde waarde, of kost het gewoon onnodig veel geld?
Fase 6: implementatie en gebruik van het AIPA met software in de dagelijkse praktijk
Deze fase gaat over de implementatie en het gebruik van het AIPA. Er wordt aandacht besteed aan de implementatie, monitoring en educatie door de zorgorganisatie.
De zorgorganisatie heeft de verantwoordelijkheid om een implementatieplan te schrijven wanneer het AIPA toegepast gaat worden. Hierin geeft de leidraad niet veel handvaten; er wordt een verwijzing gemaakt naar een andere leidraad. Over het implementatieproces wordt wel meer toelichting gegeven: de betrouwbaarheid en toepasbaarheid van het AIPA moet geëvalueerd worden en het AIPA moet op een gecontroleerde wijze worden geïntroduceerd. De evaluatie vindt plaats door de resultaten van eerdere studies te beoordelen. Geeft dit nou een onvoldoende indicatie, dan kan er een aanvullende validatie worden uitgevoerd. De gecontroleerde introductie kan bewerkstelligd worden door eerst een pilot-fase te starten en het traditionele proces ernaast te laten draaien.
Een ander moetje is een prospectieve risico-inventarisatie. Hierin worden de mogelijke risico’s in kaart gebracht: wat is de medische relevantie van die fout en hoe groot is de kans dat die fout optreedt?
Nu denkt u misschien; wie gaat dit allemaal doen, de zorg is al druk genoeg! De leidraad geeft aan dat er binnen de zorgorganisatie een implementatieteam aangewezen moet worden. Dit team moet ook opgenomen worden in het implementatieplan. De leidraad stelt voor dat dit team divers is, dus met multidisciplinaire achtergronden. Of dit in de praktijk ook daadwerkelijk lukt is nog maar de vraag.
Naast gebruik in een zorgorganisatie, kan het AIPA ook ingezet worden in de thuissituatie. In die gevallen is het bovenstaande niet nodig.
Dan komen we aan bij het tweede punt uit deze fase: monitoring. Monitoring is van belang om de veiligheid en de effectiviteit op de langere termijn te kunnen waarborgen. De fabrikant is verplicht om het AIPA te blijven monitoren op technische fouten, foutief gebruik, foutieve voorspellingen, fairness en onverwachte neveneffecten. Zo kent de MDR een post-market surveillance plan. Enkel voldoen aan die eisen is niet voldoende. In het plan moet ook aandacht worden besteed aan onder andere de monitoring van de punten die hiervoor genoemd zijn.
De verantwoordelijkheid voor de monitoring ligt niet volledig bij de fabrikant. De zorgorganisatie heeft de verantwoordelijkheid om de juiste werking en het juiste gebruik blijvend te monitoren. Hiervoor dient de zorgorganisatie een monitoringsplan op te stellen.
Naast dat er genoeg aandacht moet zijn voor de implementatie en de monitoring van het AIPA, is het ook van belang dat de eindgebruikers over voldoende kennis beschikken. De zorgverlener moet toegang hebben tot onderwijs over onderwerpen als wetgeving, technisch beheer, resultaten over uitgevoerde evaluaties en beoordelingen, kosten en baten en ethische overwegingen. Voor patiënten (en zorgverleners) is het onder andere van belang dat zij toegang hebben tot de gebruikshandleidingen, de interpretatie van de uitkomsten van het AIPA en de mogelijke fouten die gemaakt kunnen worden.
AI-leidraad: zin of onzin?
De AI-leidraad is een flink pakket met moetjes en aanbevelingen, maar is het nou een zinvol document en voegt het wat toe? Als je als zorgorganisatie of fabrikant een groentje bent, dan ja. De lezer wordt namelijk bij de hand genomen in het proces en er wordt stilgestaan bij veel verplichtingen. In één document wordt een overzicht geboden van veel (maar niet alle) verplichte wet- en regeling en normen. Maar de echte diepgang en de uitleg van hoe bepaalde elementen nou precies toegepast en uitgewerkt moeten worden, ontbreekt. Wanneer uw kennis dus al wat verder reikt, is deze leidraad voor u geen toevoeging meer. Het kan u wel helpen om bepaalde normen of wetten te ontdekken die u misschien niet kende om vervolgens zelf de verdieping in deze wetten en normen op te zoeken. Maar uit de praktijk blijkt dat de knelpunten juist net liggen in die verdieping en de vertaling ervan naar de praktijk.
Bent u verdwaald geraakt in het bos van de juridische taal, of staat u juist aan het begin en ziet u nu al door het bomen het bos niet meer? Neem dan contact met ons op, wij denken graag met u mee.
Meer lezen over dit onderwerp? Lees verder:
