Wat voor voorbereidend werk moet u doen als u een AI-voorspelmodel ontwikkelt? In een eerdere blog zijn we al globaal gedoken in de Leidraad kwaliteit AI in de zorg. De leidraad maakt onderscheid tussen eisen en aanbevelingen. Er worden 6 fasen benoemd voor de ontwikkeling, validatie en implementatie van AI-voorspelmodellen (‘AIPA’). In deze blog gaan we wat dieper in op de eerste 3 fasen.
Fase 1: voorbereiding en controle van de benodigde data en gegevens
In fase 1 verzamelt en beheert u de data die nodig zijn in de overige fasen. Deze fase draait eigenlijk om het opstellen, beheren en uitvoeren van een datamanagementplan. In zo een plan worden de afspraken, overeenkomsten en procedures vastgelegd. Allemaal met betrekking tot de data: het verzamelen, opslaan en de toegankelijkheid ervan.
De leidraad onderscheidt 4 kerndomeinen die in het plan moeten worden opgenomen:
- juridische randvoorwaarden;
- dataverzameling;
- metadata;
- beschikbaarheid data.
Nu denkt u misschien: maar in elke fase heb ik verschillende vormen van data nodig, hoe maak ik dan een sluitend plan? Het is de bedoeling dat voor elke fase waar data wordt verzameld een (nieuwe versie van het) datamanagementplan wordt opgesteld. Laten we wat dieper ingaan op de kerndomeinen.
1. Juridische randvoorwaarden
Er moet beschreven worden welke nationale en Europese wet- en regelgeving van toepassing zijn. Hierbij kan gedacht worden aan de MDR, WGBO, WBNI, WMO en AVG. Wel moet je alsnog zelf aan de bak om de nodige overlap in de wet- en regelgeving te identificeren, om dubbel werk te voorkomen. Gaat u daarnaast samenwerken met (een) andere organisatie(s) of gaat u gebruikmaken van data van derden? Vergeet dan de verwerkersovereenkomst niet!
In de leidraad wordt sterk aanbevolen dat u ook informatiebeveiligingsmaatregelen neemt. Denk hierbij aan ISO 27001 of de vertaling daarvan naar de Nederlandse zorgpraktijk: NEN 7510.
2. Dataverzameling
Zoals eerder aangegeven moet de dataverzameling nauwkeurig en gedetailleerd worden vastgelegd in een datamanagementplan. Hierin moet de herkomst van de data, het originele doel, de context van de dataverzameling en de procedures van metingen en registratie van de data vermeld worden. Voor de privacy van de personen waar data van is verkregen geldt dat de AVG leidend is. Maar de dataverzameling kan onder de Wet medisch-wetenschappelijk onderzoek met mensen (WMO) vallen. Dan is het belangrijk om te weten dat een erkende medisch-ethische toetsingscommissie het onderzoek vooraf moet toetsen.
De leidraad beveelt op dit punt sterk aan dat een privacy-deskundige wordt geraadpleegd om de plannen te laten toetsen. Er zitten haken en ogen aan het delen van medische gegevens. Denk daarbij bijvoorbeeld aan het beroepsgeheim, maar ook aan de regels wanneer het niet onder de WMO valt. De details hiervan worden niet gedeeld in de leidraad, dus eigen actief onderzoek naar het onderwerp is nodig.
3. Metadata
Waar het hier in essentie eigenlijk om gaat, is dat het voor de stakeholders voldoende transparant en duidelijk is welke data is verzameld. In het datamanagementplan moet er een gedetailleerde beschrijving worden opgenomen van de metadata. Wat is dan het verschil tussen metadata en data? Metadata is eigenlijk data over data. Het is data die de karakteristieken van de verzamelde data inzichtelijk maakt.
4. Beschikbaarheid data
In het datamanagementplan moet verder duidelijk de beschikbaarheid van de data uiteengezet worden. Denk hierbij aan het vastleggen welke afspraken er zijn over de opslag van de gebruikte data, wanneer u data beschikbaar stelt aan derden. Ook hier moet vastgelegd worden hoe er wordt voldaan aan de geldende wet- en regelgeving.
Fase 2: ontwikkeling van het voorspellend AI-algoritme
Fase 2 gaat over het ontwikkelen van het AIPA-model. In de leidraad wordt geadviseerd om een gestandaardiseerd stappenplan te gebruiken voor de vastlegging van de ontwikkelingsstappen, procedures en resultaten van de interne validatie. Het is erg belangrijk dat u het doelgebruik van het AIPA duidelijk definieert en vastlegt. Wanneer de gebruikte data niet representatief is, moet dit ook gedocumenteerd en onderbouwd worden.
Verder moet de technische robuustheid van het AIPA-model worden onderzocht. De bevindingen van dit onderzoek moeten transparant worden vastgelegd. Het wordt aanbevolen om diverse sensitiviteitsanalyses uit te voeren. De leidraad geeft als voorbeeld analyses van de:
-
- Architectuur robuustheid: het herhalen van de analysestappen op dezelfde data zodat het model niet te veel afwijkt van het oorspronkelijke model.
- Consistentie van modelvoorspellingen: het herhalen van de analysestappen op dezelfde data zodat de voorspellingen niet veel afwijken van de voorspellingen uit het oorspronkelijke AIPA.
- Adversarial robuustheid: de invloed van het (opzettelijk) verstoren van de inputvariabelen.
- Domeinshift en outliers: de invloed van outliers in de data of bewuste verandering van de dataset.
Voor de ontwikkeling van het AIPA moet(en) er (een) dataset(s) gekozen worden. Hier is het uitgangspunt hoe groter de set, hoe beter.
Fase 3: validatie van het voorspellende algoritme
In fase 3 gaat het om het (extern) valideren van de ontwikkelde AIPA. Hiermee wordt de evaluatie van de voorspellingen van het AIPA-model bedoeld. Hier wordt een andere dataset voor gebruikt. Er wordt onderscheid gemaakt tussen de voorspellende waarden, de evaluatie van de (meer)waarde ten opzichte van de huidige zorgpraktijk en de evaluatie van fairness en algoritmische bias. Dit laatste houdt in dat de eerlijkheid en bias worden geëvalueerd. De aanwezigheid van bias die kan leiden tot ongunstige uitkomstenongelijkheden, moet worden onderzocht en ook worden vastgelegd. De fairness wordt onderzocht door eerst hypotheses te formuleren over groepen die ongelijk behandeld zouden kunnen worden en deze hypotheses vervolgens te onderzoeken.
De uitkomst van deze externe validatie kan zijn dat er een complete of gedeeltelijke her-training van de ontwikkelde AIPA nodig is. Ook in deze fase is het van belang dat het gevolgde proces en de gebruikte data volledig en transparant worden vastgelegd.
Wordt vervolgd…
Hierboven zijn de eerste 3 fasen uit de leidraad inhoudelijk bekeken. In de volgende blog zullen we de laatste 3 fasen bekijken.
Meer lezen over dit onderwerp? Lees verder:
