Wat is er nodig om als hoogrisico AI compliant te zijn met de AI Act?

Terwijl de inkt van de AI Act nog droogt, staan bedrijven en ontwikkelaars die werken met hoogrisico AI-systemen voor de uitdaging om hun processen en producten in lijn te brengen met deze nieuwe en ingrijpende regelgeving. De AI Act brengt een nieuw tijdperk van compliance en verantwoordelijkheid. Maar wat betekent dit concreet voor de praktijk? Hoe zorg je ervoor dat je AI-toepassingen niet alleen innovatief en effectief zijn, maar ook volledig voldoen aan de wettelijke vereisten? In dit artikel ontrafelen we de complexiteit van de AI Act en bieden we een helder overzicht van wat er nodig is om als hoogrisico AI compliant te zijn.

De betekenis van compliance

De AI Act gaat uit van een formeel proces van compliance. Zaken als zelf risico’s inschatten of beoordelen of “genoeg gedaan” is om de gevolgen te beperken is er niet bij. De definitie van AI is recht omlijnd, de verboden praktijken en de hoogrisicotoepassingen staan letterlijk opgesomd, en ook wat je moet doen als je hoogrisico bent, staat opgesomd. Compliance is dus vooral een kwestie van het netjes en volledig doen. Dat wil alleen niet zeggen dat het eenvoudig is!

De AI Act benoemt in Afdeling 2 acht aspecten waar hoogrisico-systemen aan moet voldoen. Vervolgens wordt in Afdeling 3 opgesomd welke plichten door welke partij moeten worden nageleefd. Ter herinnering: de ‘aanbieder’ (Engels: provider) is de partij die een AI op de markt brengt, en de ‘exploitant’ (Engels: deployer) de partij die deze daadwerkelijk inzet. Ik vat het even voor je samen:

1. Artikel 8: Raamwerk voor compliance
2. Artikel 9: Systeem voor risicobeheer
3. Artikel 10: Data en Governance
4. Artikel 11: Documentatie
5. Artikel 12: Registratie en logging
6. Artikel 13: Transparantie naar Gebruikers toe
7. Artikel 14: Menselijk Toezicht
8. Artikel 15: Betrouwbaarheid en Veiligheid

Het raamwerk voor compliance

“AI-systemen met een hoog risico moeten voldoen aan de eisen van deze afdeling, rekening houdend met hun beoogde doelen en de algemeen erkende stand van de techniek op het gebied van AI en AI-gerelateerde technologieën.” Dat is de openingszin van artikel 8 lid 1 AI Act. Deze bepaling vereist dat ontwikkelaars en implementators van AI niet alleen systemen ontwerpen met het oog op huidige technologische standaarden maar ook anticiperen op toekomstige ontwikkelingen.

Bij dit op compliance gericht ontwerp speelt ook het systeem voor risicobeheer een rol. Artikel 9 van de AI Act introduceert het concept van een risicomanagementsysteem. Dit systeem moet niet alleen worden opgezet en onderhouden, maar moet ook gedocumenteerd zijn en continu worden bijgewerkt doorheen de volledige levenscyclus van een AI-systeem. Het begrip ‘risico’ is breed: risico's kunnen zowel voortvloeien uit het beoogde gebruik van het AI-systeem als uit "redelijkerwijs voorzienbaar misbruik". Dit betekent dat je verder moet kijken dan de directe toepassing en moeten anticiperen op hoe een systeem op onbedoelde wijzen kan worden gebruikt of misbruikt.

Risicomanagement houdt niet op bij een analyse voor het product de markt op gaat. Ook na marktintroductie kunnen risico’s zich voordoen, en daar moet je dan zowel als exploitant als aanbieder op monitoren (het postmarktmonitoringsysteem). Het liefst ontdek je het natuurlijk vooraf: uitgebreid testen en evalueren is dus een vereiste.

Aldus ontdekte risico’s moeten natuurlijk worden aangepakt. Dit leidt tot allerlei zogeheten risicobeheersmaatregelen, die uiteindelijk als doel hebben dat eventuele restrisico’s acceptabel zijn. Als sluitstuk kun je dan een verzekering overwegen voor de gevolgen van risico’s die zich toch voordoen.

Data en datagovernance

Veel zorgen over AI gaan over het onderwerp ‘bias’ of vooringenomenheid, waarbij AI systemen besluiten nemen over mensen of handelen tegen mensen waarbij onderscheid wordt gemaakt op ongepaste kenmerken zoals etnische afkomst. Er kunnen zich veel meer dingen voordoen die te herleiden zijn tot problemen met de data waarmee AI systemen worden getraind.

Datasets (in het Nederlands: datareeksen) voor training, validatie en tests op hoogrisico-AI moeten voldoen aan bepaalde kwaliteitscriteria, aldus artikel 10. De wet kent geen harde testcriteria, maar houdt het bij “stroken met het beoogde doel van het AI-systeem met een hoog risico”. Meer specifiek: je data moet “voldoende representatief, en zoveel mogelijk foutenvrij en volledig met het oog op het beoogde doel” zijn, en bovendien de “passende statistische kenmerken” hebben. Er zijn helaas nog geen keurmerken waarmee je snel kunt zien of een openbare dataset hieraan voldoet.

Wat betekent dit nu? Je moet als aanbieder beleid uitwerken over datakwaliteit bij jouw AI systeem die onder meer meenemen:

• de relevante ontwerpkeuzes;
• de oorsprong van de data en, in het geval van persoonsgegevens, het oorspronkelijke doel van de dataverzameling;
• relevante verwerkingsactiviteiten voor datavoorbereiding, zoals annotatie, etikettering, opschoning, actualisatie, verrijking en aggregatie;
• het opstellen van aannames, met name met betrekking tot de informatie die de data moeten meten en vertegenwoordigen;
• een beoordeling van de beschikbaarheid, kwantiteit en geschiktheid van de datareeksen die nodig zijn;
• een beoordeling met het oog op mogelijke bias die waarschijnlijk gevolgen hebben voor de gezondheid en de veiligheid van personen, nadelige effecten hebben op de grondrechten, of leiden tot discriminatie die op grond van het Unierecht verboden is, vooral wanneer data-outputs invloed hebben op inputs voor toekomstige operaties;
• het identificeren van relevante leemten of tekortkomingen in de data die naleving van deze verordening in de weg staan, en de manier waarop deze leemten en tekortkomingen kunnen worden aangepakt.

Het opsporen van bias is een lastige, omdat de AVG verwerking van de hiervoor benodigde bijzondere persoonsgegevens verbiedt. De AI Act doet iets bijzonders: die schept een rechtsgrond om dat wél te mogen doen, mits strikt noodzakelijk om opsporing en correctie van bias te waarborgen. De hoogste waarborgen tegen misbruik zijn dan nodig en aangetoond moet worden dat er geen andere optie is.

De documentatie

Artikel 11 van de AI Act concentreert zich op een cruciale pijler voor het waarborgen van compliance met de regelgeving: technische documentatie. Deze documentatie fungeert als een gedetailleerde weergave van hoe een hoogrisico AI-systeem is ontwikkeld, hoe het functioneert, en hoe het voldoet aan de wettelijke vereisten. En die moet worden opgesteld voordat dat systeem op de markt wordt gebracht of in gebruik wordt genomen, en natuurlijk wordt die up-to-date gehouden.

De documentatie dient als bewijs van compliance, niet alleen voor toezichthoudende instanties, maar ook voor de ontwikkelaars en gebruikers van het systeem. De AI Act stelt specifiek dat de documentatie "op zodanige wijze moet worden opgesteld dat zij aantoont dat het hoogrisico-AI-systeem voldoet aan de in deze Afdeling vastgestelde eisen en de nationale bevoegde autoriteiten en aangemelde instanties de nodige informatie verschaft in een duidelijke en begrijpelijke vorm om de naleving van het AI-systeem met die eisen te beoordelen".

Voor gebruikers en exploitanten is de documentatie tevens van belang omdat deze voorschrijft wat het beoogde gebruik is, welke beperkingen daarop zitten en welke risico’s er redelijkerwijs te verwachten zijn, zowel bij beoogd gebruik als bij te verwachten misbruik. Hierop moet(!) de exploitant inspelen, bijvoorbeeld door gebruikers te trainen of om te voorkomen dat uitvoer wordt gebruikt op een risicovolle manier.

De wet specificeert dat "de technische documentatie [...] ten minste de elementen bevat die zijn vastgesteld in Bijlage IV". Deze bijlage biedt een gedetailleerde checklist van vereisten, waaronder een beschrijving van het systeem, de dataset, en de maatregelen die zijn genomen om risico's te beheren en de privacy te beschermen.

Aanverwant aan documentatie zijn de logs. Automatische event logging is essentieel voor het waarborgen van traceerbaarheid en verantwoording. Artikel 12 stipuleert dan ook dat "hoogrisico-AI-systemen technisch in staat moeten zijn om gebeurtenissen automatisch te registreren ('logs') over hun levensduur". Logging gebeurt in principe bij de exploitant, die de logs dan zes maanden moet bewaren en bij melden van incidenten deze moet overleggen.

Transparantie en uitleg

Artikel 13 van de AI Act regelt transparantie en het verstrekken van informatie aan de exploitanten van hoogrisico AI-systemen. Het artikel stelt dat deze systemen zo moeten worden ontworpen en ontwikkeld dat hun werking voldoende transparant is om hen in staat te stellen de output van het systeem te begrijpen en op een passende wijze te gebruiken. Dit vereist in ieder geval “gebruiksinstructies in een passend digitaal of ander formaat dat beknopte, volledige, juiste en duidelijke informatie bevatten die relevant, toegankelijk en begrijpelijk is voor exploitanten.” Dit zorgt ervoor dat degenen die de systemen gebruiken, niet alleen weten hoe ze moeten worden bediend, maar ook begrijpen onder welke voorwaarden en met welke verwachtingen ze het meest effectief en veilig zijn.

Verder specificeert het artikel dat de instructies voor gebruik ten minste de volgende informatie moeten bevatten:

• De identiteit en contactgegevens van de provider en, waar van toepassing, van diens gemachtigde vertegenwoordiger.
• De kenmerken, capaciteiten en beperkingen van de prestaties van het hoogrisico AI-systeem, met onder meer:
  • Het beoogde doel.
  • Het niveau van nauwkeurigheid, robuustheid en cybersecurity tegen welke het hoogrisico AI-systeem is getest en gevalideerd.
  • Elke bekende of voorzienbare omstandigheid die kan leiden tot risico's voor de gezondheid, veiligheid of fundamentele rechten.
  • Eisen aan de invoerdata voor een betrouwbare uitkomst.
• Informatie over de technische capaciteiten en eigenschappen van het systeem die relevant zijn om de output te verklaren.

Een specifiek recht van uitleg staat overigens een heel eind verderop. Als iemand een juridisch bindend of anderszins zwaarwegend besluit opgelegd krijgt van een AI, dan heeft hij recht op concrete stap-voor-stap uitleg van het wat en hoe (artikel 86). Het is onduidelijk in hoeverre de AVG dit recht al kent, maar voor de zekerheid is dit expliciet in de AI Act opgenomen.

Menselijk toezicht

AI-systemen met een hoog risico worden zodanig ontworpen en ontwikkeld, met inbegrip van passende mens-machine-interface-instrumenten, dat hierop tijdens de periode dat zij worden gebruikt, op doeltreffende wijze toezicht kan worden uitgeoefend door natuurlijke personen. Aldus artikel 14, dat hiermee het vakgebied van de mens-computer interactie in één klap voorop zet bij de compliance afdeling.

Het spiegelbegrip van autonomie is natuurlijk toezicht. Wie hoog-risico AI op de markt brengt, moet zorgen dat effectief toezicht mogelijk is (artikel 14). En wie het inzet, moet ook daadwerkelijk dat toezicht realiseren (artikel 26(2)) en daarbij gebruik maken van mensen die de benodigde competenties en training hebben.Gebruikelijk is te werken met drie vormen van toezicht:

• Human-in-the-loop (HITL): Bij deze vorm is een mens direct betrokken bij het ondernemen van acties en heeft het AI-systeem weinig autonomie. Alles dat de AI doet, moet door de mens bevestigd worden.
• Human-On-The-Loop (HOTL): Een mens bewaakt het besluitvormingsproces van het AI-systeem, en kan dus ingrijpen, maar het AI-systeem heeft primaire controle over de ondernomen acties.
• Human-In-Command (HIC): Een mens stelt de doelen, definieert de regels en neemt de uiteindelijke beslissing, terwijl het AI-systeem fungeert als een ondersteunend hulpmiddel dat informatie en aanbevelingen geeft.

De AI Act schrijft niet één middel voor, want elk middel heeft zijn eigen voor- en nadelen, afhankelijk van de situatie. Bij een gebouwbewakingssysteem zou HOTL bijvoorbeeld prima zijn, maar voor een chirurgische robot zou HIC een betere keuze zijn. HITL ligt voor de hand als er juridisch getinte besluiten genomen moeten worden, maar heeft als nadeel dat er dan weinig tijdswinst gehaald wordt omdat alles nagelopen moet worden voordat het uit kan.

Een risico van toezicht is dat het kan verworden tot simpel jaknikken, zeker als je het verkeerd inzet (toezicht "omdat het moet") en geen maatregelen neemt om het toezicht effectief te laten blijven, ook na vele maanden van bewezen kwaliteit van het AI systeem. Een vereiste voor exploitanten is dan hier maatregelen tegen te nemen. Denk aan het af en toe opzettelijk invoegen van een vals positief om te zien hoe de toezichthouder reageert, of het tussentijds onderbreken van het analyseproces om de toezichthoudende mens te vragen om tussentijdse feedback.

Voor die mensen is er ook goed nieuws: ze mogen pas aan het werk als ze adequaat getraind zijn en weten hoe ze om moeten gaan met de problemen en te verwachten tekortkomingen.

Nauwkeurigheid, robuustheid en cyberbeveiliging

Als sluitstuk aan de eisen voor hoogrisico AI volgen nog een aantal technische eisen. Artikel 15 van de AI Act noemt dit “nauwkeurigheid, robuustheid en cybersecurity”, en verklaart ze essentieel voor het functioneren van hoogrisico AI-systemen. Dergelijke systemen moeten worden ontworpen en ontwikkeld om een passend niveau van deze drie kenmerken te bereiken en te handhaven gedurende hun gehele levenscyclus (“by design”). Om dit vast te stellen, zal de Europese Commissie nadere metrics en benchmarks laten ontwikkelen.

De AI Act onderkent verder de cruciale rol van cybersecurity in het veilig en betrouwbaar houden van hoogrisico AI-systemen. Artikel 15 specificeert dat deze systemen "zoveel mogelijk veerkrachtig moeten zijn tegen pogingen van onbevoegde derden om hun gebruik, output of prestaties te wijzigen door het uitbuiten van systeemkwetsbaarheden". Dit vereist dat ontwikkelaars en gebruikers van AI-systemen proactieve maatregelen implementeren om de integriteit en beveiliging van hun systemen te beschermen tegen cyberdreigingen. Deze is sterk vergelijkbaar met de beveiligingseis uit de AVG (artikel 32).

In Europees verband wordt parallel gewerkt aan de Cyber Resilience Act, een verordening die algemene regels stelt over de cybersecurity van ict-systemen. Ook hier volgen compliance-vereisten uit en wordt een meetkader gesteld. Wie aan de CRA voldoet (wanneer deze aangenomen is en die kaders gesteld zijn) voldoet tegelijkertijd aan de veiligheidseisen van de AI Act.

Het pad naar compliance

De aanbieder heeft als primaire taak te zorgen dat het systeem aan al deze eisen voldoet, althans daarvoor geschikt is. Menselijk toezicht is immers iets dat je pas in de praktijk kunt hanteren, maar het systeem moet wel de mogelijkheid van toezicht en ingrijpen bieden bijvoorbeeld. Hetzelfde geldt voor logging: de exploitant kiest wanneer er wordt gelogd, maar de aanbieder moet inbouwen dat er kán worden gelogd (en instelbaar is wat).

Naast deze partijen zijn er nog de distributeur en de importeur, die allebei schakels vormen in de marktintroductie van aanbieder naar exploitant. Deze moeten primair controleren dat het systeem voldoet, en met name de documentatie doorleveren aan verdere schakels, maar krijgen zelf geen taken op het gebied van compliance op zich.

Bepaal snel of de AI Act in jouw situatie van toepassing!

Doe de AI checklist