Verhoogd risico: wanneer valt een AI onder de AI Act?

Artificial Intelligence - Blog / 12 September 2023

De precieze details moeten nog worden uitgemaakt, maar dat de AI Act er gaat komen is wel duidelijk – en per 1 januari 2024 ook nog. Dat roept de vraag op: welke eisen krijg je dan als je een AI hebt, en meer algemeen wanneer je systeem “AI” te noemen is. In deze blog zetten we alles op een rijtje.

Definitie van AI

Al sinds de jaren vijftig woedt er een debat over wat nu precies AI is. Er zijn immers duizenden, zo niet honderdduizenden technologieën die je ‘intelligent’, ‘slim’ of iets dergelijks kunt noemen. De Europese Commissie probeerde het in eerste instantie met een lijst van technieken, maar daar konden al direct enorme gaten in geschoten worden. De huidige aanpak focust op de wijze van inzet: een systeem dat met enig niveau van autonomie opereert en waarvan de uitvoer direct invloed heeft op de fysieke of virtuele omgeving.

Deze definitie is nog steeds breed, maar heeft als voordeel dat het er niet toe doet of je een pulserend neuraal netwerk opzet of een Bayesiaans filter. Ook maakt het niet uit of het systeem in een rondlopende robot zit, in een juridisch beslissysteem als plugin of in een sociaal netwerk als nieuwsfilter. Waar het om gaat, is welke mate van menselijke invloed er is en wat er gebeurt met de uitvoer.

Dit is natuurlijk enorm breed: vrijwel alles dat wij vandaag “AI” noemen, valt onder deze omschrijving. En dat is natuurlijk ook precies de bedoeling, want het gaat erom de risico’s van AI in zijn algemeenheid te reguleren en zo te beperken.

Drie risiconiveaus

Bovenstaande wil niet zeggen dat een Word-plugin die teksten herschrijft hetzelfde wordt behandeld als een killer robot. De AI Act onderscheidt namelijk drie risiconiveaus:

Onacceptabel risico: deze vormen van AI mogen niet op de markt in Europa.
Hoog risico: deze vormen van AI worden streng gereguleerd.
Laag risico: deze vormen van AI krijgen basisregels mee maar zijn verder vrij.

Hoe weet je nu op welk niveau jouw AI wordt ingeschaald?

De onacceptabel-risicosystemen worden letterlijk in de wet genoemd. Het gaat dan om manipulatieve systemen en systemen die misbruik maken van zwakheden van mensen, biometrie, social credit scoring en bepaalde inzet van AI door politie en justitie. Over de exacte tekst wordt nog gesteggeld, maar dit zal een afgebakende groep opleveren.

Ook op zich duidelijk afgebakend zijn de laag-risicosystemen: dit zijn alle AI-systemen die geen onacceptabele en geen hoge risico’s hebben. Deze krijgen basale transparantieverplichtingen, en dat was het dan. De grote vraag voor de praktijk is dus wanneer een systeem hoog risico is.

Hoog risico AI

Omdat een classificatie als hoog risico AI behoorlijk wat administratieve overlast met zich meebrengt, is het natuurlijk zaak deze zo helder mogelijk te krijgen. De AI Act hanteert daarbij twee mogelijkheden:

Het AI is een veiligheidscomponent in een ander systeem, dat genoemd is in Annex II en onderworpen is aan specifieke regulering. Voorbeelden zijn liften, persoonlijke veiligheidsproducten, treinen en spoorwegsystemen en vliegtuigen.
Een AI-systeem wordt ingezet voor een toepassing die genoemd is in Annex III en significante risico’s voor mens of maatschappij geeft. Voorbeelden zijn biometrie, AI in kritieke infrastructuur, screening van toegang of voortgang tot onderwijs, AI voor HR-toepassingen en diverse inzet van AI voor rechtshandhaving.

Wie AI’s integreert in gereguleerde producten, heeft dus geen keus: die AI is hoog risico en moet aan alle eisen uit de AI Act voldoen. Wel moet het gaan om een AI als veiligheidscomponent. Een AI die nagaat of een luchtfilter nog goed werkt, voldoet hieraan. Een AI die in de trein nagaat of mensen zich asociaal gedragen, valt er echter buiten. Dat is geen veiligheid van de trein of het spoor zelf.

Bij de tweede mogelijkheid is er nog ruimte voor een weerwoord. De aanbieder, gebruiker of importeur van het systeem moet een inschatting maken of haar inzet van AI voor die toepassing aanleiding geeft tot “significante risico’s”. Als de uitkomst is dat die risico’s er niet zijn, moet dit worden gemeld bij de toezichthouder en is de AI geen hoog risico. Er staan uiteraard boetes op het doen van een bewust onjuiste melding.

Significante risico’s

Hiermee blijft als laatste criterium dus over wanneer een risico “significant” is. Dit zal een van de steviger punten van onderhandeling worden in de laatste fase voor invoering. Het Europees Parlement had een voorzet gedaan:

(1b) ‘significant risk’ means a risk that is significant as a result of the combination of its severity, intensity, probability of occurrence, and duration of its effects, and its ability to affect an individual, a plurality of persons or to affect a particular group of persons;

Deze omschrijving lijkt enigszins op het concept van een hoog risico verwerking van persoonsgegevens uit de AVG (waarbij een DPIA verplicht is). De criteria hiervoor zoals geformuleerd door de Europese privacytoezichthouders zijn helaas niet direct herbruikbaar, zodat hier het wiel echt opnieuw uitgevonden moet worden.

Belangrijk is nog te beseffen dat de AI Act (in het huidige voorstel) de bewijslast bij de aanbieders of importeurs legt. De toezichthouder moet niet aantonen dat er significante risico’s zijn, de aanbieder moet aantonen dat er géén significante risico’s zijn. Als deze dat niet kan (of wil) aantonen, dan wordt de AI dus behandeld als hoog risico. Door deze aanpak is handhaving dus eenvoudiger. En ergens is het ook wel terecht: een aanbieder van een AI systeem zou toch in staat moeten zijn de risico’s van zijn systeem in te schatten.