Met de AI Act aan de slag: hoe voer ik een Fundamental Rights Impact Assessment uit?

Nu de AI Act weer een stap dichterbij is, wordt het tijd de verplichtingen uit deze nieuwe Europese wet eens nader onder de loep te nemen. Wie een hoog risico AI-systeem heeft, krijgt namelijk een hele berg eisen over zich heen. Die zijn bedoeld om de risico’s te mitigeren en te zorgen dat het systeem geen rare dingen gaat doen. Eén aspect springt er daarbij uit: het moeten uitvoeren van een Fundamental Rights Impact Assessment of FRIA. Waar gaat dat om?

Impact op fundamentele rechten

Impact Assessments zijn systematische evaluaties van de consequenties – met name risico’s – van een nieuw systeem of activiteit. Bekend is natuurlijk de Data Protection Impact Assessment (DPIA) uit de AVG. Wie met de Sustainable Development Goals (SDG) werkt, kent de Social Impact Assessment (SIA). En zo zijn er nog wel meer te noemen.
Bij invoering van de AI Act kwam vanuit het Europees Parlement het idee om een variant hiervoor in te voeren die gericht is op het beheersen van risico’s voor fundamentele rechten. Dit is zeg maar de EU term voor grondrechten, maar het is breder: ook zaken als milieuconsequenties vallen eronder. De eis voor een FRIA is ingegeven door zorgen over bijvoorbeeld discriminatie of misbruik van persoonsgegevens, maar indirect ook door zaken als het enorme energieverbruik bij het maken van AI-modellen of het weg automatiseren van banen.

De FRIA-verplichting kreeg forse tegendruk. Critici wezen onder meer op de enorme administratieve last; impact assessments worden vaak ingevoerd als een papieren documentje dat op de valreep nog even ingevuld moet worden, maar uiteraard met de ondertoon dat we wél morgen de markt op gaan. (Meelezende privacy officers kunnen dit beamen.) Ook werd veel gewezen op de komende Corporate Sustainability Due Diligence-richtlijn (CSDDD), die eveneens verplichtingen bevat om due diligence op het gebied van de mensenrechten en het milieu uit te voeren. Deze zal echter pas op zijn vroegst in 2026 van kracht worden.

Wanneer is een FRIA verplicht?

De FRIA-verplichting is overeind gebleven, maar wel fors ingeperkt – zowel in termen van AI-systemen die een FRIA nodig hebben, als van partijen die deze plicht op zich krijgen. Laten we met dat eerste beginnen.

Artikel 29a van de AIA (let op: nummering nog onder voorbehoud) bepaalt wanneer een hoogrisico AI-systeem een FRIA nodig heeft.  Het moet dus allereerst een hoog risico AI betreffen, maar de AI Act maakt daarbij onderscheid tussen twee categorieën. Categorie 1 is hoogrisico omdat het een veiligheidscomponent betreft van een gereguleerd product. Deze staan opgesomd in Annex II. Categorie 2 is hoog risico omdat het een toepassing betreft die in Annex III opgesomd is. Het is die laatste categorie die een FRIA nodig kan hebben. Bij categorie-1 hoog risico worden de risico’s namelijk al meegenomen in de bredere evaluatie van dat product zelf.

Hierop geldt dan meteen weer een uitzondering: een AI die een (fysieke) veiligheidscomponent betreft van een toepassing in kritieke infrastructuur (CER Richtlijn 2022/2557) hoeft geen FRIA. Ook hier weer is dat omdat de CER zelf (artikel 5) een eigen risico-assessment bepaling bevat.

Wie moet een FRIA doen?

In de keten van AI productie tot toepassing zijn vele entiteiten. De AI Act legt de plicht tot een FRIA specifiek bij de ‘deployer’ (Nederlands: inzetter) neer. Weliswaar weet de producent beter hoe het systeem werkt, maar de deployer weet het beste hoe de toepassing in de praktijk gaat uitpakken, kent de doelgroep en de maatschappij daar omheen, et cetera. De deployer mag wel de producent om hulp vragen of afgaan op diens informatie, overigens.

Niet elke deployer van een hoog risico AI moet echter een FRIA doen. Artikel 29a noemt vijf categorieën voor wie deze plicht geldt:

• Overheidsinstanties
• Private partijen die publieke diensten aanbieden
• Instellingen die kredietwaardigheidschecks uitvoeren
• Verzekeraars die AI inzetten bij acceptatie van verzekerden of controle van claims
• Politiediensten die AI inzetten voor biometrie op afstand in de openbare ruimte

Andere partijen die AI inzetten, hoe hoog risico ook, hoeven dit niet expliciet met een FRIA te borgen. Het mag natuurlijk wel.

Wat moet er in een FRIA staan?

De AI Act noemt zes onderwerpen:

1. een beschrijving van de processen van de exploitant waarin het risicovolle AI-systeem zal worden gebruikt in overeenstemming met het beoogde doel;
2. en beschrijving van de periode en frequentie waarin elk risicovol AI-systeem bedoeld is om te worden gebruikt
3. de categorieën natuurlijke personen en groepen die waarschijnlijk gevolgen zullen ondervinden van het gebruik ervan in de specifieke context;
4. de specifieke risico's op schade die waarschijnlijk gevolgen zullen hebben voor de categorieën personen of groepen personen die zijn geïdentificeerd overeenkomstig punt c), rekening houdend met de informatie die door de provider wordt verstrekt overeenkomstig artikel 13;
5. en beschrijving van de implementatie van maatregelen voor menselijk toezicht, volgens de gebruiksaanwijzing;
6. de maatregelen die moeten worden genomen in het geval dat deze risico's zich voordoen, met inbegrip van de regelingen voor interne governance en klachtenmechanismen.

De kern zijn natuurlijk onderwerpen d en f: welke risico’s voorziet men met de inzet van het AI-systeem en welke maatregelen worden daartegen genomen? Om hier handen en voeten aan te geven, is concrete sturing nodig middels een raamwerk zoals de ALTAI Assessment, waar ons boek AI and Algorithms uitgebreid op in gaat. Zo’n raamwerk helpt gestructureerd door alle ethische en maatschappelijke issues heen te gaan om risico’s te concretiseren.

Welke modellen zijn beschikbaar?

Er zijn vele sjablonen voor AI Impact Assessments in omloop, die echter allen dateren van voor de AI Act end us niet expliciet als FRIA zijn opgezet. Ik zet hieronder de uitgebreidste en best bij de AI Act passende varianten op een rijtje:

• Rijksoverheid: Fundamental Rights Impact Assessment. Dit is een van de eerste ‘echte’ FRIA’s, zij het dat wordt gekeken naar algoritmische besluitvorming specifiek en niet inzet van AI in het algemeen.
• Rijksoverheid: AI Impact Assessment (ook Engelstalig). Deze gaat specifiek in op AI als zodanig en biedt daarmee een goede analyse van risico’s.
• EU: ALTAI Assessment, volgt exact de Guidelines en daarmee indirect de AI Act, is de basis voor ons boek AI and Algorithms. Zij is zeer grondig en uitgebreid, wat voor ‘kleine’ systemen overdriven kan zijn.
• ECP: AI Impact Assessment (ook Engelstalig), doelstelling is formuleren normenkader. Wij gebruiken deze AIIA in de CAICO-opleiding.
• Microsoft: Responsible AI Impact Assessment, primair opgezet als documentatie van AI-systeem, geen alignment met Guidelines, wel scherpe vragen.
• UNESCO: Ethical Impact Assessment, gericht op lifecycle en alle ethische aspecten van een AI systeem, sluit aan bij AI Act en Guidelines.
• US CIO Council: Algoritmic Impact Assessment, eveneens gericht op inzet van algoritmes en automatische besluitvorming en komt uit de Amerikaanse praktijk.

In de AI Act staat dat de AI Office, een nieuw EU-orgaan, de opdracht krijgt om een sjabloon te maken voor een FRIA die AI Act-compliant moet zijn. Het zal echter nog wel even duren voordat deze er is. 

Je kunt er natuurlijk zelf ook een maken – of wachten op die van ICTRecht, want wij zijn er natuurlijk ook druk mee bezig. Voor wie het zelf wil doen, raad ik het praktisch raamwerk van Stahl et al aan. Op het hoogste niveau bestaat dit uit vier fasen:

1. Fase 1: Beschrijf het doel van het AI-systeem en definieer taken en verantwoordelijkheden van de partijen die betrokken zijn bij het ontwerp, de ontwikkeling, het gebruik en de evaluatie van het systeem.
2. Fase 2: Identificeer en beoordeel de risico’s voor rechten die zich kunnen voordoen in verschillende stadia van de ontwikkeling van het AI-systeem.
3. Fase 3: Motiveer of en waarom de risico's op mogelijke inbreuken op de grondrechten die in fase 2 zijn geïdentificeerd, proportioneel zijn.
4.  Fase 4: Overweeg en neem organisatorische en technische maatregelen om de resterende risico's die in fase 1, 2 en/of 3 zijn geïdentificeerd te verminderen. Na vaststelling herhaalt u het FRIA-proces vanaf fase 1 totdat de risico's zijn weggenomen of naar behoren zijn gerechtvaardigd en beperkt.

Praktische tips

Bij het uitvoeren van een FRIA is het van essentieel belang dat je deze taak aanpakt met de oprechte bedoeling om potentiële risico's te begrijpen en te beperken, in plaats van alleen maar de nalevingscriteria af te vinken. Een veel voorkomende valkuil is dat de beoordeling slechts als een papieren exercitie wordt beschouwd, wat kan leiden tot oppervlakkige evaluaties en gemiste kansen om echte problemen aan te pakken. Hetzelfde gebeurt wanneer men de FRIA pas op het einde uitvoert. Er zal geen ruimte of bereidheid meer zijn de bevindingen door te voeren, terwijl een FRIA als startpunt van een ontwikkeltraject juist “compliance by design” oplevert.

Hoe moet het dan wel? 

In de eerste plaats is de betrokkenheid van belanghebbenden van het allergrootste belang. Het samenwerken met een diverse groep belanghebbenden, waaronder technische experts, ethici, eindgebruikers en mogelijk getroffen gemeenschappen, kan waardevolle inzichten opleveren. Hun uiteenlopende perspectieven kunnen onvoorziene risico's onder de aandacht brengen en innovatieve mitigatiestrategieën bieden. 

Ten tweede is continue iteratie cruciaal. De technologische en maatschappelijke context kunnen evolueren, dus beoordelingen moeten regelmatig worden herzien en bijgewerkt. Dit is ook een harde eis uit de AI Act.

Ten derde bevordert transparantie in het beoordelingsproces het vertrouwen tussen belanghebbenden en het publiek. Het delen van de methodologieën, bevindingen en mitigatiestrategieën kan blijk geven van een oprecht engagement voor de ethische inzet van AI. 

Ten vierde zorgen training en capaciteitsopbouw ervoor dat teamleden het belang van de beoordeling begrijpen en over de vaardigheden beschikken om deze effectief uit te voeren. Tenslotte is documentatie essentieel. Het gedetailleerd bijhouden van het beoordelingsproces, de bevindingen en de genomen beslissingen kan van onschatbare waarde zijn voor toekomstig gebruik, audits of in geval van geschillen.

Meer weten over de AI Act of FRIA’s? Neem contact met ons op!

In het live webinar van 27 februari en 26 maart leer je in een uur alle ins en outs van de AI Act.