Nu de AI Act weer een stap dichterbij is, wordt het tijd de verplichtingen uit deze nieuwe Europese wet eens nader onder de loep te nemen. Wie een hoog risico AI-systeem heeft, krijgt namelijk een hele berg eisen over zich heen. Die zijn bedoeld om de risico’s te mitigeren en te zorgen dat het systeem geen rare dingen gaat doen. Eén aspect springt er daarbij uit: het moeten uitvoeren van een Fundamental Rights Impact Assessment of FRIA. Waar gaat dat om?
Impact Assessments zijn systematische evaluaties van de consequenties – met name risico’s – van een nieuw systeem of activiteit. Bekend is natuurlijk de Data Protection Impact Assessment (DPIA) uit de AVG. Wie met de Sustainable Development Goals (SDG) werkt, kent de Social Impact Assessment (SIA). En zo zijn er nog wel meer te noemen.
Bij invoering van de AI Act kwam vanuit het Europees Parlement het idee om een variant hiervoor in te voeren die gericht is op het beheersen van risico’s voor fundamentele rechten. Dit is zeg maar de EU term voor grondrechten, maar het is breder: ook zaken als milieuconsequenties vallen eronder. De eis voor een FRIA is ingegeven door zorgen over bijvoorbeeld discriminatie of misbruik van persoonsgegevens, maar indirect ook door zaken als het enorme energieverbruik bij het maken van AI-modellen of het weg automatiseren van banen.
De FRIA-verplichting kreeg forse tegendruk. Critici wezen onder meer op de enorme administratieve last; impact assessments worden vaak ingevoerd als een papieren documentje dat op de valreep nog even ingevuld moet worden, maar uiteraard met de ondertoon dat we wél morgen de markt op gaan. (Meelezende privacy officers kunnen dit beamen.) Ook werd veel gewezen op de komende Corporate Sustainability Due Diligence-richtlijn (CSDDD), die eveneens verplichtingen bevat om due diligence op het gebied van de mensenrechten en het milieu uit te voeren. Deze zal echter pas op zijn vroegst in 2026 van kracht worden.
De FRIA-verplichting is overeind gebleven, maar wel fors ingeperkt – zowel in termen van AI-systemen die een FRIA nodig hebben, als van partijen die deze plicht op zich krijgen. Laten we met dat eerste beginnen.
Artikel 29a van de AIA (let op: nummering nog onder voorbehoud) bepaalt wanneer een hoogrisico AI-systeem een FRIA nodig heeft. Het moet dus allereerst een hoog risico AI betreffen, maar de AI Act maakt daarbij onderscheid tussen twee categorieën. Categorie 1 is hoogrisico omdat het een veiligheidscomponent betreft van een gereguleerd product. Deze staan opgesomd in Annex II. Categorie 2 is hoog risico omdat het een toepassing betreft die in Annex III opgesomd is. Het is die laatste categorie die een FRIA nodig kan hebben. Bij categorie-1 hoog risico worden de risico’s namelijk al meegenomen in de bredere evaluatie van dat product zelf.
Hierop geldt dan meteen weer een uitzondering: een AI die een (fysieke) veiligheidscomponent betreft van een toepassing in kritieke infrastructuur (CER Richtlijn 2022/2557) hoeft geen FRIA. Ook hier weer is dat omdat de CER zelf (artikel 5) een eigen risico-assessment bepaling bevat.
In de keten van AI productie tot toepassing zijn vele entiteiten. De AI Act legt de plicht tot een FRIA specifiek bij de ‘deployer’ (Nederlands: inzetter) neer. Weliswaar weet de producent beter hoe het systeem werkt, maar de deployer weet het beste hoe de toepassing in de praktijk gaat uitpakken, kent de doelgroep en de maatschappij daar omheen, et cetera. De deployer mag wel de producent om hulp vragen of afgaan op diens informatie, overigens.
Niet elke deployer van een hoog risico AI moet echter een FRIA doen. Artikel 29a noemt vijf categorieën voor wie deze plicht geldt:
Andere partijen die AI inzetten, hoe hoog risico ook, hoeven dit niet expliciet met een FRIA te borgen. Het mag natuurlijk wel.
De AI Act noemt zes onderwerpen:
De kern zijn natuurlijk onderwerpen d en f: welke risico’s voorziet men met de inzet van het AI-systeem en welke maatregelen worden daartegen genomen? Om hier handen en voeten aan te geven, is concrete sturing nodig middels een raamwerk zoals de ALTAI Assessment, waar ons boek AI and Algorithms uitgebreid op in gaat. Zo’n raamwerk helpt gestructureerd door alle ethische en maatschappelijke issues heen te gaan om risico’s te concretiseren.
Er zijn vele sjablonen voor AI Impact Assessments in omloop, die echter allen dateren van voor de AI Act end us niet expliciet als FRIA zijn opgezet. Ik zet hieronder de uitgebreidste en best bij de AI Act passende varianten op een rijtje:
In de AI Act staat dat de AI Office, een nieuw EU-orgaan, de opdracht krijgt om een sjabloon te maken voor een FRIA die AI Act-compliant moet zijn. Het zal echter nog wel even duren voordat deze er is.
Je kunt er natuurlijk zelf ook een maken – of wachten op die van ICTRecht, want wij zijn er natuurlijk ook druk mee bezig. Voor wie het zelf wil doen, raad ik het praktisch raamwerk van Stahl et al aan. Op het hoogste niveau bestaat dit uit vier fasen:
Bij het uitvoeren van een FRIA is het van essentieel belang dat je deze taak aanpakt met de oprechte bedoeling om potentiële risico's te begrijpen en te beperken, in plaats van alleen maar de nalevingscriteria af te vinken. Een veel voorkomende valkuil is dat de beoordeling slechts als een papieren exercitie wordt beschouwd, wat kan leiden tot oppervlakkige evaluaties en gemiste kansen om echte problemen aan te pakken. Hetzelfde gebeurt wanneer men de FRIA pas op het einde uitvoert. Er zal geen ruimte of bereidheid meer zijn de bevindingen door te voeren, terwijl een FRIA als startpunt van een ontwikkeltraject juist “compliance by design” oplevert.
In de eerste plaats is de betrokkenheid van belanghebbenden van het allergrootste belang. Het samenwerken met een diverse groep belanghebbenden, waaronder technische experts, ethici, eindgebruikers en mogelijk getroffen gemeenschappen, kan waardevolle inzichten opleveren. Hun uiteenlopende perspectieven kunnen onvoorziene risico's onder de aandacht brengen en innovatieve mitigatiestrategieën bieden.
Ten tweede is continue iteratie cruciaal. De technologische en maatschappelijke context kunnen evolueren, dus beoordelingen moeten regelmatig worden herzien en bijgewerkt. Dit is ook een harde eis uit de AI Act.
Ten derde bevordert transparantie in het beoordelingsproces het vertrouwen tussen belanghebbenden en het publiek. Het delen van de methodologieën, bevindingen en mitigatiestrategieën kan blijk geven van een oprecht engagement voor de ethische inzet van AI.
Ten vierde zorgen training en capaciteitsopbouw ervoor dat teamleden het belang van de beoordeling begrijpen en over de vaardigheden beschikken om deze effectief uit te voeren. Tenslotte is documentatie essentieel. Het gedetailleerd bijhouden van het beoordelingsproces, de bevindingen en de genomen beslissingen kan van onschatbare waarde zijn voor toekomstig gebruik, audits of in geval van geschillen.
In het live webinar van 27 februari en 26 maart leer je in een uur alle ins en outs van de AI Act.
Meld je nu aan voor één van de nieuwsbrieven van ICTRecht en blijf op de hoogte van onderwerpen zoals AI, contracteren, informatiebeveiliging, e-commerce, privacy, zorg & ICT en overheid.
