De zorgen over de explosieve groei van AI zijn voor Europa aanleiding geweest om nieuwe, vergaande wetgeving door te voeren: de AI Act. Deze wet bevat een woud aan nieuwe eisen ter bevordering van eerlijkheid, transparantie, robuustheid en diversiteit. Ook het perspectief is nieuw: risicobeheersing in plaats van regulering an sich. Wat zijn de contouren van de te verwachten nieuwe wet?
Een ethisch raamwerk
In Europa staat al geruime tijd een ethisch raamwerk voor “betrouwbare AI”, de sleutelterm die ten grondslag ligt aan alle AI-regelgevingsinspanningen in de EU. Dit raamwerk bestaat uit drie componenten:
- AI moet rechtmatig zijn en voldoen aan alle toepasselijke wet- en regelgeving
- AI moet ethisch zijn en de naleving van ethische principes en waarden garanderen
- AI moet robuust zijn, zowel vanuit technisch als sociaal perspectief, omdat AI-systemen zelfs met goede bedoelingen onbedoelde schade kunnen aanrichten
De AI Act beoogt AI te reguleren vanuit het perspectief van het afdwingen van elk van deze componenten en doet dit vanuit een risicogebaseerd perspectief. De bepalingen ervan verbieden of beperken niet alleen bepaalde handelingen, maar verbinden nalevingsvereisten aan risicobeheer of verbieden activiteiten die specifieke risico's voor de mens met zich meebrengen.
Geografische toepassing
Op grond van de AI Act is elke in de Europese Unie (EU) gevestigde aanbieder onderworpen aan de regelgeving ervan. Hetzelfde geldt voor een implementeerder, maar ook voor importeurs en distributeurs die het AI-systeem als eerste op de Europese markt introduceren. Controversiëler is het geval waarin de exploitant zich buiten de EU bevindt en de output van het AI-systeem “bedoeld is om in de Unie te worden gebruikt”. Dit kan van toepassing zijn als een Europees bedrijf bepaald werk uitbesteedt aan een derde partij buiten de EU, waarbij de derde partij een AI inschakelt om het werk te doen.
Autonomie als definitiesleutel
Hoewel deze ethische richtlijnen een duidelijke indicatie geven welke aspecten van AI gereguleerd moeten worden en met welk doel, ontbreekt er een sleutelvraag: wat is AI precies? De literatuur kent tientallen definities van het begrip, vaak uitgaand van een vergelijking met menselijke intelligentie, wat al snel tot uiteenlopende interpretaties leidt. Gelukkig heeft de EU aansluiting gezocht bij de OESO-definitie uit 2019, die het autonoom gedrag van het systeem voorop stelt.
De keuze voor autonomie als sleutelcriterium onderstreept de risicogebaseerde aanpak van de AI Act: juist doordat AI-systemen autonoom kunnen opereren, doen zich doorgaans veel van de daaraan verbonden risico’s voor. Het is waar dat deze definitie veel algoritmegedreven systemen omvat die in hun marketingliteratuur niet direct ‘AI’ zouden worden genoemd. Gezien het risicomanagementkarakter van de AI Act is deze uitkomst echter onvermijdelijk.
Drie risiconiveaus
De AI Act beoogt AI te reguleren vanuit een risicogebaseerd perspectief. De term ‘risico’ verwijst hier naar risico’s voor de mensheid: gezondheid, veiligheid, grondrechten, democratie en rechtsstaat en het milieu. AI-systemen kunnen dus niet op zichzelf worden beschouwd, maar moeten worden geëvalueerd nadat potentiële risico's voor een van deze aspecten zijn geïdentificeerd.
In grote lijnen verdeelt de AI Act AI-systemen in drie categorieën:
- Onaanvaardbaar risico AI. Dit type AI bedreigt fundamentele menselijke waarden of waardigheid in een zodanige mate dat het simpelweg niet op de Europese markt mag worden gebracht. Naast subliminale manipulatie en sociale kredietsystemen is real-time biometrische monitoring een prominent voorbeeld.
- AI met een hoog risico. Deze categorie AI brengt aanzienlijke risico's met zich mee, maar de voordelen ervan kunnen groter zijn dan die van het nemen van voldoende voorzorgsmaatregelen. Het grootste deel van het compliancewerk onder de AI Act heeft betrekking op dit soort AI-systemen.
- AI met laag risico. Een AI-systeem dat niet voldoet aan de categorie hoog risico wordt aangemerkt als ‘laag risico’ en kent slechts minimale eisen zoals transparantie over de status als AI en het niet mogen beslissen over menselijk gedrag of handelingen.
Waar valt een AI-systeem nu onder? De onaanvaardbaar-risico AI-praktijken staan in de AI Act zelf, wat de hoogste barrière oplevert tegen wijziging daarvan. Hoog-risico AI wordt gedefinieerd als een tweetrapsraket: een bijlage somt bepaalde “kritieke gebieden en gebruiksscenario’s” op, en de Act zelf noemt dan een AI-praktijk als ‘hoog risico’ als een genoemd gebruik of gebied “een aanzienlijk risico op schade aan de gezondheid, veiligheid of fundamentele rechten van natuurlijke personen” oplevert.
Voorbeelden van gebieden met een hoog risico zijn onder meer werkgelegenheid, toegang tot essentiële diensten en wetshandhaving. Een AI-systeem op elk van deze gebieden moet dus worden gecontroleerd op de specifieke risico’s die het kan veroorzaken. Als een dergelijk risico wordt geïdentificeerd, is het AI-systeem een hoog risico en wordt het geconfronteerd met een berg aan compliance-items. Als het risico echter kan worden geminimaliseerd, of in het begin niet aanwezig is, zou het AI-systeem geen hoog risico met zich meebrengen, zelfs niet als het in een gebied met een hoog risico opereert.
Compliance-werk
Een hoog-risico AI brengt een hoop werk met zich mee. Er moeten processen voor gegevensbeheer en risicobeheer worden ingevoerd en het personeel moet worden opgeleid om nauwgezet met AI-systemen te werken, in plaats van de resultaten ervan blindelings te accepteren. Transparantie van het ontwerp van het systeem, in termen van de herkomst van de gegevens en de werking van het algoritme, is vereist, evenals het gebruik van de hoogste normen op het gebied van cyberbeveiliging en robuustheid. Volledige documentatie en informatie moet beschikbaar zijn voor zowel de toezichthoudende autoriteiten als de betrokken personen.
Niet-naleving kan kostbaar zijn: net als bij de AVG komt er een systeem van toezichthoudende autoriteiten met bevoegdheden om boetes op te leggen. Tot 10 miljoen euro voor overtredingen van de naleving en tot 40 miljoen euro voor het vrijgeven van ongeautoriseerde risicovolle of verboden AI-systemen op de Europese markt. Aanvullende bevoegdheden zijn nog niet geregeld, maar omvatten waarschijnlijk een verbod op verder gebruik van het AI-systeem of zelfs de vernietiging van de onderliggende dataset.
Daarnaast is er de mogelijkheid van schadeclaims. Een burger die getroffen is door een AI-systeem, kan een schadeclaim bij de producent of (Europese) aanbieder leggen. De bewijslast wordt omgedraaid: als de betrokkene een redelijk verband kan leggen tussen de schade en het kennelijke gebrek, moet de producent overtuigend aantonen dat een dergelijk verband feitelijk niet aanwezig is. Anders zal de producent de schade volledig moeten betalen – en geen kleine lettertjes of servicevoorwaarden kunnen dat verhinderen.
Wake-up call
De AI Act is een wake-up call voor bedrijven, ontwikkelaars en belanghebbenden om bij hun AI-inspanningen prioriteit te geven aan ethische overwegingen, mensenrechten en maatschappelijke waarden. Door actief te werken aan compliance kunnen organisaties niet alleen risico’s beperken, maar zichzelf ook positioneren als leiders in de verantwoorde ontwikkeling en inzet van AI.
Webinar: Een duik in de AI Act
Ben jij advocaat of (bedrijfs)jurist? Dan is het essentieel om de AI Act tijdig te begrijpen. Schrijf je nu in voor het live webinar Een duik in de AI Act, op 13 november 2023! Je leert de cruciale aspecten van de nieuwe wet, inclusief risicoclassificatie en verplichtingen. En bestel alvast het boek ‘AI and algorithms’, dat op 2 januari 2024 verschijnt.
