Al sinds 2021 wordt in Europees verband gewerkt aan een wet die de risico's van snel opkomende AI-technologie aan banden moet leggen. Dat ging niet zonder slag of stoot, want tot het laatste moment is stevig onderhandeld over wat wel en niet zou mogen. Maar na twee marathonsessies (22 uur en 14 uur) is er dan nu toch een politiek akkoord, zij het dat de tekst nog wat puntjes op de i moet krijgen. Wat is er nu afgesproken en waar moet je rekening mee houden?
Drie risiconiveaus
De kern van de AI Act was altijd een verdeling in drie categorieën. De verboden praktijken, die in het geheel niet mogen in de EU. Dit gaat om manipulatie, social credit scoring en realtime biometrie op afstand. Nieuw is een verbod op emotieherkenning op het werk, zoals bij assessments van sollicitanten of het monitoren van personeel. Wie een dergelijke praktijk hanteert, moet binnen zes maanden na publicatie van de AI Act daarmee stoppen.
De 'lichtste' vormen van AI kennen geen bijzondere risico's en krijgen alleen transparantieplichten opgelegd. Kort gezegd moeten deze duidelijk aangeven dat ze AI zijn ("Dag, ik ben een chatbot, hoe kan ik je helpen?"). Ook hun uitvoer moet gemarkeerd zijn als van AI afkomstig, maar het is nog niet duidelijk of dit zou betekenen dat alle AI-gegenereerde tekst of beeld een watermerk moet krijgen. Deze AI's mogen verder niet betrokken zijn bij besluitprocessen.
De meeste aandacht gaat uit naar de "hoog risico" AI, AI systemen die bijzondere risico's voor mens of maatschappij opleveren. Dat kan variëren van discriminatie van personen tot kans op letsel (zoals bij zelfrijdende auto's), fouten bij het bereiden van voedsel of het vervuilen van het milieu door een verkeerde inschatting. In EU termen gaat het om bescherming van fundamentele rechten, en om in te schatten welke risico's een AI systeem daarbij kan veroorzaken moet dan ook een fundamental rights impact assessment of FRIA worden uitgevoerd bij iedere hoogrisico AI.
Verder krijgen hoog risico AI systemen een berg complianceverplichtingen: kwaliteitsborging, verantwoordingsprocessen, documentatie, logging en menselijk toezicht op hun inzet. De inzet van een aparte AI Compliance Officer is dan ook zeer aan te raden. Overigens blijft de AVG gewoon van kracht op dergelijke systemen, zodat het dus kan voorkomen dat naast een FRIA ook een DPIA moet worden uitgevoerd.
Biometrie en politie
Zware discussie is gevoerd over de inzet van AI bij politie, justitie en veiligheidsdiensten (zoals de AIVD). Dat ging met name over real-time biometrie, denk aan het volgen met camera's of drones van mogelijke verdachten in de publieke ruimte. Dit is nu beperkt tot bestrijding van terrorisme, het volgen van specifieke verdachten of het bestrijden van zeer ernstige misdrijven. Wat dit in de praktijk moet betekenen, is nog onduidelijk.
Foundation modellen
Ook is veel aandacht gegaan naar de zogeheten foundation modellen, de algemene modellen zoals Google's Bard of ChatGPT. Deze kunnen alles, en zijn dus niet aan een specifiek risico te koppelen. Aanbieders hiervan krijgen basisverplichtingen over transparantie en het aanpakken van generieke risico's op zich, maar een aanbieder die zo'n foundation model inzet voor een specifieke toepassing moet zélf de uiteindelijke verantwoording dragen. Een aanbieder van bijvoorbeeld een contractenscanner die met ChatGPT teksten analyseert, moet zelf de kwaliteit van de contractenscanning borgen en mag niet simpelweg vertrouwen op wat ChatGPT kan.
Opensourcemodellen zijn in principe uitgesloten van de AI Act. Dit betreft modellen die onder een open of vrije licentie gedeeld worden en waarvan de broncode en de parameters openbaar zijn voor een ieder. Veel innovatie drijft op dergelijke modellen, en hiermee blijft bijvoorbeeld wetenschappelijk onderzoek mogelijk. Wanneer een open source model specifiek ingezet wordt voor een hoog risico toepassing, gaat echter wél de AI Act gewoon gelden.
Boetes en toezicht
De boetes zijn niet mals: tot 35 miljoen euro per overtreding of 7% van de wereldwijde omzet van het concern waarbinnen de overtreding wordt gemaakt. Voor 'kleine', administratieve overtredingen is dit 7,5 miljoen of 1.5%.
Voor het toezicht zullen nationale toezichthouders optreden, er komt geen Europese toezichthouder. Dit is hetzelfde stelsel als bij de AVG. De toezichthouders kunnen inzage vorderen in data en modellen, en kunnen naast boetes ook bevelen dat een specifieke AI-toepassing wordt bijgesteld of van de markt gehaald.
Inwerkingtreding
De beoogde datum van inwerkingtreding was 1 januari 2024, maar omdat er nog flink aan de tekst gesleuteld moet worden om alle compromissen te verwerken én omdat alles in 24 talen vertaald moet worden, is het zeer de vraag of dit gehaald wordt. De bedoeling is dan wel zo snel mogelijk daarna de wet te publiceren.
Er is beperkt overgangsrecht: de verboden praktijken moeten dus binnen 6 maanden stoppen, maar voor de hoog risico AI's geldt twee jaar overgangsrecht waarbinnen alle compliance vereisten moeten zijn verwerkt. Dat is korter dan je denkt: tuig maar eens een data-kwaliteitssysteem op als dat er nog geheel niet is.
Hoe nu verder?
Het wachten is nu op de definitieve tekst, maar het is verstandig om met enige voortvarendheid alle AI-systemen in kaart te brengen die in jouw organisatie worden gebruikt. Hoe lang worden deze nog gebruikt, wat zegt de leverancier over AI Act Compliance en is het contract opzegbaar als blijkt dat dit niet te realiseren is binnen twee jaar? Zijn er toepassingen die mogelijk hoog risico te noemen zijn?
Veel organisaties stellen nu al teams in om gericht aan de slag te gaan met deze inventarisatie en een eerste slag voor de fundamental rights impact assessments te maken. Daarbij één kanttekening: wij krijgen signalen dat FG's of privacy officers vaak de AI Act op hun bordje krijgen, omdat AI vaak raakt aan dezelfde aspecten als de AVG. Dat is op zichzelf waar, maar de risico's bij AI zijn breder dan persoonsgegevens of discriminatie/ uitsluiting/ besluitvorming an sich. Betrek dus zeker ook andere disciplines, en bekijk daarmee het héle plaatje.
Wil jij gericht aan de slag met AI Compliance?
Ons nieuwe boek AI and Algorithms geeft je concrete handvatten die je langs alle kernaspecten van de AI Act leiden. Op 12 maart kun je de training AI Compliance & Governance volgen en casusgericht oefenen met de materie. Ambieer je een uitdagende carrière waarin je AI en regelgeving weet te balanceren? Meld je dan snel aan voor onze opleiding tot AI Compliance Officer!
