Afgelopen week is de definitieve tekst van de AI Act verschenen! Centraal in de wettekst staat de bevordering van het vertrouwen in Artificial Intelligence (AI) bij gebruikers. Als men het heeft over betrouwbare AI, komt transparantie al snel naar voren als kernwaarde. Het vormt dan ook een belangrijk onderdeel van de AI Act. Maar hoe ben je als organisatie transparant over het gebruik van AI? En waarover moet je precies ‘transparant’ zijn?
In dit blog richten we ons allereerst op het begrip transparantie en het belang daarvan. Vervolgens wordt gekeken naar de verplichtingen die de AI Act oplegt op dit gebied. Tot slot gaan we in op de technische en juridische uitdagingen die hiermee gepaard gaan.
‘Transparantie’
Transparantie in de context van AI-systemen betekent dat mensen AI-systemen waar zij mee in aanraking komen, kunnen begrijpen en controleren. Daarvoor moeten de manier waarop het systeem werkt, de gebruikte trainingsdata en de beslissingen die het neemt, helder zijn. Zo krijgen mensen meer vertrouwen in AI-systemen en zijn zij eerder geneigd de technologie te omarmen.
Een verplichting onder de AI Act
De AI Act zal transparantieverplichtingen op gaan leggen voor de inzet van AI-toepassingen. Het komt erop neer: hoe hoger het risico, hoe hoger de transparantie moet zijn. Bovendien wordt apart benoemd dat bij een aantal toepassingen goed rekening moet worden houden met de risico's van manipulatie die zij kunnen veroorzaken. Dit geldt voor systemen die:
- Directe interactie hebben met mensen. Aanbieders van dit soort systemen moeten ervoor zorgen dat je als persoon ervan op de hoogte bent dat je te maken hebt met een AI-systeem.
- Synthetische audio, foto, video of tekst inhoud genereren of manipuleren (waaronder General Purpose AI, GPAI). Aanbieders hiervan moeten garanderen dat de output wordt gemarkeerd in een machinaal leesbaar formaat en detecteerbaar is als kunstmatig gegenereerd of gemanipuleerd.
- Worden gebruikt voor het detecteren van emoties op basis van biometrische gegevens [1]. De exploitant (deployer) van dit soort systemen moet informeren over de werking van het systeem aan de natuurlijke personen die eraan worden blootgesteld.
Op het moment van de eerste interactie met, of blootstelling aan het AI-systeem moet deze informatie op een duidelijke en doeltreffende wijze aan de betrokken personen worden verstrekt.
Maar hoe maak je AI begrijpelijk?
Hoe je vervolgens praktisch invulling moet geven aan deze eisen kan lastig zijn. De High Level Expert Group on AI van de Europese Commissie heeft daarom transparantie in het kader van AI gedefinieerd aan de hand van drie kernprincipes. Met behulp van deze principes kan transparantie worden nagestreefd. Die principes zijn [2]:
- Traceerbaarheid. Dit verwijst naar het vermogen om de besluitvormingsprocessen van een AI-systeem te volgen en te begrijpen. Het impliceert dat er een duidelijk traject moet zijn dat aangeeft hoe een systeem tot een specifieke uitkomst is gekomen. Dit biedt inzicht in de stappen die het systeem heeft genomen.
- Verklaarbaarheid. Dit betekent dat een AI-systeem begrijpelijk moet zijn voor de gebruikers. Dit kan worden bereikt door inzicht te geven in drie onderwerpen:
- Technisch: Hoe werkt het AI-systeem?
- Gebruikersgericht: Verklaring van het besluitvormingsproces
- Businessmodel: Het ontwerp en de doeleinden van het systeem uitleggen
- Communicatie. Gebruikers moeten duidelijk worden geïnformeerd over het feit dat zij met een AI-toepassing te maken hebben. Daarnaast moeten gebruikers over het algemeen begrijpen wat de mogelijkheden en de beperkingen zijn van de AI-toepassing. Een producent of aanbieder moet deze informatie op een begrijpelijke manier delen met gebruikers.
Ook de AI Act zelf geeft in een bijlage handvaten voor aanbieders van GPAI systemen, op basis waarvan zij de technische documentatie moeten vormgeven.
Technische en juridische uitdagingen
Transparantie over AI-beslissingen brengt een aantal uitdagingen met zich. Zo is het bij zogenoemde ‘blackbox-modellen’ - AI die beslissingen neemt zonder duidelijke uitleg over hun output - technisch lastig om duidelijkheid te bieden. De werking van die modellen is namelijk complex en de uitkomst moeilijk te controleren. In dat kader is ‘Explainable AI’, ook wel ‘XAI’ relevant. Explainable AI is een methode waarmee gebruikers de resultaten en output van AI beter kunnen begrijpen. Onderscheid wordt gemaakt tussen lokale uitleg en globale uitleg. Bij lokale uitlegtechnieken wordt ingezoomd op individuele gevallen om te begrijpen waarom een AI-model tot een bepaalde uitkomst is gekomen. Globaal is – het woord zegt het al – een stuk algemener en richt zicht op een overkoepelend begrip van een AI-model.
Dan is er nog het volgende struikelpunt: Het openbaar maken van informatie over een AI-systeem kan op gespannen voet komen te staan met het intellectuele eigendomsrecht. Het delen van details over een ontwikkeld AI-systeem kan concurrenten namelijk in staat stellen soortgelijke technologieën na te maken zonder dezelfde inspanning te leveren.
Daarbij komt dat de uitleg bij een AI-systeem ook nog eens begrijpelijk moet zijn voor de gebruiker. Hiervoor moet je transparantie koppelen aan de doelgroep: wie zijn de gebruikers en wat willen zij weten?
Voorbeelden van initiatieven
Als organisatie kun je allerlei stappen nemen om transparantie te waarborgen. Denk bijvoorbeeld aan het publiceren van onderzoek naar de specifieke AI-toepassing. Ook kun je een nieuwsbrief over updates van de AI-toepassing aan gebruikers versturen en hen actief om feedback vragen. OpenAI maakt daarnaast bijvoorbeeld ook gebruik van ‘red teaming’, waarbij zij externe experts vragen om hun modellen te testen.
Het uitvoeren van een risico-assessment is een effectieve manier om te beoordelen welk niveau van transparantie gehanteerd moet worden. Door de risico’s van een AI-systeem in kaart te brengen, kom je erachter over welke onderwerpen gebruikers geïnformeerd moeten worden. Hoe hoger het risico, hoe meer transparantie.
Kortom, transparantie in het kader van AI is een juridische verplichting die hand in hand gaat met bepaalde dilemma’s: wat maak je wel en niet openbaar en op welke manier doe je dat? Door de juiste balans te vinden, kun je als organisatie niet alleen voldoen aan de wettelijke eisen, maar ook het vertrouwen van gebruikers in AI-toepassingen vergroten.
[1] Het is onder de AI Act verboden om systemen van dit type op de markt te brengen of in gebruik te nemen voor de volgende doeleinden: het afleiden of vaststellen van informatie met betrekking tot ras, politieke opvattingen, vakbondslidmaatschap, religieuze of filosofische overtuigingen, seksleven of seksuele geaardheid.
[2] Guidelines Trustworthy AI: HLEG AI.
