De ‘Digital Decade’ uitgelegd: waar te beginnen met de AI Act?

Regulering van AI-systemen is een belangrijk onderdeel van de plannen van de Europese Unie voor een digitale maatschappij.

Het ambitieuze plan van de Europese Unie voor een digitaal decennium (digital decade) gaat over een visie op een digitale maatschappij met een menselijke maat.

Slimme camera’s bij de Olympische Spelen of een uit de bocht gevlogen chatbot van Elon Musk: AI is overal om ons heen. En nu is er eindelijk een wettelijk kader om deze snelle technologische ontwikkelingen in goede banen te leiden. Zo is op 1 augustus de AI Act in werking getreden, het eerste alomvattende rechtskader wereldwijd dat betrouwbare AI moet bevorderen. Maar wanneer val je hier eigenlijk onder?

Is het een AI-systeem of niet?

De AI Act richt zich op AI-systemen, maar wat wordt daarmee bedoeld? Kort gezegd is het een systeem dat met een bepaalde autonomie handelingen uitvoert. Maar autonomie alleen is niet voldoende, ook moet sprake zijn van inference ofwel afleiding. Het systeem moet bepaalde doelen zijn gesteld en zelfstandig uitzoeken hoe binnen deze doelen uitvoer te genereren. Dat klinkt allemaal mooi op papier, maar wat zijn dan voorbeelden van AI en wat niet? Laten we kijken naar wat praktijkvoorbeelden.

Tegenwoordig gebruiken veel bedrijven een chatbot voor hun klantenservice. Het kan heel handig zijn: je hoeft niet in de wacht te staan tot er een persoon beschikbaar is. Maar valt zo’n chatbot onder de definitie van een AI-systeem? Natuurlijke taalverwerking wordt gebruikt om vragen van klanten te begrijpen en zo goed mogelijk te beantwoorden. Het antwoord is “ja, dit is een AI-systeem”. De tool werkt autonoom en genereert output om de klant te helpen. Autonomie is hierin belangrijk. Als een chatbot alleen werkt op basis van een vooraf geprogrammeerde vaste set aan regels en niet zelf na hoeft te denken, is het géén AI-systeem.

Autonomie in tools.

Laten we kijken naar een voorbeeld daarvan: een online kledingmaat-tool. Zo’n tool die je helpt met kiezen van de juiste maat voor een specifiek kledingstuk, is dat dan ook een AI-systeem? Wanneer je alleen afmetingen invoert om vervolgens een vooraf daaraan gekoppelde maat als advies te krijgen, dan niet. Dit is een als-dan-constructie: als A+B wordt ingevoerd, dan is C het antwoord. Er is geen sprake van autonomie. Dat wordt anders wanneer je voor de camera een analyse laat maken van je postuur en het systeem de analyse beoordeelt en een maat adviseert.

Hoe zit het dan met een online tool die reclamebanners genereert op basis van de productencatalogus van een webshop? De advertentiebanner wordt toegespitst op de klant, bijvoorbeeld op grond van eerder(e) surfgedrag en aankopen. Dit is, niet verrassend, ook een AI-systeem. Op basis van de productencatalogus creëert de tool namelijk zelfstandig output om zo aandacht van specifieke klanten te trekken.

Verschillende risiconiveaus

Niet elk AI-systeem is even spannend en brengt dezelfde risico’s met zich mee. De AI Act houdt hier rekening mee en onderscheidt verschillende risiconiveaus: onacceptabel, hoog en laag.

• Onacceptabel risico
  Er is een lijst met bepaalde vormen van AI die helemaal niet (meer) op de markt gebracht mogen worden in Europa, bijvoorbeeld een AI-systeem dat emoties van werknemers op de werkplek herkent, of AI-systemen die voorspellen of iemand een strafbaar feit zal begaan (zoals in de Tom-Cruise-film Minority Report, kijktip).
• Hoog risico
  Niet verboden, maar wel streng gereguleerd zijn AI-systemen met een hoog risico. Deze systemen zijn uitgeschreven in de AI Act. Er is sprake van een hoog risico wanneer het een veiligheidscomponent is van een bij wet gereguleerd product genoemd in bijlage I van de AI Act, of het AI-systeem op zichzelf zo’n gereguleerd product is. Denk bijvoorbeeld aan AI-systemen in treinen, waterscooters of liften. Daarnaast moet de wetgeving in bijlage I voor het product een conformiteitsbeoordelingspartij door een derde partij voorschrijven. Streng gereguleerd is ook wanneer AI wordt gebruikt voor een toepassing genoemd in de bijlage III van de AI Act en brengt aanzienlijke risico’s voor mens en/of maatschappij met zich mee. Dan kun je bijvoorbeeld denken aan AI-systemen die iets met biometrie doen, of gebruikt worden in sollicitatieprocedures of creditchecks doen.
• Laag risico
  Tot slot is er de restcategorie met een laag risico. Dit zijn alle AI-systemen die niet in de hokjes ‘onacceptabel’ of ‘hoog’ risico vallen.

Hoe zit het bijvoorbeeld met ChatGPT of bijvoorbeeld Copilot? In welke categorie vallen die? Het mooie juridische antwoord is dat het afhangt van de situatie. Zet je ChatGPT in als eenvoudige chatbot voor je klantenservice, dan is het geen verboden of hoog-risico AI. Ga je ChatGPT zo inzetten dat het beoordeelt of je die sollicitant wel of niet gaat aannemen? Dan is het een hoog-risico systeem geworden.

Verplichtingen

Wanneer duidelijk is dat het gaat om een AI-systeem en welke risicoklasse daarbij hoort, kan worden bepaald welke verplichtingen van toepassing zijn. Niet elke verplichting geldt voor iedereen; de AI Act kent verschillende rollen en die verschillende rollen hebben weer eigen verplichtingen. Het is daarom belangrijk om te weten welke rol je hebt:

• Aanbieder – Iemand die een AI-systeem ontwikkelt en onder eigen (merk)naam op de markt brengt.
• Gebruiksverantwoordelijke – Iemand die een AI-systeem inzet of gebruikt voor eigen doeleinden.
• Importeur – Iemand die een AI-systeem van buiten de EU introduceert op de Europese markt.
• Distributeur – Iedere schakel tussen de aanbieder en gebruiksverantwoordelijke anders dan een importeur.

Bovengenoemde rollen hebben andere verplichtingen. Zo gelden voor laag-risico AI-systemen basisregels die voornamelijk zien op de transparantie. Bij een simpele chatbot moet de aanbieder bijvoorbeeld vermelden dat het een AI-tool betreft en niet een ‘echt’ mens. De meeste verplichtingen gaan gelden voor hoog-risico AI-systemen. Elke rol heeft verplichtingen. Dus ook wanneer je hoog-risico AI afneemt kun je niet achterover leunen. De belangrijkste verplichtingen zijn:

• Conformiteitsbeoordeling – De aanbieder moet voor het op de markt brengen van het AI-systeem een conformiteitsbeoordelingsprocedure doorlopen. Dat zijn de CE-markeringen die je nu al op heel veel dagelijkse dingen terugziet. Kijk maar eens op de achterkant van je telefoon bijvoorbeeld.
• Risicomanagementsysteem – De aanbieder moet een systeem instellen om potentiële risico’s te identificeren, evalueren, beheren en verminderen. Vooraf bedenken wat er mis zou kunnen gaan kennen we bijvoorbeeld ook uit de privacywet, de AVG.
• Systeem voor gegevensbeheer – De aanbieder moet gebruik maken van onbevooroordeelde, kwalitatieve en representatieve datasets. Zomaar heel X leegtrekken om je sollicitatiechatbot te voeden mag dus niet.
• Post-market monitoring system – De aanbieder moet een systeem instellen om na het op de markt brengen de werking van het AI-systeem te monitoren.
• Informeren aanbieder – De gebruiksverantwoordelijke moet de aanbieder informeren wanneer risico’s voor gezondheid, veiligheid of fundamentele rechten zich voordoen tijdens de inzet van het AI-systeem.
• Fundamental Rights Impact Assessment (FRIA) – De gebruiksverantwoordelijke van AI moet risico’s inventariseren voor zaken als veiligheid, privacy, discriminatie etc.
• Transparantie – Voor de gebruiksverantwoordelijke moet duidelijk zijn hoe het AI-systeem werkt, plus monitoring en logging moet plaatsvinden.
• Menselijk toezicht – Bij het gebruik van het AI-systeem door een gebruiksverantwoordelijke is menselijk toezicht een verplichting.
• Controleverplichtingen – De importeur of distributeur moet voor hij een AI-systeem op de markt aanbiedt, controleren of een CE-markering is aangebracht en de juiste documentatie aanwezig is.

Kortom, systemen die een hoog risico voor ons als mens of de maatschappij met zich meebrengen mogen niet zomaar op de markt gebracht worden. Er is een behoorlijk pakket aan huiswerkverplichtingen.

Over twee jaar moet aan de regels van de AI Act worden voldaan. Of zelfs al eerder, als je met verboden AI-systemen werkt. Die moeten begin volgend jaar al uit zijn gezet. Heb je behoefte aan ondersteuning of advies? Wij helpen je graag verder!