De Autoriteit Consument & Markt (ACM) heeft op 10 december 2020 een position paper geschreven om onderzoek te verrichten naar de beste manieren om toezicht te houden op de werking van algoritmes en de manier waarop marktpartijen deze inzetten. Zowel binnen de Europese Unie (EU) als in Nederland ontbreekt zulk toezicht. Eerder dit jaar kwam de Europese Commissie met een whitepaper over AI. Hierin heeft de Europese Commissie verschillende risico’s aangekaart bij het gebruik van AI-systemen. Deze risico’s worden afgewogen tegen verschillende grondrechten zoals privacy, non-discriminatie, consumentenbescherming, etc. Met deze whitepaper heeft de Europese Commissie een oproep gedaan om het wetgevingsgat met betrekking tot het gebruik van AI en algoritmes te vullen. Om dit te kunnen realiseren is eerst onderzoek vereist.
Op wat voor algoritmes zal de ACM toezicht houden?
In de afgelopen jaren hebben algoritmische systemen zich ontzettend ontwikkeld. Tegenwoordig worden consumenten massaal onderworpen aan deze systemen, vaak zonder dat ze het zelf doorhebben. Deze algoritmes beïnvloeden consumentengedrag, met als gevolg dat de keuzevrijheid van consumenten kan worden beperkt. Een voorbeeld hiervan is het algoritme van Amazon. De beoordeling bij een product heeft vaak geen betrekking op het product zelf, maar aan meerdere gerelateerde producten. Op deze manier komt een nieuw product bovenaan te staan, ook al heeft het slechte of weinig reviews.
Algoritmes verwerken grote hoeveelheden (persoons)gegevens. Met al deze informatie worden profielen van individuen gecreëerd. Deze profielen worden vervolgens gebruikt om te bepalen welke berichten iemand te zien krijgt, zonder daar zeggenschap over of kennis van te hebben. Het is ook niet altijd duidelijk door wie en waarvoor jouw profiel wordt gebruikt. Deze aanbevelingssystemen sturen consumenten vaak in hun keuzes tot aankopen of het vergaren van bepaalde informatie, die niet altijd in het belang zijn van de consument. De ACM zal onderzoeken of marktpartijen vraag en aanbod sturen en of ze de mogelijkheid tot prijsdiscriminatie en prijsafspraken tussen bedrijven faciliteren.
Algoritmes bieden hulp bij complexe maatschappelijke vraagstukken. Zo wordt het aanvragen van een verzekering met algoritmes verwerkt en maakt technologie met algoritmes onderwijs en zorg op afstand gemakkelijker. Algoritmes kunnen ook hulp bieden bij het voorspellen van criminaliteit. Duizenden zaken zijn bijvoorbeeld inmiddels opgelost met het behulp van gezichtsherkenningsalgoritmes binnen de politie. Echter, deze algoritmes hebben ook de potentie om vooroordelen te bevestigen en kunnen leiden tot discriminatie. Deze systemen baseren zich veelal op informatie uit het verleden, fouten of aannames en kunnen zo op grote schaal worden herhaald. De toepassing van deze algoritmes kan ongelijkheid vergroten en mensen in achtergestelde posities kunnen daar dan lastiger uit komen.
Inmiddels is het bekend dat bepaalde algoritmes grote nadelige gevolgen met zich mee kunnen brengen wanneer toezicht ontbreekt. Daarover wordt uiteraard gedacht aan de welbekende SyRI zaak, waarbij het algoritme van de Belastingdienst honderden individuen automatisch had gekenmerkt als bijstandsfraudeurs, terwijl dit achteraf niet het geval bleek te zijn. Om dit soort fouten in de toekomst te kunnen voorkomen is toezicht vereist naar de werking van algoritmes die vooral grote maatschappelijke gevolgen met zich kunnen brengen.
Het onderzoek van de ACM
De ACM draagt als toezichthoudend orgaan bij aan een gezonde economie door markten goed te laten werken. In een goed functionerende markt concurreren bedrijven op een eerlijke manier met elkaar en wordt niemand benadeeld door oneerlijke handelspraktijken. Algoritmische toepassingen kunnen ervoor zorgen dat markten niet naar dit beeld functioneren.
De ACM zal bij haar onderzoek drie belangrijke onderzoeksvragen onderscheiden, namelijk:
- Wat is de rol van een algoritme bij de activiteit die onderzocht wordt en welke processen zijn hierbij gevolgd (procedurele transparantie)?
- Wat is het gedrag van het algoritme (uitlegbaarheid)?
- Wat is de werking van het algoritme (technische transparantie)?
Proef met Muziekweb
De ACM wil beter kunnen controleren hoe de algoritmes van bedrijven werken. Daarom start de toezichthouder een proef in samenwerking met Muziekweb, de muziekbibliotheek van Nederland.
Muziekweb gebruikt algoritmes om bezoekers muziekadvies op maat te geven. In deze proef bekijkt de ACM hoe het komt dat het algoritme bijvoorbeeld de ene persoon latin muziek en de andere juist klassieke muziek aanbeveelt. De ACM doet geen onderzoek naar deze partij, maar brengt in deze proef in kaart welke informatie zij nodig heeft om onderzoek te kunnen doen naar de werking van algoritmes. Met deze proef wil de ACM inzicht krijgen in de rol die algoritmes bij mogelijke overtredingen kunnen spelen, maar ook het doel en de uitgangspunten van de algoritmes en hoe de uitkomsten op basis van de input tot stand komen. Deze kennis is belangrijk voor toekomstige onderzoeken naar algoritmische systemen.
