Als er één woord is waar je maar niet vanaf kan komen de afgelopen maanden dan is het wel ChatGPT. Soms lijkt het wel alsof er een hele evangelie rond het onderwerp is ontstaan waarvoor nog net niet op je deur wordt geklopt. Toch is dit ook wel enigszins te begrijpen. Het is een spannende nieuwe technologie die overduidelijke grote gevolgen gaat hebben voor de toekomst en waarvoor niemand de boot wil missen. Tegelijkertijd is de discussie ook wat bekoeld. De mogelijkheden zijn de afgelopen tijd wat genuanceerd en ook is er meer nadruk komen te liggen op de beperkingen van de technologie.
Toch loopt iedereen in hun hoofd rond met de vraag: wat gaat dit betekenen voor mij? De potentie van de technologie raakt duidelijk ieder onderdeel van de samenleving. In het Legal Tech-team stellen we daarom regelmatig de vraag: hoe gaat dit de juridische praktijk veranderen? Met name, wat is ervoor nodig om ChatGPT in staat te stellen om echt juridisch complexe vragen te beantwoorden? Om dit te beantwoorden zal dit blog een deep dive maken naar de werking van ChatGPT en de onderliggende modellen. Door de werking te begrijpen kan pas echt de potentie achter de technologie worden begrepen.
Large Language Models
Als eerste de naam zelf: ChatGPT. ChatGPT is een chat-app die gebouwd is boven op het GPT-taalmodel. GPT is een zogenoemd ‘large language model’. Zo een language model is een type computerprogramma dat is ontworpen om menselijke taal te begrijpen en te produceren op een manier die vergelijkbaar is met hoe mensen communiceren. Het maakt gebruik van een enorm grote hoeveelheid gegevens en complexe algoritmen om automatisch taal te leren en te begrijpen. Belangrijk om op te merken dat ChatGPT en GPT dus niet hetzelfde zijn. GPT is het onderliggende taalmodel, terwijl ChatGPT de app is die het mogelijk maakt om gesprekken te voeren met het model.
In de basis vult een large language model zinnen aan. Je geeft het een stuk tekst en het model maakt deze af. Daarbij heeft een dergelijk model veel context nodig om te begrijpen wat de gebruiker als antwoord terug wil. Dit is echter nog steeds erg abstract. Hoe wérkt zo’n model nou? Dit zal verder geïllustreerd worden aan de hand van een voorbeeld.
Als ik aan GPT-3 de input geef: “Wilhelmus van Nassaue” dan maakt GPT deze netjes af met de rest van het volkslied. Maar hoe is GPT tot dit antwoord gekomen?
Neurale netwerken
Het antwoord zit hem in de manier waarop deze taalmodellen werken. Taalmodellen zijn zogenoemde ‘neurale netwerken’. Neurale netwerken functioneren op vergelijkbare wijze als het menselijk brein. Geef neuronen een bepaalde stimulering en dit werkt weer door op andere neuronen. Op deze manier kunnen mensen en computers allebei patronen herkennen op een bijna ondoorgrondelijke wijze. Zo zijn er heel veel dingen die we instinctief weten zonder er verder over na te denken. Je ruikt een bepaalde geur en direct komen er allemaal herinneringen naar boven aan een vakantie in Griekenland. Je herkent mensen van verre afstand aan de manier hoe zij lopen. Je hoort een sirene tijdens het rijden en gaat instinctief direct uit de weg. Tijdens deze momenten werk je op automatische piloot. Nadenken is niet nodig want de neuronen in je brein sturen je bij want deze herkennen het patroon.
Neurale netwerken werken veelal hetzelfde. Deze netwerken zijn getraind op trainingsdata: grote hoeveelheden documenten en tekst die representatief zijn voor de menselijke taal. Een mens heeft zelf decennia nodig om ervaring op te doen met alle facetten van het leven; en bij een neuraal netwerk wordt dit aangeleverd via een grote dataset. Bij een groot neuraal netwerk zoals GPT is de aangeleverde trainingsdata zo dusdanig gigantisch dat deze de patronen heeft leren herkennen in menselijke taal. Het neuraal netwerk reflecteert de manier hoe taal is opgebouwd en hoe deze gebaseerd is op logische constructies. Door de taal te begrijpen is GPT in staat om voort te bouwen op complexe vraagstukken. Dus als GPT gevraagd wordt om een aanvulling te geven op ‘Wilhelmus van Nassaue’, dan is een verbinding naar de rest van de tekst al snel gevonden.
Onderliggende kennis
GPT, en dus ook ChatGPT, zijn getraind op grote hoeveelheden tekst en documenten. Daarbij hebben de makers bij OpenAI keuzes moeten maken welke teksten hiervoor gebruikt worden. Geef het model te veel juridische teksten en de antwoorden van het taalmodel worden heel complex, formeel en archaïsch. Geef het model een groot deel aan commentaar op Twitter en binnen de kortste keren wordt het model racistisch en seksistisch. Daarnaast kost het trainen van een taalmodel veel tijd; en hoe meer data deze krijgt om te trainen hoe exponentieel langer het trainen daarvan duurt. Het is dan ook vooralsnog niet mogelijk om een taalmodel alle publieke gegevens te voeden die er te vinden zijn op het internet.
Omdat het onmogelijk is alle informatie in een taalmodel te stoppen zullen er altijd leemtes zijn in de kennis van het model. Dit is een fundamenteel probleem dat niet met de huidige technologie kan worden opgelost. Daarbij maakt het niet uit hoe groot het model wordt: er zal altijd kennis ontbreken.
Dit is onder andere te zien in de Nederlands juridische kennis van ChatGPT. Veel juridische vragen zal het zonder problemen kunnen beantwoorden, maar bij andere is het antwoord complete onzin. Zo weet ChatGPT prima wat het Haviltex-arrest is – dit is immers uitgebreid behandeld in allerlei publieke publicaties – maar vraag ChatGPT naar wat meer obscure wetten of jurisprudentie en het zal geen antwoord kunnen geven.
Specialisatie
De oplossing hiervoor is te vinden in specialisatie. Om complexe juridische vragen te beantwoorden moet het taalmodel genoeg juridische kennis hebben; dus op een manier moet deze kennis geïntegreerd worden. Hiervoor zijn verschillende technische oplossingen mogelijk, waarvan er hier twee worden toegelicht.
De eerste oplossing is de koppeling van externe bronnen aan een applicatie zoals ChatGPT. Dit is in feite waar Microsoft nu mee bezig is met hun zoekmachine Bing AI. Microsoft koppelt hierbij hun zoekmachine Bing aan een groot taalmodel, waardoor eventuele ontbrekende informatie kan worden opgezocht op het internet. Dit is met name handig als een juridisch vraagstuk kan worden beantwoord aan de hand van één of een paar bronnen. Zo is dit prima bruikbaar als je wilt weten wat de conclusie was van een bepaalde rechtszaak, of als je een samenvatting wilt van een bepaalde wettekst. Een ander groot voordeel is dat dit kan werken met bestaande infrastructuur: juridische informatie kan blijven staan op de al bestaande publieke bronnen en hoeven niet te worden omgezet in een formaat dat het taalmodel begrijpt. Het is echter minder geschikt als je een complexe juridische vraag hebt die vereist dat het taalmodel meerdere documenten samen in beschouwing neemt. In dat geval moet het model weten welke documenten allemaal relevant zijn en dat is niet altijd direct duidelijk.
De tweede oplossing is zogenoemde fine-tuning. Met deze techniek wordt een taalmodel extra getraind voor het beantwoorden van bepaalde vraagstukken. Zo kan het model worden voorzien van nieuwe informatie om in ogenschouw te nemen en daarnaast wordt het model extra sterk in juridische redeneringen. Tegelijkertijd biedt deze techniek ook nadelen. Zo moet alle trainingsdata worden gesorteerd en geclassificeerd, wat veel tijd en mankracht kost. Daarnaast moeten de gegevens continu worden bijgewerkt, zodat de juridische kennis up-to-date is met de werkelijkheid.
De toekomst
De beste oplossing ligt vermoedelijk ergens in het midden. Een GPT-taalmodel dat gefinetuned is om beter in staat te zijn juridische redeneringen uit te voeren; en welke tegelijkertijd toegang heeft tot de meest recente externe gegevens. Zo’n taalmodel zou een grote aanwinst zijn voor de juridische tak waarmee heel veel onderzoekswerk kan worden versimpeld. Tegelijkertijd vergt dit veel specialisatie, waarbij de eisen iedere keer anders zullen zijn per applicatie. Voor een bruikbare juridische tool hoeven we dan ook niet te wachten op GPT-5 of GPT-6, maar er kan vandaag al een begin aan worden gemaakt.
Meer weten over Artificial Intelligence? Lees hier meer:
