Een large language model (LLM) is een kunstmatige intelligentie (AI)-systeem dat speciaal is ontworpen om menselijke taal te begrijpen en te produceren. Hoewel large language models een relatief nieuwe ontwikkeling zijn in de wereld van AI en machine learning, dateert het concept van taalmodellen uit de jaren 50 en 60 van de vorige eeuw. In deze periode experimenteerden onderzoekers met verschillende statistische modellen om natuurlijke taal te simuleren. Rond de eeuwwisseling hielpen nieuwe machine learning technieken, zoals de opkomst van neural networks, om steeds geavanceerdere taalmodellen te bouwen. Echt cruciaal voor large language models is echter het recentere ontstaan van deep learning en de immense hoeveelheden textuele data die het internet vandaag de dag te bieden heeft. 

Alles-in-één

Bij het ophangen van een schilderijtje heb je waarschijnlijk genoeg aan een hamer en spijker. Wil je liever een compleet huis bouwen, dan zul je jouw gereedschapskist wat moeten uitbreiden. Traditionele taalmodellen zijn als een hamer en een spijker. Gebaseerd op regels en statistieken kunnen ze eenvoudige taaltaken uitvoeren, bijvoorbeeld het voorspellen van het volgende woord in een zin, maar verder hebben ze een beperkt begrip van context en semantiek. Large language models daarentegen zijn een volledige gereedschapskist. Dankzij hun grote omvang en trainingsdata kunnen deze modellen worden ingezet voor een veel breder scala aan taaltaken. Zo genereren ze nieuwe tekst, van artikelen tot computercode. Large language models kunnen vertalingen en samenvattingen produceren en vragen beantwoorden. Bovendien kunnen ze zelfs creatieve taken uitvoeren, denk aan het genereren van kunst of het schrijven van poëzie. 

Hoe werkt een large language model? Simpel gezegd wordt het systeem getraind op gigantische hoeveelheden textuele data en leert zichzelf aan de hand daarvan patronen te herkennen en relaties tussen tekstelementen te begrijpen. Maar hoe regelt het model dit ingewikkelde proces? Net als een ui hebben large language models verschillende lagen die allemaal een eigen bijdrage leveren aan de complexe structuur. 

De embedding laag zet ieder woord in de input-tekst om in een vector – een reeks getallen – die het model kan begrijpen en verwerken. De afstand tussen deze vectoren geeft de semantische relatie tussen de woorden aan. Oftewel, de afstand tussen de woorden kat en fietsvakantie zal groter zijn dan die tussen koffie en thee. Vervolgens past de feedforward laag bepaalde gewichten en biases toe op deze vectoren, wat het model nauwkeuriger en efficiënter maakt. De recurrent laag zorgt ervoor dat de informatie die eerder in de tekst is verwerkt, wordt opgeslagen in het geheugen van het model. Hierdoor kan het model contextuele informatie begrijpen en de betekenis van woorden in hun zinsverband interpreteren. Verder hebben large language models ook nog een attention mechanisme waarmee ze zich kunnen richten op de meest relevante delen van de ingevoerde tekst. Wil je meer weten over dit mechanisme? Neem dan een kijkje in onze vorige Simply Story!

We blijven het herhalen, maar een belangrijke eigenschap van large language models is dat ze getraind zijn op enorme hoeveelheden tekst. Omdat deze teksten van het internet komen, bevat de trainingsdata een variatie aan talen – hoewel sommige een stuk meer dan andere. Het taalmodel traint zichzelf de onderliggende structuren en patronen van taal te leren, niet van één taal, maar van meerdere. Large language models zijn dan ook in staat om vertalingen te genereren. 

Pros en cons

Een voordeel van de vertalingen van deze taalmodellen is dat het rekening houdt met context. Teksten worden niet zinsdeel voor zinsdeel of zin voor zin vertaald maar als één geheel. Dat is heel handig voor woorden wiens betekenis afhangt van de gehele context. Het Nederlandse woord ‘bank’ kan in het Engels bijvoorbeeld vertaald worden met ‘sofa’ – waar je op zit – of met ‘bank’ – waar je geld haalt. Haal je deze door elkaar, dan wordt je tekst over die belangrijke CEO een stuk vreemder. 

Bovendien is het mogelijk om taalmodellen als ChatGPT extra informatie te geven waardoor het rekening kan houden met de stijl van de vertalingen. Geef bijvoorbeeld aan dat jouw tekst een gedicht, nieuwsartikel of blogpost is. Heb je een jonge of juist een oude doelgroep voor ogen, benoem dit dan in je opdracht aan het taalmodel. Ook voor vertalingen in de e-commerce wereld brengen large language models voordelen met zich mee. Je kunt bij de vertaalopdracht namelijk meteen vragen of het model ook SEO-zoekwoorden in de vertaling verwerkt. 

Is het dan alleen maar koek en ei als je taalmodellen wilt gebruiken voor je vertalingen? Nee, helaas niet. Om met het Engelse gezegde te spreken zijn large language models (nu nog) a jack of all trades, but master of none. Ofwel, het kan en doet zo veel dat het nog niet de nodige specialisatie heeft die nodig is voor het leveren van kwalitatieve vertalingen. 

Een studie waar onder andere de oprichters van ChatGPT aan hebben meegewerkt, voorspelt dat ongeveer 80% van de beroepsbevolking in de Verenigde Staten het effect van large language models gaat merken. Voor sommige beroepen betekent dit dat een klein percentage van de dagelijkse taken uit handen wordt genomen, voor andere beroepsgroepen zou dit het merendeel van het werk kunnen zijn.

Naar verwachting valt de vertaalindustrie in de groep waar een groter deel van de taken in de toekomst geautomatiseerd wordt. Betekent dit dat vertaalbureaus over een paar jaar a thing of the past zijn? Zeker niet! Ook bij het gebruik van large language models blijven experts nodig die de juiste input kunnen aanleveren (de juiste vraag stellen) en die de kwaliteit van de vertalingen kunnen controleren en verbeteren. Deze eerste en laatste stappen in het vertaalproces zullen in de toekomst alleen maar belangrijker worden.  

Wil jij weten wat large language models kunnen betekenen voor jouw vertalingen, maar zie je door de ChatGPT bomen het bos niet meer? Neem dan contact op met Simply Translate. Onze software-experts zijn volledig op de hoogte van alle nieuwe ontwikkelingen in dit snel groeiende veld. Bovendien zorgt de combinatie van tech-knowhow en eersteklas taalkenners ervoor dat Simply Translate dé plek is voor al jouw vragen.

Wil je meer weten over onze llm-vertaling, nmt-vertaling of de mogelijkheid om eigen datasets te trainen? Neem dan snel contact met ons op of kom gezellig langs voor een kop koffie!