10 maart 2025
Grote taalmodellen (LLMs) vertonen opvallende overeenkomsten met neurale activiteit in het menselijke taalnetwerk. Toch blijft onduidelijk welke taalkundige eigenschappen bijdragen aan deze hersenachtige representaties. Het brein verwerkt taal via een netwerk van frontotemporale regio’s, dat cruciaal is voor begrip en communicatie. Door recente ontwikkelingen in machine learning worden LLMs, die zijn getraind op grote tekstcorpora via volgende-woordvoorspelling, steeds vaker ingezet om de werking van dit taalnetwerk te onderzoeken. Onderzoek toont aan dat deze modellen, wanneer ze hetzelfde taalmateriaal verwerken als proefpersonen in neuroimaging-experimenten, vergelijkbare neurale reacties oproepen.
Studies naar de overeenkomsten tussen kunstmatige neurale netwerken en hersenactiviteit suggereren dat bepaalde architecturen neurale patronen nabootsen. Dit fenomeen werd eerst in visuele verwerking geïdentificeerd en later uitgebreid naar auditieve en linguïstische processen. Opvallend is dat zelfs ongetrainde modellen nog steeds een zekere mate van hersenalignatie vertonen. Dit duidt erop dat structurele en architectonische eigenschappen, los van ervaring-gebaseerde training, bijdragen aan cognitieve overeenkomsten. Hierdoor wint het onderzoek naar inductieve biases, oftewel de ingebouwde aannames van neurale netwerken, aan belang.
Onderzoekers van EPFL, MIT en Georgia Tech analyseerden 34 trainingsfases over acht modelgroottes om de relatie tussen hersenalignatie en taalkundige competentie te onderzoeken. Zij concludeerden dat hersenalignatie sterker correleert met formele taalkundige kennis—zoals grammaticale regels—dan met functionele competentie, waaronder redeneer- en wereldkennis. Naarmate modellen verder worden getraind, neemt de functionele competentie toe, maar verzwakt de correlatie met hersenactiviteit. Bovendien bleek modelgrootte geen doorslaggevende factor voor hersenalignatie, wanneer gecontroleerd wordt voor de grootte van de representaties. Dit suggereert dat huidige benchmarks nog niet het maximale potentieel van hersenalignatie benutten.
Het onderzoek beoordeelt hersenalignatie in taalmodellen met behulp van uiteenlopende neuroimaging-gegevens, geordend op modaliteit, contextlengte en stimuluspresentatie. Een functionele lokalisatiemethode identificeert neurale structuren die specifiek zijn voor taalverwerking. Voor de analyse werd gebruikgemaakt van ridge-regressie en Pearson-correlatie, en intersubject-consistentie werd geëvalueerd om ruis in de data mee te nemen. Formele taalkundige competentie werd getest met BLIMP en SYNTAXGYM, terwijl functionele competentie werd beoordeeld via benchmarks voor redeneervermogen en wereldkennis.
Ongetrainde modellen behaalden, ondanks lagere alignatiescores dan voorgetrainde modellen, nog steeds opmerkelijke hersenovereenkomsten, aanzienlijk beter dan willekeurige tokenreeksen. Dit komt voort uit inductieve biases binnen bepaalde architecturen, waarbij sequentiële modellen zoals GRU, LSTM en Transformers betere alignatie vertonen dan token-gebaseerde modellen zoals MLP en lineaire netwerken. Positiecodering en temporele integratie speelden hierbij een belangrijke rol. Hersenalignatie bereikte vroeg in de training een piek—rond acht miljard tokens—en bleek voornamelijk gerelateerd aan formele taalkundige competentie.
Samenvattend toont het onderzoek aan dat hersenalignatie in LLMs grotendeels wordt bepaald door formele taalkundige structuren, terwijl functionele competentie zich onafhankelijk ontwikkelt. Modelgrootte blijkt geen bepalende factor te zijn; in plaats daarvan spelen architectonische biases en trainingsdynamieken een doorslaggevende rol. Bovendien blijft er ruimte voor verbeteringen in de afstemming tussen deze modellen en menselijke taalverwerking. Dit onderzoek draagt bij aan een dieper begrip van hoe LLMs overeenkomsten vertonen met neurale taalverwerking, met een nadruk op syntactische en compositorische structuren.
Geef een reactie