Het onthullen van aandachttrechters: de functionele rol van eerste-tokenfocus bij het stabiliseren van grote taalmodellen

11 april 2025

Grote taalmodellen (LLM’s) vertonen vaak het opvallende fenomeen dat het eerste token in een reeks buitensporig veel aandacht trekt. Dit wordt een “attention sink” genoemd. Hoewel dit token op het eerste gezicht onbeduidend lijkt, blijkt het vaak de focus te zijn van meerdere aandachtshoofden binnen Transformatormodellen. Eerdere studies onderzochten hoe en wanneer deze sinks optreden, maar de achterliggende oorzaken en functie bleven grotendeels onduidelijk.

Onderzoekers van de Universiteit van Oxford, NUS en Google DeepMind onderzochten waarom deze aandachtssinks ontstaan. In plaats van ze als storende factoren te beschouwen, stellen de onderzoekers dat ze een stabiliserende werking hebben. Ze helpen bij het voorkomen van overmatige vermenging van tokenrepresentaties, die anders tot instabiliteit of informatieverlies in diepe modellen zouden kunnen leiden.

In decoder-only Transformators, waarin tokens enkel aandacht mogen besteden aan eerdere tokens, speelt het ⟨bos⟩-token (begin van de reeks) vaak een centrale rol. Dit token fungeert als een ankerpunt voor aandacht, waardoor informatie ordelijker wordt verwerkt. In lange sequenties voorkomt deze focus dat representaties samenvallen of vervagen.

De onderzoekers verbinden deze aandachtspatronen aan bekende problemen zoals rank collapse en over-squashing, waarbij verschillende invoerdata samengeperst worden tot ineffectieve of eenduidige representaties. Met behulp van wiskundige methoden, zoals de Jacobiaannorm, tonen ze aan dat aandachtssinks de gevoeligheid voor verstoringen verminderen, wat de algehele robuustheid van het model bevordert.

Verder blijkt dat het consistent gebruiken van het ⟨bos⟩-token tijdens voortraining het model helpt om aandacht effectiever te structureren. Verwijdering van dit token tijdens inferentie leidt tot verlies van deze stabiliserende functie, met negatieve gevolgen voor de prestaties. Toch kan elk eerste token, zelfs zonder expliciete markering, een vergelijkbare rol vervullen.

Samenvattend toont het onderzoek aan dat attention sinks geen toevallige bijverschijnselen zijn, maar juist een structurele bijdrage leveren aan het functioneren van grote taalmodellen. Ze ondersteunen stabiele aandachtspatronen over lange contexten en diepe lagen door overmatige informatiediffusie te beperken. De manier waarop modellen zijn getraind en hoe diep en lang ze zijn opgebouwd, blijkt sterk van invloed op het ontstaan en de kracht van deze sinks.