Wat als je kon bepalen hoelang een redeneermodel “denkt”? Onderzoekers van CMU introduceren L1-1.5B: Reinforcement Learning optimaliseert het denkproces van AI.

12 maart 2025

Onderzoekers van Carnegie Mellon University hebben een nieuwe methode ontwikkeld om de lengte van redeneerketens in taalmodellen nauwkeurig te regelen. Dit aanpak, genaamd Length Controlled Policy Optimization (LCPO), gebruikt reinforcement learning om modellen te trainen die zowel nauwkeurigheid als gebruik van rekencapaciteit optimaliseren. Traditionele modellen hebben moeite met het beheren van de lengte van hun redenering, wat kan leiden tot onnodig lange of juist te korte uitkomsten. LCPO biedt een oplossing door het model te conditioneren op een vooraf opgegeven lengte in de prompt.

Bestaande benaderingen om de redeneerlengte te reguleren, zoals het gebruik van speciale tokens of het voortijdig afbreken van de output, verminderen vaak de prestaties. Hoewel meer rekenkracht doorgaans betere redeneerprestaties oplevert, ontbreekt bij veel methoden een precieze controle over de lengte. LCPO pakt dit probleem aan door een beloningsfunctie toe te passen die zowel de nauwkeurigheid als de juiste lengte beloont. Hierdoor kan het model zich dynamisch aanpassen, zonder de samenhang van de redenering te verstoren.

Het door LCPO getrainde model, genaamd L1, past de redeneerlengte effectief aan binnen de opgegeven grenzen. Er zijn twee varianten ontwikkeld: L1-Exact, dat zich strikt aan de opgegeven lengte houdt, en L1-Max, dat binnen een maximale lengte blijft terwijl de nauwkeurigheid behouden blijft. Vergeleken met andere methoden, zoals S1, behaalt L1 significante verbeteringen in redeneerprestaties en efficiëntie, zonder dat redeneerlijnen onnodig worden afgekapt.

Tests laten zien dat L1 beter presteert dan GPT-4o bij dezelfde redeneerlengtes en uitstekend generaliseert naar logische redeneervragen en kennisgerichte benchmarks zoals MMLU. Bovendien blijkt het model zeer effectief in kortere redeneerketens, iets waar veel grotere modellen minder goed in zijn. Door bewust om te gaan met het aantal benodigde tokens, kan L1 efficiënter redeneren zonder verlies van nauwkeurigheid.

Een belangrijk voordeel van LCPO is dat het modellen in staat stelt om beredeneerde antwoorden te genereren met een optimale balans tussen prestaties en rekencapaciteit. L1 verdeelt de beschikbare tokens strategisch, waarbij langere antwoorden meer ruimte bieden voor zelfcorrectie en conclusies, terwijl tussentijdse redeneringsstappen efficiënt blijven. Dit zorgt voor robuuste prestaties en behoud van coherentie.

Deze aanpak laat zien dat het gecontroleerd sturen van de lengte van redeneerketens een haalbare en effectieve manier is om de prestaties van taalmodellen te verbeteren. LCPO biedt een eenvoudig implementeerbare oplossing die schaalbaar is en zich breed toepasbaar toont, niet alleen voor rekenen en programmeren, maar ook voor algemene redeneertaken.