Het optimaliseren van rekentijd tijdens testen voor LLM’s: Een meta-versterkingsleerbenadering met cumulatieve spijtminimalisatie

16 maart 2025

Onderzoekers richten zich op het verbeteren van de redeneercapaciteiten van grote taalmodellen (LLMs) door de testtijd-computatie efficiënter te benutten. Huidige methoden, zoals finetuning met zoeksporen en reinforcement learning (RL) met binaire beloningen, zijn beperkt in het optimaal inzetten van beschikbare rekenkracht. Recente studies tonen aan dat een verhoogde testtijd-computatie kan bijdragen aan betere redeneervaardigheden door langere oplossingssporen te genereren en gestructureerde stappen zoals reflectie en planning te integreren. Een belangrijke uitdaging blijft hoe LLMs hun rekenkracht aanpassen aan de complexiteit van taken en of ze moeilijkere problemen efficiënter kunnen oplossen bij een groter compute-budget.

Om testtijd-computatie te optimaliseren, is onderzocht of aparte verifiers voor selectiegebaseerde methoden, zoals best-of-N of beam search, effectiever kunnen zijn dan alleen het vergroten van het model of de trainingsdata. Echter, finetuning op onbekende zoeksporen kan leiden tot memorisatie in plaats van daadwerkelijke redeneerverbetering. RL-technieken hebben vooruitgang geboekt door het genereren van ketens van redenering, waardoor modellen beter kunnen plannen en hun antwoorden verfijnen. Toch blijkt een langere redeneerketen niet altijd te zorgen voor betere accuraatheid, omdat irrelevante of overbodige stappen kunnen worden toegevoegd.

Wetenschappers van Carnegie Mellon University en Hugging Face werken aan een alternatieve benadering om testtijd-computatie te optimaliseren. In plaats van alleen op uitkomstgerichte RL te vertrouwen, introduceren zij een finetuning-techniek die een balans zoekt tussen exploratie en exploitatie. Dit model maakt gebruik van een beloningssysteem dat vorderingen in redenering meet, waardoor efficiënter gebruik wordt gemaakt van rekencapaciteit. Evaluaties op wiskundige benchmarks tonen aan dat deze methode niet alleen hogere accuraatheid bereikt, maar ook leidt tot efficiënter gebruik van tokens.

De onderzoekers benaderen het probleem vanuit een meta-reinforcement learning (meta-RL) perspectief. Zij stellen dat optimale testtijd-computatie kan worden bereikt door cumulatieve spijt te minimaliseren, in plaats van overdreven te focussen op enkel de uiteindelijke uitkomst. Het voorgestelde Meta Reinforcement Fine-Tuning (MRT) model beloont stapsgewijze vooruitgang en voorkomt onnodige rekentijdverspilling. Doordat rekening wordt gehouden met incrementele verbeteringen en niet alleen een binair succes of falen, kunnen modellen beter omgaan met beperkingen in rekencapaciteit tijdens de inzetfase.

Uit experimenten blijkt dat MRT aanzienlijk beter presteert dan bestaande methoden bij het optimaliseren van testtijd-computatie. Het model bereikt de hoogste nauwkeurigheid binnen zijn categorie, terwijl het ook robuuster presteert bij onbekende invoer. Vergeleken met basismodellen en traditionele RL-technieken vergt MRT minder tokens voor dezelfde accuraatheid, waardoor de efficiëntie van berekeningen aanzienlijk wordt verhoogd. Verder toonden tests aan dat MRT effectieve achteruitzoekmethoden en lineaire evaluaties ondersteunt, wat bijdraagt aan betere probleemoplossing en generalisatie.

Tot slot beschouwen de onderzoekers het optimaliseren van testtijd-computatie als een meta-RL vraagstuk, waarbij cumulatieve spijt als kernmaatstaf wordt gebruikt. Huidige RL-methoden, die uitsluitend op eindresultaten zijn gericht, blijken onvoldoende geschikt om stapsgewijze vooruitgang te stimuleren. MRT introduceert een beloningssysteem dat modellen aanspoort om efficiënt voortgang te boeken, zonder overbodige rekencapaciteit te verspillen. Hierdoor wordt niet alleen een verbetering van 2 tot 3 keer in prestaties behaald, maar ook een 1,5 keer hogere efficiëntie in tokengebruik bij wiskundige redeneertaken.