1 juni 2025
Onderzoek toont aan dat uitgebreide redeneerketens (CoT) de prestaties van grote taalmodellen verbeteren bij complexe taken, maar dit gaat ten koste van de snelheid en realtime bruikbaarheid. De gebruikelijke strategie om eerst te redeneren en daarna pas te antwoorden, verlaagt de reactiesnelheid en kan leiden tot fouten wanneer eerdere denkstappen onjuist zijn. Anders dan mensen, die hun gedachten vaak geleidelijk delen, wachten modellen meestal tot al het denkwerk is afgerond voordat ze een antwoord geven.
Hoewel reinforcement learning (RL) veel wordt gebruikt om taalmodellen te trainen in beter redeneren, ligt de focus vaak op de uiteindelijke uitkomst. Dit negeert waardevolle tussenstappen in het denkproces. Process-based rewards (PRM) bieden gedetailleerder toezicht dan outcome-based rewards (ORM), maar vereisen vaak handmatige controle en extra systemen, wat de aanpak omslachtig en kwetsbaar maakt voor fouten zoals reward hacking.
Om deze beperkingen het hoofd te bieden, introduceerden onderzoekers van Apple en Duke University een nieuwe aanpak genaamd Interleaved Reasoning. Hierbij wisselt het model tussen redeneren en het leveren van tussentijdse antwoorden. Hierdoor ontstaat een meer natuurlijke interactie en krijgt de gebruiker tussentijdse feedback die kan helpen bij het volgen van het denkproces van het model.
In plaats van pas op het einde informatie te geven, deelt het model relevante inzichten zodra er een logisch tussenresultaat is bereikt. Deze methode gebruikt eenvoudige regelgebaseerde beloningen die gebaseerd zijn op antwoordstructuur, eindaccuratesse en voorwaardelijke correctheid van tussenstappen. Alleen wanneer aan bepaalde criteria wordt voldaan, worden beloningen toegekend, waardoor de kwaliteit van het eindantwoord gewaarborgd blijft.
De methode is getest met Qwen2.5-modellen van 1,5 miljard en 7 miljard parameters op verschillende datasets, zelfs buiten het bereik van hun training, waaronder MATH, GPQA en MMLU. De resultaten laten een aanzienlijke snelheidsverbetering zien van meer dan 80%, naast een nauwkeurigheidsstijging tot 19,3%. Door de tussenstappen te integreren, wordt het model responsiever en effectiever in het uitvoeren van complexe vragen.
Tot slot blijkt uit het onderzoek dat Interleaved Reasoning niet alleen de prestaties en snelheid van taalmodellen verbetert, maar ook beter generaliseert naar onbekende taken. Verschillende reinforcement learning-strategieën zijn getest, waarbij PPO stabiele resultaten liet zien. De combinatie van tijdsafhankelijke en voorwaardelijke beloningen bleek de meest effectieve benadering, zonder gebruik te maken van extra hulpmiddelen of token-niveau beloningsmodellen.
Geef een reactie