28 mei 2025
Versterkend leren (reinforcement learning, RL) speelt een belangrijke rol in de nascholing van grote taalmodellen (LLM’s). Hierbij worden beloningssignalen gebruikt, afkomstig van menselijke feedback (RLHF) of verifieerbare beloningen (RLVR). Hoewel RLVR goed presteert in wiskundige redenering, is het beperkt door de noodzaak van toetsbare antwoorden, wat grootschalige training op algemene domeinen bemoeilijkt. Bovendien zijn de huidige beloningsmodellen — zowel numeriek (scalar) als generatief — niet in staat om efficiënt om te gaan met variërende complexiteit tijdens inference.
Beloningsmodellen kunnen worden onderscheiden op basis van formulering en beoordelingsstrategie. Numerieke benaderingen kennen cijfers toe aan responsen, terwijl generatieve modellen feedback geven in natuurlijke taal. Beide typen kunnen informatie evalueren op zichzelf of via onderlinge vergelijking. Generatieve modellen bieden weliswaar interpretatievoordeel, maar kampen met bevooroordeelde oordelen. Bestaande scaling-methodes tijdens inference bieden momenteel te weinig flexibiliteit om zich aan te passen aan complexe input.
Een samenwerking tussen wetenschappers van Microsoft Research, Tsinghua University en Peking University heeft geleid tot de ontwikkeling van Reward Reasoning Models (RRMs). Deze modellen voeren expliciet denkwerk uit vóór het toekennen van een beloning. Door middel van keten-denken (chain-of-thought) kan het model bij complexe taken extra rekencapaciteit inzetten, zonder dat daar specifieke redeneerdata voor nodig is tijdens training.
RRMs zijn gebaseerd op het Qwen2-model en gebruiken een Transformer-decoderstructuur waarbij beloningsmodellering wordt benaderd als tekstaanvulling. Elke invoer bevat een vraag met twee mogelijke antwoorden, waarop het model voorkeur moet bepalen. Analyse wordt geleid door de RewardBench-collectie en richt zich op criteria als nauwkeurigheid, hulpvaardigheid en detailniveau. Door meervoudige steekproeven en stemrondes (majority voting) verkrijgen onderzoekers robuuste vergelijkingsresultaten.
Testresultaten laten zien dat RRMs uitstekend presteren op benchmarks zoals RewardBench en PandaLM Test. Vooral RRM-32B noteert indrukwekkende scores, met name in taken die expliciet redeneren vereisen. In scenario’s waarbij het model meerdere outputmogelijkheden evalueert zonder extra inferencekosten, blijven de prestaties van RRMs beter dan bij alternatieven. Grotere modellen, met langere denkprocessen, leveren bovendien systematische accuracyverbeteringen op.
Samenvattend bieden RRMs een flexibele en schaalbare oplossing voor beperkingen in traditionele beloningssystemen voor taalmodellen. Door expliciet denkvermogen te combineren met efficiënte inzet van rekencapaciteit leveren zij betere uitlijning op complexe taken. Hun prestaties maken ze tot een veelbelovend alternatief in het ontwerpen van beloningsgestuurde optimalisatie voor LLM-alignment.
Geef een reactie