1 april 2025
Reinforcement Learning from Verifiable Rewards (RLVR) is een veelbelovende methode gebleken om redeneervermogen in taalmodellen te verbeteren zonder directe supervisie. Deze aanpak heeft vooral succes geboekt bij domeinen zoals wiskunde en programmeren, waar gestructureerd probleemoplossen centraal staat. Hoewel RLVR toegankelijke redeneervormen blijkt te stimuleren in technische contexten, blijft het buiten deze gebieden grotendeels onontgonnen terrein. Pogingen om RLVR uit te breiden naar andere domeinen met synthetische datasets tonen mogelijkheden, maar doen ook de uitdaging van domeinoverdracht uitkomen.
Het toepassen van RLVR op bredere taken zoals multiple-choice vragen (MCQA), met name binnen het medische domein, stelt nieuwe eisen. In tegenstelling tot open antwoorden in wiskunde en code, werken MCQA-taken met vooraf gedefinieerde opties. Het is onzeker of de voordelen van RLVR hier even sterk naar voren komen, vooral gezien de complexiteit van medische kennis. AI-systemen blijken moeite te hebben met deze vorm van redenatie, wat het belang onderstreept van onderzoek naar effectievere methodes.
Onderzoekers van Microsoft Research hebben dit onderzocht met de introductie van MED-RLVR. Ze trainden een model op medische MCQA-data en ontdekten dat RLVR ook hier effectief is. Het model presteerde vergelijkbaar met klassieke supervisiemethoden bij bekende taken en toonde een aanzienlijke verbetering van acht procentpunten bij generalisatie naar onbekende gegevens. Verrassend genoeg ontwikkelde een model met slechts drie miljard parameters zelfstandig medische redenatievaardigheden, zonder expliciete supervisie.
Reinforcement learning leert een model beslissingen nemen door beloningen te maximaliseren op basis van interacties met een omgeving. In dit onderzoek werd de Proximal Policy Optimization-techniek gebruikt, ondersteund door een beloningsfunctie die output beoordeelt op juistheid en vorm. Zonder extra data of instructie toonde het model redeneergedrag dat doet denken aan eerdere RLVR-experimenten in wiskunde, wat de toepasbaarheid van de methode in veeleisendere kennisgebieden benadrukt.
Voor de training werd gebruikgemaakt van de MedQA-USMLE dataset, die medische examenvragen met uitgebreide antwoordmogelijkheden bevat. De onderzoekers baseerden hun model op Qwen2.5-3B en pasten reinforcement learning toe via OpenRLHF. In vergelijking met supervised fine-tuning boekte het model vooral vooruitgang in domeinoverstijgende testsets zoals MMLU-Pro-Health. De analyse toont een geleidelijke evolutie in het redeneren van het model, hoewel er minder zelfcorrigerend gedrag werd waargenomen vergeleken met wiskundige taken.
Hoewel de prestaties van MED-RLVR veelbelovend zijn, erkennen de onderzoekers enkele beperkingen. MCQA biedt een gecontroleerde evaluatieomgeving, maar weerspiegelt niet de volledige complexiteit van realistische medische toepassingen zoals vrije tekstantwoorden of medische rapportage. Bovendien beperkt het unimodale karakter van het model de verwerking van multimodale gegevens, essentieel bij diagnostiek. Toekomstig onderzoek zou zich moeten richten op het oplossen van deze knelpunten en verdere verfijning van beloningsstrategieën voor dieper begrijpen en betrouwbaarder redeneren.
Geef een reactie