Sure! The translated title into Dutch would be: “Vertaal Foute Antwoorden Verbetert Wiskundig Redeneren? Bekrachtigingsleren met Verifieerbare Beloningen (RLVR) Verrast met Qwen2.5-Math” Let me know if you’d like help translating the full paper or summary.

31 mei 2025

Onderzoekers van de Universiteit van Washington, het Allen Institute for AI en UC Berkeley hebben onderzoek gedaan naar alternatieve beloningssignalen in reinforcement learning om redeneervaardigheden van taalmodellen te verbeteren. Ze richtten zich op een specifieke techniek, reinforcement learning with verifiable rewards (RLVR), waarbij modellen automatisch feedback ontvangen, zoals wiskundige correctheid of syntactische kenmerken, in plaats van menselijke beoordeling.

Een belangrijk probleem binnen machine learning is dat het veel tijd en middelen kost om exacte labels te verzamelen voor complexe redeneertaken, zoals wiskundige probleemoplossing. Dit wekt de vraag op of taalmodellen ook kunnen leren van onbetrouwbare of willekeurige feedback. RLVR probeert deze uitdaging aan te pakken door modellen te trainen met verschillende vormen van niet-menselijke beloningssignalen.

Het team testte dit op Qwen2.5-Math, een wiskundig verfijnde variant van het Qwen-model, met vijf soorten beloningen: juiste antwoorden, meerderheidsstemmen, formatbeloningen (zoals genoteerde uitdrukkingen), willekeurige en zelfs foute antwoorden. Verrassend genoeg bleken alle deze beloningen prestatieverbeteringen op te leveren, zelfs als ze onjuist of geheel willekeurig waren.

Zo leidde training met juiste antwoorden in het Qwen2.5-Math-7B model tot 28,8% verbetering, maar ook verkeerde antwoorden zorgden voor 24,6% winst. Zelfs willekeurige beloningen gaven 21,4% verbetering. Niet alleen verbeterde de accuraatheid, ook ontwikkelde het model een patroon van “code reasoning”, waarbij het oplossingen genereerde in een programmeerstijl.

Hoewel deze bevindingen indrukwekkend waren voor Qwen-modellen, bleken ze niet overdraagbaar. Modellen zoals Llama3 en OLMo2 lieten geen of zelfs negatieve resultaten zien bij gebruik van spurious beloningssignalen, wat aangeeft dat de aanpak typespecifiek is en niet zomaar gegeneraliseerd kan worden.

Het onderzoek toont uiteindelijk aan dat Qwen-modellen in staat zijn om verborgen redeneervaardigheden naar boven te halen met minimale of zelfs misleidende feedback. Tegelijkertijd benadrukken de auteurs het belang van breder onderzoek naar verschillende modellen, om de bredere toepasbaarheid van RLVR-strategieën goed te kunnen beoordelen.