29 mei 2025
Grote redeneermodellen (LRMs) hebben sterke prestaties laten zien bij redeneren binnen korte contexten via reinforcement learning (RL), maar deze prestaties blijken moeilijk overdraagbaar naar lange contexten. Voor toepassingen zoals vragen beantwoorden over meerdere documenten, juridische analyse en onderzoeksverwerking moeten modellen effectief omgaan met invoer van meer dan 100.000 tokens. In zulke gevallen blijkt RL-training moeilijker door tragere beloningsconvergentie, instabiele beleidsupdates en verminderde exploratie als gevolg van entropie-inzinking.
Om deze beperkingen aan te pakken, stelt het Qwen-onderzoeksteam QwenLong-L1 voor, een nieuw RL-framework dat zich richt op het verbeteren van LRM-prestaties in lange-contexttaken. Het raamwerk bestaat uit drie opeenvolgende fasen: supervised fine-tuning als opwarmfase voor stabiele initiatie, gefaseerde RL met geleidelijk langere contexten, en moeilijkheidsbewuste hergebruik van complexe voorbeelden om de robuustheid van het model te versterken.
QwenLong-L1 maakt gebruik van hybride beloningsmechanismen die zowel exacte overeenkomsten als semantische evaluatie integreren. Deze aanpak bewaakt zowel precisie als inhoudelijke juistheid, zelfs bij variaties in formulering en stijl.
Het technische ontwerp benut moderne optimalisatietechnieken zoals GRPO en DAPO. GRPO normaliseert beloningen binnen groepen zonder extra waardenetwerk, terwijl DAPO mechanismen bevat om overmatige beloningsafvlakking en lengtebias te voorkomen. Door het geleidelijk opschalen van de contextlengte van 20.000 naar 60.000 tokens wordt stabielere RL-training mogelijk gemaakt.
Bij evaluaties op zeven lange-context benchmarkdatasets waaronder HotpotQA, DocMath en Qasper, presteerde de 32B-variant van QwenLong-L1 beter dan zowel open-source als commerciële modellen. Het scoorde hoger dan onder andere OpenAI-o3-mini en DeepSeek, en behaalde prestaties vergelijkbaar met geavanceerde modellen zoals Claude-3.7-Sonnet-Thinking.
Uit ablatietests bleek dat RL essentieel is voor het ontwikkelen van geavanceerde redeneervermogens zoals onderbouwing, deeldoelformulering en controlemechanismen. Deze vaardigheden kwamen niet sterk naar voren bij alleen supervised training. Met QwenLong-L1 biedt het onderzoeksteam een solide methode om grote taalmodellen effectief te laten presteren in complexe en contextrijke toepassingen.
Geef een reactie