3 mei 2025
Grote taalmodellen (LLM’s) ondervinden aanzienlijke uitdagingen wanneer ze worden getraind als autonome agenten in interactieve omgevingen. In tegenstelling tot statische taken vereisen deze omgevingen beslissingen over meerdere stappen, geheugenbehoud tussen interacties en aanpassing aan onvoorspelbare feedback. Deze vaardigheden zijn cruciaal voor toepassingen zoals planassistenten, robotsystemen en educatieve AI-agents. Hoewel reinforcement learning (RL) wordt gebruikt met regelgebaseerde beloningen, blijft het ontwikkelen van adaptieve, zelfverbeterende agents grotendeels onontgonnen terrein.
Bestaande methoden in RL kampen met instabiliteit tijdens training, complexe interpretatie van beloningen en beperkte generalisatie bij verschillende prompts en veranderende omgevingen. Methodes zoals PPO, GRPO, SAC en keten-van-gedachtentechnieken hebben bijgedragen aan verbeterde redeneringsvermogens. Simpele RL-benaderingen zoals DAPO en Open Reasoner Zero tonen aan dat ook minder complexe strategieën effectieve resultaten kunnen behalen met betrekking tot logisch denken.
De architectuur van LLM-agenten is geëvolueerd van eenvoudige actie-redeneringsschema’s naar meer gestructureerde planners en multi-agent systemen. Toch zijn robuustheid en zelfcorrectie bij complexe redeneertaken over meerdere stappen nog steeds gebrekkig, vooral als consistentie en geheugen cruciaal zijn in onvoorspelbare situaties.
Het StarPO-framework introduceert een nieuwe benadering door volledige interactietrajecten – inclusief observaties, denkstappen en acties – in hun geheel te optimaliseren. In plaats van losstaande acties richt StarPO zich op trajectniveau, waardoor het beter aansluit bij autoregressieve taalmodellen. Deze aanpak zorgt voor samenhang in het leerproces en bevordert stabiliteit in dynamische omgevingen.
Gebaseerd op StarPO ontwikkelden onderzoekers RAGEN, een modulaire infrastructuur voor het bestuderen van leerprocessen van LLM-agenten in gecontroleerde spelomgevingen zoals Bandit, Sokoban en FrozenLake. De analyse toonde het belang aan van verschillende factoren zoals gradientstabiliteit, frequentie en variatie van simulaties, en doordachte beloningsstructuren om daadwerkelijk redeneren in plaats van oppervlakkig handelen te stimuleren.
StarPO-S is een verbeterde versie van het StarPO-framework, met technieken zoals onzekerheidsfiltratie en asymmetrisch clippen om instorting tijdens training te voorkomen. Dit resulteert in stabielere prestaties en efficiëntere training, zelfs in moeilijke taken zoals Sokoban en FrozenLake. Onderzoekers benadrukken dat toekomstig werk zich moet richten op multimodale input, verbeterde doelgerichtheid en bredere toepassingen op domeinen waar verificatie en nauwkeurigheid cruciaal zijn.
Geef een reactie