24 maart 2025
Grote taalmodellen (LLM’s) evolueren snel tot autonome agenten die complexe taken kunnen uitvoeren waarbij redeneren, beslissingen nemen en aanpassingsvermogen vereist zijn. Ze worden ingezet voor webnavigatie, persoonlijke assistentie en softwareontwikkeling. Voor effectieve interacties in realistische scenario’s moeten deze agenten multi-turn gesprekken voeren, wat vraagt om trainingsmethoden die verder gaan dan eenvoudige responsgeneratie en zich richten op de gehele interactietrajecten. Versterkend leren (RL) blijkt een veelbelovende aanpak om deze agenten te trainen door hun besluitvorming te verfijnen op basis van langetermijnbeloningen.
Ondanks hun potentieel ondervinden LLM-gebaseerde agenten moeilijkheden bij multi-turn besluitvorming. Een belangrijke uitdaging is het correct toewijzen van verdiensten aan eerdere acties die latere uitkomsten beïnvloeden. Traditionele trainingsmethoden, zoals het voorspellen van het volgende token of het nabootsen van waarschijnlijke acties, houden geen rekening met langetermijnafhankelijkheden. Hierdoor blijft de effectiviteit van deze modellen beperkt bij complexe taken, vooral in samenwerkingsscenario’s waar begrip van menselijke intenties cruciaal is.
Onderzoekers van FAIR bij Meta en UC Berkeley hebben een nieuw versterkend leerproces genaamd SWEET-RL ontwikkeld, specifiek gericht op multi-turn interacties. Ze introduceerden ook CollaborativeAgentBench (ColBench), een benchmark met meer dan 10.000 trainingstaken en 1.000 testscenario’s op het gebied van backend-programmering en frontend-ontwerp. In deze taken moeten AI-agenten samenwerken met menselijke partners, vragen stellen en stapsgewijs oplossingen verfijnen. Dit helpt om de cognitieve vaardigheden van de agenten te evalueren en nabootsing van realistische werkvloerscenario’s mogelijk te maken, beperkt tot tien beurten per sessie.
SWEET-RL maakt gebruik van een asymmetrisch actor-criticusmodel, waarbij de criticus tijdens het trainen toegang heeft tot extra informatie, zoals de correcte oplossing. Dit stelt de criticus in staat om beslissingen nauwkeuriger te beoordelen. In plaats van een totale beloningswaarde te leren, richt het model zich op een voordeelfunctie per beurt, waardoor agenten preciezere acties kunnen leren uitvoeren. Dit verbeterde toewijzing van beloningen en sluit beter aan bij de manier waarop LLM’s al getraind worden.
Bij testen behaalde SWEET-RL een significante verbetering ten opzichte van andere RL-methoden. Voor backend-programmering slaagde het in 34,4% van de gevallen, tegenover 28,2% bij Multi-Turn DPO. Voor frontend-ontwerp werd een cosinus-similariteitsscore van 76,9% en een winstpercentage van 40,4% behaald, beter dan eerdere methoden. Bovendien kon de open-source Llama-3.1-8B model dankzij SWEET-RL presteren op het niveau van GPT-4o in frontend-taken, waardoor de afhankelijkheid van propriëtaire modellen verminderde.
Dit onderzoek onderstreept het belang van gedetailleerde, beurt-voor-beurt feedback voor effectieve training van interactieve agenten. SWEET-RL verbetert de generalisatie, vermindert variatie in training en is goed schaalbaar met meer gegevens. Daarnaast presteert het model sterk, zelfs met off-policy datasets, waardoor het praktisch toepasbaar is in realistische omgevingen. Door de introductie van ColBench als benchmark biedt deze aanpak een solide basis voor AI-agenten die effectief kunnen redeneren, zich aanpassen en samenwerken in complexe interacties.
Geef een reactie