LLM’s Kunnen Nu Leren om het Opnieuw te Proberen: Onderzoekers uit Menlo Introduceren ReZero, een Versterkend Leerframework dat Het Opnieuw Proberen van Vragen Beloont om Zoekgebaseerd Redeneren in RAG-Systemen te Verbeteren

21 april 2025

De ontwikkeling van grote taalmodellen (LLM’s) heeft zich snel uitgebreid met technieken die externe kennis integreren in hun redeneerproces. Een belangrijke innovatie hierin is Retrieval-Augmented Generation (RAG), waarmee modellen toegang krijgen tot actuele of gespecialiseerde informatie via externe zoekopdrachten. Dit vergroot hun vermogen om kennisintensieve vraagstukken op te lossen. Naarmate taken complexer worden, wordt het echter steeds belangrijker dat deze modellen beter leren omgaan met zoeksystemen.

Een zwakke plek in bestaande RAG-systemen is de afhankelijkheid van de kwaliteit van zoekopdrachten. Als een model een ineffectieve query genereert, heeft het vaak geen strategie om te herstellen. Veel modellen gaan er nog van uit dat één goede zoekopdracht volstaat, wat leidt tot foutieve of onvolledige uitkomsten bij complexe taken die herformulering en doorzettingsvermogen vereisen.

Om dit te verbeteren, zijn technieken ontwikkeld zoals Process Reward Models (PRMs) en DeepRetrieval die belonen op basis van tussentijdse redeneringen of eindresultaten. Toch blijven ze tekortschieten in het stimuleren van doorzettingsvermogen na mislukte zoekpogingen. Zonder een expliciete beloning voor retry-gedrag blijven modellen snel opgeven als de eerste poging niet slaagt.

Menlo Research heeft ReZero geïntroduceerd, een nieuw raamwerk dat LLM’s leert volhardend te zoeken door hernieuwde querypogingen actief te belonen. Deze aanpak, gebaseerd op reinforcement learning, waardeert het proces van het opnieuw proberen zodra een eerdere zoekpoging mislukt. Hierdoor leert het model om, net als mensen, zijn aanpak aan te passen wanneer directe resultaten uitblijven.

Voor de training van ReZero is gebruikgemaakt van de Llama3-23B-Instruct en het Apollo 3-dataset. De onderzoekers trainden het model met vijf beloningen: juistheid, formaat, inhoudsrelevantie, strategisch zoekgedrag en retry-acties. Pas als herhaalde queries tot een correct antwoord leiden, wordt de beloning toegekend. Dit voorkomt inefficiënt gebruik van retries en stimuleert gerichte verbeteringen in het zoekproces.

Tijdens testen presteerde ReZero aanzienlijk beter dan het baseline-model; het behaalde een pieknauwkeurigheid van 46,88% tegen 25,00% zonder retry-beloning. Beide modellen ervoeren echter een prestatieval na langere training, wat wijst op mogelijke overfitting of instabiliteit bij langdurige reinforcement learning. ReZero toont aan dat volharding een trainbare vaardigheid is binnen geavanceerde zoekgebaseerde AI-systemen.