Dit AI-paper introduceert R1-Searcher: een op reinforcement learning gebaseerd raamwerk voor het verbeteren van de zoekmogelijkheden van grote taalmodellen.

14 maart 2025

Grote taalmodellen (LLM’s) vertrouwen voornamelijk op hun interne kennis, wat problematisch kan zijn bij het beantwoorden van actuele of complexe vragen. Dit leidt vaak tot onnauwkeurige antwoorden of zogenaamde hallucinaties. Daarom werken onderzoekers aan methoden om LLM’s te verbeteren met externe zoekmogelijkheden, waarbij ze gebruik maken van reinforcement learning om de modellen beter te laten omgaan met het ophalen en integreren van relevante informatie.

Een belangrijk probleem van huidige LLM’s is hun beperkte toegang tot recente en domeinspecifieke kennis. Omdat ze zijn getraind op grote datasets die mogelijk verouderde informatie bevatten, hebben ze moeite met dynamische vragen. Retrieval-augmented generation (RAG) is een bestaande oplossing, maar deze aanpak leunt sterk op gestructureerde prompts en supervisie, wat het vermogen tot generalisatie beperkt. Er is behoefte aan een methode waarmee LLM’s zelfstandig externe zoekopdrachten kunnen uitvoeren, zonder afhankelijk te zijn van handmatige instructies.

Eerdere technieken, zoals iteratieve promptsystemen en tree-based searchmethoden zoals Monte Carlo Tree Search (MCTS), hebben geprobeerd externe zoekfunctionaliteit te integreren. Hoewel deze methoden enige vooruitgang hebben geboekt, vereisen ze veel rekenkracht en zijn ze vaak afhankelijk van gesloten modellen. Bovendien kunnen ze ervoor zorgen dat modellen vast blijven zitten in aangeleerde redeneerstappen, wat hun vermogen om nieuwe vragen aan te pakken beperkt. Hierdoor blijft de noodzaak bestaan voor een efficiëntere en autonomere zoekstrategie.

Onderzoekers van de Renmin University of China en DataCanvas Alaya NeW hebben daarom de R1-Searcher ontwikkeld, een framework op basis van reinforcement learning dat LLM’s helpt effectiever externe kennis op te halen. Dit model functioneert zonder vooraf ingestelde prompts of supervisie en stelt de modellen in staat om zelfstandig zoekstrategieën te leren en toe te passen. Dankzij een tweefasige leerstrategie kan het zich aanpassen aan diverse zoek- en redeneertaken zonder afhankelijk te zijn van eerder geziene data.

In het eerste leerstadium leert de R1-Searcher hoe en wanneer zoekopdrachten uit te voeren, waarbij het model een beloning krijgt op basis van de zoekactie zelf, los van de juistheid van het antwoord. In de tweede fase wordt een aanvullende beloning toegekend als de zoekresultaten bijdragen aan een correcte oplossing. Dit proces bevordert een dynamische integratie van redeneren en externe kennis, waardoor het model nauwkeuriger en flexibeler wordt ten opzichte van eerdere technieken.

Experimenten toonden aan dat R1-Searcher aanzienlijk beter presteerde dan bestaande retrieval-augmented methoden. Op de HotpotQA-dataset nam de nauwkeurigheid met 48,22% toe, terwijl op de 2WikiMultiHopQA-dataset een verbetering van 21,72% werd geregistreerd. Daarnaast presteerde het model beter dan andere systemen op de Bamboogle-dataset met een stijging van 11,4%. Doordat R1-Searcher externe kennis beter benut, vermindert het ook fouten zoals hallucinaties en desinformatie, wat bijdraagt aan betrouwbaardere AI-gegenereerde antwoorden.