Versterkend Leren, Geen Fijnstelling: Nemotron-Tool-N1 Leert Grote Taalmodellen Hulpmiddelen te Gebruiken met Minimale Supervisie en Maximale Generalisatie

15 mei 2025

Het gebruik van externe tools bij grote taalmodellen (LLM’s) wordt steeds populairder en levert sterke prestaties op in uiteenlopende toepassingsgebieden. Bestaand onderzoek richt zich veelal op het synthetiseren van trainingsdata met behulp van geavanceerde taalmodellen en fine-tuning, met als doel LLM’s beter te leren omgaan met tool-aanroepen. Een belangrijk knelpunt is echter dat deze synthetische datasets vaak geen expliciete redeneerstappen bevatten, waardoor het model slechts oppervlakkig leert zonder diepere besluitvorming te doorgronden.

Eerdere benaderingen om toolgebruik door LLM’s te verbeteren, zijn doorgaans onder te verdelen in twee strategieën: datasetcuratie en verbeterde trainingsmethoden, en het bevorderen van het redeneervermogen. In de eerste categorie worden grote, gesuperviseerde datasets gecreëerd en technieken zoals SFT en DPO toegepast. In de tweede categorie verschuift de focus naar het stimuleren van redenering op testmomenten, bijvoorbeeld via stapsgewijze supervisie en rewardmodellen.

Onderzoekers van NVIDIA, Penn State en de University of Washington introduceren nu de Nemotron-Research-Tool-N1-reeks, een alternatief dat afwijkt van traditionele fine-tuningmethoden. Geïnspireerd door het DeepSeek-R1-model, past men een nieuwe reinforcement learning-aanpak toe die werkt met een binaire beloningsstructuur. Deze methode maakt het mogelijk om zonder expliciete annotaties toch complexe redeneerstrategieën te ontwikkelen.

Voor het trainen van het model combineren de onderzoekers bestaande datasets zoals xLAM en gedeeltes van ToolACE, beide gericht op synthetische tool-aanroepen in enkele of meerdere stappen. Een eenvoudige promptingtemplate wordt gebruikt om redeneerbewustzijn expliciet aan te sturen, terwijl strikte formatteringsregels worden vermeden om overfitting tegen te gaan. Het hoofdzakelijke basismodel is Qwen2.5-7B/14B-Instruct, aangevuld met evaluaties op LLaMA-varianten voor generalisatietests.

Uit benchmarks blijkt dat Tool-N1 modellen beter presteren dan bestaande alternatieven. Op de BFCL- en API-Bank-tests overtreffen de 7B- en 14B-modellen zelfs gesloten modellen zoals GPT-4o, maar ook speciaal getrainde versies als xLAM-2-70B en ToolACE-8B. Deze resultaten onderstrepen de effectiviteit van het RL-gebaseerde trainingsproces zonder intensieve supervisie.

Samenvattend vertegenwoordigt Tool-N1 een belangrijke vooruitgang in het vermogen van taalmodellen om externe tools zinvol aan te wenden. Door afstand te nemen van traditionele fine-tuning en te kiezen voor een beloningsgestuurde aanpak, ontstaat ruimte voor autonome ontwikkeling van redeneerstrategieën. De positieve resultaten op meerdere benchmarks wijzen op het potentieel van deze methode voor toekomstige, flexibelere AI-systemen.