17 maart 2025
Grote taalmodellen (LLMs) spelen een belangrijke rol in klantenservice, geautomatiseerde contentcreatie en informatievoorziening. Hun effectiviteit wordt echter beperkt door problemen met het consequent volgen van instructies over meerdere interacties. Dit probleem is vooral zorgwekkend in sectoren zoals de financiële dienstverlening en klantensupport, waar nauwkeurigheid en naleving van richtlijnen essentieel zijn. LLMs vertonen vaak moeite met het onthouden van instructies, wat leidt tot afwijkingen in gedrag en het genereren van foutieve of misleidende informatie, ook wel hallucinaties genoemd.
Een belangrijke uitdaging voor LLMs is het behouden van consistente redenering in complexe gesprekken. Hoewel ze eenvoudige vragen goed kunnen beantwoorden, neemt hun nauwkeurigheid af bij langer durende dialogen waarin eerdere interacties een rol spelen. Een specifiek probleem is alignment drift, waarbij modellen geleidelijk van de oorspronkelijke instructies afwijken, wat kan leiden tot verkeerde interpretaties. Daarnaast vergeten modellen vaak eerdere context ten gunste van recentere informatie, wat fouten veroorzaakt. Bestaande benaderingen, zoals Chain-of-Thought (CoT) en verificatie-gebaseerde prompts, verbeteren de prestaties, maar bieden onvoldoende structuur om consequent correcte antwoorden te garanderen.
Om deze beperkingen aan te pakken, hebben onderzoekers van Emcie Co Ltd Attentive Reasoning Queries (ARQs) ontwikkeld. Dit is een op structuur gebaseerde methode die LLMs helpt om instructies op een systematische manier te volgen. In plaats van vrij te redeneren, maken ARQs gebruik van een gedefinieerd JSON-schema dat modellen naar specifieke beslismomenten leidt. Dit helpt om richtlijnen beter na te leven en voorkomt misinterpretaties of verlies van context. De effectiviteit van deze aanpak werd geëvalueerd in Parlant, een framework voor AI-gebaseerde klantoplossingen, waarbij ARQs zorgden voor merkbare verbeteringen in instructienaleving en reductie van hallucinaties.
De ARQ-methode bestaat uit verschillende fasen die de redeneercapaciteit van modellen versterken. Eerst worden gerichte en gestructureerde vragen gesteld die het model herinneren aan de belangrijkste richtlijnen voordat een antwoord wordt gegenereerd. Tijdens het redeneringsproces worden stap-voor-stap vragen gebruikt om de instructies verder te verankeren. In sommige gevallen volgt een extra verificatiefase, waarin het model de nauwkeurigheid van zijn eigen antwoord controleert. Deze gestructureerde aanpak onderscheidt zich duidelijk van CoT, doordat het model op elk moment wordt begeleid en gecontroleerd.
Tests met ARQs binnen Parlant laten veelbelovende resultaten zien. In een experimentele opstelling met 87 gespreksscenario’s behaalde ARQs een succespercentage van 90,2%, vergeleken met 86,1% voor CoT en 81,5% voor directe responsgeneratie. Met name in gevallen waarbij eerdere richtlijnen opnieuw moesten worden toegepast, presteerden ARQs beter dan CoT, met een succespercentage van 92,19% tegenover 87,81%. Bovendien verminderden ARQs hallucinaties met 23% ten opzichte van de standaard CoT-methode, wat hun waarde aantoont voor AI-toepassingen waarin feitelijke nauwkeurigheid cruciaal is.
De studie wijst op meerdere voordelen van ARQs. Ze verbeteren niet alleen de instructienaleving en nauwkeurigheid, maar verminderen ook het aantal tokens dat in classificatietaken wordt gebruikt met 29%, wat de efficiëntie verhoogt. De ingebouwde verificatie helpt alignment drift tegen te gaan, zodat modellen zich aan vooraf gedefinieerde richtlijnen blijven houden, zelfs in langere gesprekken. Toekomstig onderzoek richt zich op verdere optimalisatie van ARQs, met verbeterde queryontwerpen en bredere toepassingen in AI-gestuurde besluitvorming.
Geef een reactie