Is geautomatiseerde hallucinatiedetectie in grote taalmodellen haalbaar? Een theoretisch en empirisch onderzoek

9 mei 2025

Recente vooruitgang in Large Language Models (LLM’s) heeft gezorgd voor aanzienlijke verbeteringen in taalbegrip, redenering en tekstgeneratie. Deze modellen presteren inmiddels sterk op uiteenlopende taken, zoals het oplossen van wiskundige problemen en het genereren van contextuele antwoorden. Toch blijft één probleem hardnekkig bestaan: hallucinaties, oftewel foutieve maar overtuigende antwoorden. Deze ondermijnen de betrouwbaarheid van LLM’s, met name in kritieke toepassingen.

Hoewel het gebruik van LLM’s om hallucinaties te detecteren veelbelovend lijkt, blijkt uit studies dat zij zonder externe begeleiding vaak onderdoen voor menselijke beoordelaars. Er is meestal gelabelde feedback nodig om de prestaties te verbeteren. Dit roept de vraag op of geautomatiseerde detectie van hallucinaties inherent moeilijk is, of haalbaar wordt naarmate modellen verbeteren.

Zowel theoretische als empirische onderzoeken hebben dit onderzocht. Vanuit klassieke leertheorieën, zoals het Gold-Angluin model, analyseren onderzoekers of betrouwbare generatie en detectie haalbaar zijn binnen bepaalde beperkingen. Sommigen wijzen op fundamentele architecturale beperkingen van LLM’s, zoals het omgaan met samengestelde functies. In de praktijk worden technieken als SelfCheckGPT ingezet, evenals methoden die gebruikmaken van interne modeltoestanden of gelabelde trainingsdata.

Onderzoekers van Yale University introduceren een theoretisch raamwerk waarin hallucinatiedetectie wordt gezien als een taalkundig identificatieprobleem, geïnspireerd op het Gold-Angluin model. Zij concluderen dat detectie niet mogelijk is wanneer alleen positieve, correcte voorbeelden worden gebruikt. Zodra echter ook negatieve, gelabelde voorbeelden beschikbaar zijn, wordt detectie wel uitvoerbaar.

De aanpak laat zien dat een algoritme dat een taal kan identificeren in de limiet, ook hallucinaties kan detecteren in de limiet. Omgekeerd kan taalidentificatie worden herleid tot hallucinatiedetectie. Door inconsistenties in output te analyseren en niet-kloppende antwoorden uit te sluiten, identificeert het algoritme de taal zonder hallucinaties.

De studie presenteert een formeel model waarin een leerling interacteert met een tegenstander. De leerling ontvangt opeenvolgende voorbeelden en moet op basis daarvan vaststellen welke voorbeelden wél of niet tot de correcte taal behoren. Cruciaal daarbij is de beschikbaarheid van gelabelde data; met voldoende negatieve voorbeelden is detectie voor elke telbare verzameling talen mogelijk. Dit benadrukt het belang van menselijke feedback, zoals bij reinforcement learning, om de betrouwbaarheid van LLM’s te waarborgen.