17 april 2025
Grote taalmodellen worden steeds vaker ingezet om wiskundige problemen op te lossen die echte redeneerprocessen nabootsen. Deze modellen worden getest op hun vermogen om feitelijke vragen te beantwoorden en meerstapslogica correct toe te passen. Het oplossen van wiskundige opgaven biedt een robuuste manier om te onderzoeken of modellen in staat zijn om relevante informatie te extraheren, complexe uitspraken te interpreteren en accurate uitkomsten te berekenen.
Eén van de voornaamste zorgen is hoe deze modellen presteren wanneer invoer rommelig of ongeorganiseerd is. In realistische situaties zijn vragen vaak voorzien van overbodige achtergrondinformatie of verwarrende details die de redenering kunnen verstoren. Hoewel modellen goed scoren op gestandaardiseerde benchmarks, blijven ze kwetsbaar voor afleiding en verlies van focus bij minder gestructureerde input.
Nieuwe benchmarkvarianten, zoals GSM-Symbolic en GSM-PLUS, hebben aangetoond dat zelfs kleine aanpassingen in tekst de prestaties van modellen aanzienlijk kunnen beïnvloeden. Een ogenschijnlijk relevante, maar overbodige clausule kan de accuraatheid tot wel 65% doen dalen. Dit benadrukt dat veel modellen eerder leunen op oppervlakkige patronen dan op diepgaande logica.
Onderzoekers van het MIT hebben een studie uitgevoerd om te meten hoe taalmodellen omgaan met vier soorten inhoudelijke verstoringen: irrelevante context, misleidende instructies, relevante maar niet-essentiële details, en een combinatie daarvan. In totaal werden 13 modellen getest, variërend van open-source tot commerciële systemen, op basis van 56 zorgvuldig geselecteerde probleemgevallen uit het GSM8K-dataset.
De onderzoekers bewerkten de oorspronkelijke vragen door grote hoeveelheden irrelevante tekst, zoals Wikipedia-artikelen, toe te voegen die tot 90% van de contextruimte innamen. Ook werden instructies toegevoegd die subtiel de redeneerstap konden verstoren. Daarnaast testten ze hoe modellen reageerden op feitelijk correcte maar overbodige informatie, en op input waarbij meerdere verstoringen gecombineerd zijn.
De grootste prestatiedalingen werden gezien bij de irrelevante context, met een gemiddelde afname van 55,89% in nauwkeurigheid. Misleidende instructies lieten een daling zien van 8,52%, terwijl relevante maar niet-essentiële informatie zorgde voor een achteruitgang van 7,01%. Opvallend genoeg was modelgrootte geen betrouwbare voorspeller van robuustheid; grotere modellen presteerden niet noodzakelijk beter. Dit wijst op fundamentele beperkingen in de manier waarop huidige modellen omgaan met complexe en vervuilde input.
Geef een reactie