4 maart 2025
Onderzoek naar grootschalige taalmodellen (LLM’s) heeft geleid tot methoden zoals Chain-of-Thought (CoT)-prompting om complexe problemen op te splitsen in opeenvolgende stappen. Nieuwere technieken, zoals o1-achtige denkmodi, introduceren extra mogelijkheden zoals trial-and-error, terugspoelen en iteratie om prestaties te verbeteren. Echter, deze verbeteringen brengen aanzienlijke computationele kosten met zich mee. Het genereren van een groter aantal tokens vergroot het geheugengebruik door beperkingen van de Transformer-architectuur, waarbij de attentiecomplexiteit kwadratisch toeneemt met de contextlengte en KV Cache-gebruik lineair stijgt. Bij een contextlengte van 10.000 tokens verbruikt bijvoorbeeld Qwen32B’s KV Cache evenveel geheugen als het volledige model.
Bestaande methoden om LLM-inferentie te versnellen vallen in drie categorieën: modelkwantisatie, minder tokens genereren en KV Cache-reductie. Kwantisatie omvat parameter- en cache-optimalisatie. Voor KV Cache-reductie vormen pruning-gebaseerde en merging-gebaseerde strategieën de belangrijkste technieken. Pruning behoudt alleen essentiële tokens tijdens inferentie zonder extra training, maar vereist een voortdurend selectieproces. Merging comprimeert informatie door anker-tokens, wat wel modeltraining vereist. Beide methoden verminderen geheugengebruik zonder dat de nauwkeurigheid sterk afneemt.
Onderzoekers van de Zhejiang Universiteit en Ant Group hebben LightThinker ontwikkeld, een techniek die LLM’s in staat stelt om tussentijdse redeneerstappen dynamisch te comprimeren. Geïnspireerd door menselijke cognitieve processen vat LightThinker uitvoerige denkstappen compact samen en verwijdert overbodige redeneringsketens. Hierdoor wordt het aantal opgeslagen tokens drastisch verminderd. Daarnaast introduceerden de onderzoekers een afhankelijkheidsmetric (Dep) om te meten in hoeverre gegenereerde tokens op eerdere tokens steunen. LightThinker vermindert geheugengebruik en inferentietijd aanzienlijk, terwijl de nauwkeurigheid behouden blijft, wat bijdraagt aan efficiëntere complexe redeneertaken.
Het systeem werd getest op de Qwen2.5-7B- en Llama3.1-8B-modellen met een volledige parametrische instructietraining op het Bespoke-Stratos-17k dataset. Vergelijkingen werden uitgevoerd met vijf basismodellen: twee trainingvrije methoden (H2O en SepLLM), één traininggebaseerde aanpak (AnLLM) en CoT-prompting. Evaluaties over vier datasets (GSM8K, MMLU, GPQA en BBH) beoordeelden zowel effectiviteit als efficiëntie, inclusief inferentietijd en geheugengebruik. Twee compressieprocessen werden getest: token-niveau reductie en gedachte-niveau segmentatie met behulp van delimitertekens (\n\n).
Resultaten tonen dat Distill-R1 structureel minder presteert dan CoT, mede door herhalingseffecten bij greedy decoding. H2O behoudt prestaties terwijl het geheugen verbruikt vermindert, maar verhoogt de inferentietijd met 51% voor Qwen en 72% voor Llama. LightThinker bereikt een vergelijkbare compressiegraad als H2O, maar verlaagt de inferentietijd aanzienlijk (52% voor Qwen en 41% voor Llama). Hierdoor verbetert het zowel geheugen- als rekenefficiëntie zonder prestatieverlies.
Hoewel LightThinker veelbelovend is, kent de methode enkele beperkingen. De compatibiliteit met parameter-efficiënte technieken zoals LoRA of QLoRA is nog niet onderzocht. Ook is het onduidelijk of grotere trainingsdatasets de prestatie verder kunnen verbeteren. Bovendien presteert het minder goed op Llama-modellen wanneer kleine datasets worden gebruikt bij next-token predictie. Verdere optimalisatie is nodig om de prestaties op verschillende modellen en trainingsdata te stabiliseren.
Geef een reactie