29 maart 2025
Compressie vormt een essentieel onderdeel van computationele intelligentie, gebaseerd op de theorie van Kolmogorov-complexiteit. Deze theorie stelt dat de meest efficiënte representatie van een gegevensreeks de kortste mogelijke computerinstructie is die die reeks kan reproduceren. In tegenstelling tot conventionele compressiemethoden die herhaling zoeken, draait Kolmogorov-complexiteit om het ontdekken van onderliggende structuren via programmatische benaderingen. Deze benadering is theoretisch krachtig, maar onberekenbaar in de praktijk.
De opkomst van grote taalmodellen die code kunnen genereren biedt nieuwe mogelijkheden om deze theoretische grens te benaderen. Toch blijkt uit experimenten dat deze modellen vaak de invoer letterlijk kopiëren in plaats van efficiënte code te schrijven die dezelfde output genereert. Dit wijst op een beperking in hun vermogen om diepere patronen te identificeren, vooral bij complexe gegevens zoals tekst, audio en DNA.
Huidige compressietools variëren van klassieke algoritmen zoals GZIP tot neurale netwerken. Terwijl GZIP goed presteert op lange herhalende reeksen, zijn moderne modellen vaak afhankelijk van toegang tot volledige gewichten tijdens decodering, wat hun praktische bruikbaarheid beperkt. Codegeneratie met modellen als GPT-4 en LLaMA laat zien dat deze systemen moeite hebben om nauwkeurige en compacte code te produceren, vooral voor onbekende of ingewikkelde reeksen.
Onderzoekers van Meta AI en de Universiteit van Tel Aviv ontwikkelden de Kolmogorov-Test (KT), een benchmark die evalueert hoe goed taalmodellen in staat zijn om de kortste code te genereren die een gegevensreeks reproduceert. In tegenstelling tot traditionele benchmarks ligt de focus hier op logisch redeneren en programmabouw. De test gebruikt zowel natuurlijke data als synthetische reeksen gegenereerd via een domeinspecifieke taal (DSL) die complexe bewerkingen mogelijk maakt zoals sorteren en filteren.
Met behulp van deze DSL werd een geautomatiseerd systeem opgezet dat miljoenen programma-reeksparen kon genereren. Deze dienden als trainings- en testdata voor diverse modellen. De prestaties werden gemeten aan de hand van accuraatheid — of het programma de juiste output levert — en precisie — hoe efficiënt de gegenereerde code is vergeleken met GZIP. Vooral in synthetische gegevens scoorde het speciaal getrainde SEQCODER-model hoog, maar het faalde bijna volledig bij realistische data.
De resultaten tonen aan dat zelfs de krachtigste modellen, zoals GPT-4, aanzienlijke moeite hebben met het comprimeren van echte gegevens via code. Dit benadrukt de uitdaging van generalisatie van synthetische naar natuurlijke gegevens. De KT-benchmark biedt daarmee een strenge maatstaf voor toekomstige systemen die compressie en redenering willen combineren en wijst op de noodzaak voor vernieuwende trainingsbenaderingen.
Geef een reactie