7 mei 2025
Geheugen speelt een essentiële rol in AI-systemen gebaseerd op grote taalmodellen (LLMs), vooral om langdurige, coherente interacties mogelijk te maken. Hoewel eerdere onderzoeken aspecten van geheugen bij LLMs belichten, ontbreekt vaak een diepgaande analyse van de onderliggende processen die geheugenoperaties aansturen. Elementen zoals opslag, ophalen, en generatie op basis van geheugen worden doorgaans los van elkaar onderzocht, waardoor een geïntegreerd model ontbreekt dat deze bouwstenen samenbrengt.
Bestaande overzichtsstudies behandelen meestal slechts deelgebieden van geheugengebruik, zoals lange contextverwerking, personalisatie en kennisaanpassing. Hierdoor blijven fundamentele activiteiten zoals indexering onderbelicht en ontbreekt vaak een volledig overzicht van hoe geheugen in AI functioneert. Bovendien bieden deze studies zelden duidelijke afbakening van het onderzoeksveld, noch praktische hulpmiddelen of benchmarks om verdere ontwikkeling te ondersteunen.
Onderzoekers van onder meer de Chinese Universiteit, de Universiteit van Edinburgh, HKUST en Poisson Lab van Huawei UK presenteerden een uitgebreid overzicht waarin geheugen wordt onderverdeeld in parametrisch, contextueel-gestructureerd en contextueel-ongestructureerd. Ze maken onderscheid tussen kortetermijn- en langetermijngeheugen op basis van inzichten uit cognitieve psychologie. Zes kernoperaties worden gedefinieerd: consolidatie, actualisatie, indexering, vergeten, ophalen en compressie.
Door meer dan 30.000 publicaties te analyseren en te classificeren, koppelden de onderzoekers elk type geheugen en bijbehorende operaties aan invloedrijke onderzoeksgebieden zoals langetermijngeheugen, lange contexten, parametrische aanpassing en integratie van meerdere gegevensbronnen. Ze introduceerden tevens relevante hulpmiddelen en benchmarks, waarmee het veld systematisch in kaart wordt gebracht.
De studie introduceert een gelaagd ecosysteem van geheugen-gecentreerde AI-systemen. Deze omvatten onder andere basisonderdelen zoals vectoropslag, LLMs (waaronder GPT-4), retrievaltools als FAISS, operationele raamwerken zoals LangChain, en geavanceerde laagtoepassingen zoals Memary en Memobase. Samen ondersteunen ze langdurige contexttracking, personalisatie en adaptief gedrag bij AI-interacties.
Tot slot worden toekomstige uitdagingen besproken, waaronder het beheer van spatio-temporeel geheugen, efficiënt parametisch ophalen, levenslang leren en veilige geheugenmanipulatie. Er is ook aandacht voor inspiratie uit biologische modellen, met nadruk op duale en hiërarchische geheugenarchitecturen. Toekomstig onderzoek richt zich op uniforme geheugenrepresentaties, samenwerking tussen meerdere AI-agenten en het waarborgen van geheugenzekerheid tegen kwaadaardige manipulaties.
Geef een reactie