13 april 2025
Multimodale embeddings combineren visuele en tekstuele gegevens in één representatieruimte, waardoor systemen beelden en taal op een betekenisvolle manier kunnen interpreteren. Deze technieken ondersteunen uiteenlopende toepassingen zoals visuele vraagbeantwoording, informatieopvraging, classificatie en visuele gronding. Zulke oplossingen zijn met name essentieel voor AI-modellen die zowel visueel als linguïstisch begrip vereisen, bijvoorbeeld bij documentanalyse of visuele zoekmachines.
Een grote uitdaging bij bestaande modellen is het gebrek aan generalisatie over verschillende taken en datatypes. Veel modellen zijn specifiek afgesteld op één taak en presteren minder goed op onbekende datasets. Door het ontbreken van een uitgebreid en uniform benchmarkkader is het lastig om prestaties op multimodale taken goed te evalueren, wat de toepasbaarheid in realistische en domein-overstijgende scenario’s beperkt.
Om dit probleem aan te pakken, hebben onderzoekers van Salesforce Research en de Universiteit van Waterloo het model VLM2VEC ontwikkeld, samen met een benchmark genaamd MMEB. Deze benchmark bestaat uit 36 datasets verdeeld over vier hoofdtypen taken: classificatie, vraagbeantwoording, retrieval en grounding. VLM2VEC maakt met contrastieve training van elk vision-language model een krachtig embeddingmodel dat tekst- en beeldinvoer flexibel aankan.
Bij de ontwikkeling van VLM2VEC maakten de onderzoekers gebruik van bestaande modellen zoals Phi-3.5-V en LLaVA-1.6. Het model genereert embeddings op basis van instructiegebaseerde taken, waarbij via contrastieve training en InfoNCE-verliesfunctie de overeenstemming tussen query’s en doelstellingen wordt gemaximaliseerd. Met behulp van GradCache kon bovendien efficiënt op grote batches worden getraind, zonder dat geheugengrenzen werden overschreden.
De resultaten tonen indrukwekkende prestaties: de beste versie van VLM2VEC, gebaseerd op LLaVA-1.6 met LoRA-afstemming en hoge resolutie (1344×1344), scoorde 62,9% Precision@1 over alle datasets. Ook in zero-shot tests op niet eerder geziene taken bleef de score hoog (57,1%), duidelijk beter dan andere baseline-modellen.
De studie laat zien dat een algemene aanpak mogelijk is die multimodale embeddings effectiever maakt over uiteenlopende taken en domeinen. Dankzij geïntegreerde taak-instructies, contrastieve training en een grondige benchmark zorgen VLM2VEC en MMEB samen voor een krachtige stap richting robuuste, schaalbare en flexibele multimodale AI-oplossingen.
Geef een reactie