9 april 2025
Grote multimodale modellen (LMM’s) hebben indrukwekkende vooruitgang geboekt op het gebied van visueel-taalbegrip door training op omvangrijke datasets met gekoppelde afbeeldingen en teksten. Toch hebben ze moeite met complexe kennis uit de echte wereld, vooral informatie die zich pas na de trainingsperiode ontwikkelt of domein-specifieke kennis die beperkt is door privacy of auteursrechten. Bij gebrek aan interne kennis produceren ze vaak hallucinaties, wat hun betrouwbaarheid aantast, vooral wanneer feitelijke nauwkeurigheid cruciaal is.
Retrieval-Augmented Generation (RAG) wordt vaak ingezet om deze beperkingen te omzeilen, maar kent eigen tekortkomingen. Doordat ophalen en genereren gescheiden processen zijn, is end-to-end optimalisatie moeilijk en leidt het rigide “ophalen-dan-genereren” proces tot onnodige vertragingen, vooral wanneer de benodigde kennis al aanwezig is in het model.
Recente ontwikkelingen proberen dit te verbeteren via end-to-end reinforcement learning (RL), zoals toegepast in modellen als OpenAI’s o-series en DeepSeek-R1. Tegelijkertijd tonen onderzoeksmodellen die actief internetinformatie gebruiken aanzienlijke prestatiesprongen. Toch blijven bestaande methodes vaak steken in een suboptimale balans tussen kennisopvraging, redeneringsvermogen en efficiëntie.
Om deze uitdagingen aan te pakken, introduceren onderzoekers MMSearch-R1, een RL-benadering die LMM’s in staat stelt zelfstandig visuele zoekopdrachten uit te voeren. Het richt zich op Visual Question Answering (VQA) en leert modellen wanneer ze externe beeldinformatie moeten opvragen en hoe ze deze het best kunnen gebruiken tijdens het redeneerproces. Hierdoor kunnen modellen beter omgaan met kennisintensieve en langstaartvragen.
MMSearch-R1 combineert geavanceerde data-engineering met een versterkingsleerproces gebaseerd op het GRPO-algoritme. Het integreert een beeldzoektool en maakt gebruik van het FactualVQA-dataset, opgebouwd uit 50.000 visuele concepten uit de MetaCLIP-database. Een gebalanceerde selectie zorgt ervoor dat sommige vragen met en andere zonder zoekopdracht beantwoord kunnen worden, wat het leerdoel ondersteunt.
Testresultaten tonen aan dat MMSearch-R1 de prestaties van LMM’s aanzienlijk verbetert in zowel bekende als onbekende gegevensdomeinen. Het systeem leert effectief omgaan met externe kennisbronnen en past zoekgedrag aan op basis van beeldinhoud. Bovendien blijkt reinforcement learning efficiënter dan traditionele supervised fine-tuning, met betere resultaten bij gebruik van minder trainingsdata. Dit wijst op een veelbelovende stap richting flexibelere en kennisbewuste multimodale systemen.
Geef een reactie