19 maart 2025
Visueel-Linguïstische Modellen (VLM’s) hebben aanzienlijke vooruitgang geboekt in perceptiegerichte taken zoals visuele vraag-antwoorden (VQA) en documentgebaseerde visuele redenering. Toch schieten ze tekort bij taken die intensieve redeneervaardigheden vereisen, vanwege een gebrek aan hoogwaardige en diverse trainingsdatasets. Bestaande multimodale redeneersets kennen meerdere beperkingen: sommige richten zich te specifiek op wetenschappelijke beelden, andere vertrouwen op synthetische data die niet goed generaliseren, en veel zijn te beperkt om diepgaande redeneervaardigheden te ontwikkelen. Daardoor hebben VLM’s moeite met complexe redeneerstaken zoals geëvalueerd in benchmarks zoals MMMU, MathVista en MEGABench. Geautomatiseerde data-analyse is verkend om grootschalige annotaties te vergemakkelijken, maar het ontbreken van grootschalige multimodale datasets blijft een grote uitdaging.
Om multimodale redeneervaardigheden te verbeteren, zijn verschillende benaderingen onderzocht, zoals neurale symbolische redenering, geoptimaliseerde visuele verwerking en gestructureerde redeneerkaders. Toonaangevende modellen zoals GPT-4o en Gemini presteren uitstekend, maar hun beperkte toegankelijkheid heeft geleid tot de ontwikkeling van open-source alternatieven zoals LLaVA en MiniGPT-4. Veel van deze modellen combineren visuele en tekstuele representaties door middel van lichte connectorarchitecturen. Een belangrijke techniek binnen dit domein is Chain-of-Thought (CoT) prompting, die complexe vragen opsplitst in gestructureerde redeneerstappen om logisch redeneren te verbeteren. Modellen zoals Prism en MSG bouwen voort op deze methode, waardoor de perceptie-redeneringspijplijnen verder worden geoptimaliseerd. Het gebrek aan grote, goed geannoteerde multimodale datasets blijft echter een significante belemmering voor verdere vooruitgang.
Onderzoekers van verschillende universiteiten en Netmind.ai hebben VisualWebInstruct ontwikkeld, een omvangrijke multimodale dataset die VLM’s moet verbeteren. Met behulp van Google Image Search verzamelden ze 30.000 afbeeldingen uit vakgebieden zoals wiskunde, natuurkunde en financiën. Uit meer dan 700.000 webpagina’s werden vervolgens 900.000 vraag-antwoordparen geëxtraheerd, waarvan 40% visueel gericht is. Door het model MAmmoTH-VL2 met deze dataset te trainen, presteerde het beter op benchmarks zoals MMMU-Pro-std en Dyna-Math, wat de effectiviteit van de dataset in complex redeneren aantoont.
De dataverzamelingsmethode start met 30.000 wetenschappelijke afbeeldingen uit verschillende disciplines. Vervolgens worden via Google Image Search 758.490 unieke URL’s verzameld, waarbij niet-educatieve bronnen worden gefilterd. Toegankelijkheidsstructuren worden gebruikt om relevante tekst en beelden te extraheren. Het Gemini 1.5 Flash-model controleert de kwaliteit van de vraag-antwoordparen, waarna GPT-4o verdere verfijning uitvoert om consistente antwoorden te waarborgen. Het eindresultaat is VISUALWEBINSTRUCT: een dataset van 1,04 miljoen Q&A-paren, waarvan 38% visuele inhoud bevat. De vragen bestrijken diverse onderwerpen, met een zwaartepunt op wiskunde (62,5%), natuurkunde (14,5%) en financiën (7,25%).
De onderzoekers trainden MAmmoTH-VL2 met VISUALWEBINSTRUCT en evalueerden het model op zeven multimodale benchmarks. Het model combineert een Qwen2.5-7B-Instruct-taalmodel, een SigLip-visuele encoder en een projectiemodule. De training werd uitgevoerd met gesuperviseerde fijn-afstemming, een batchgrootte van 256 en verschillende leersnelheden voor afzonderlijke componenten. MAmmoTH-VL2 presteerde beter dan vergelijkbare open-source modellen, vooral bij wiskundige redeneervragen. Een ablatieanalyse toonde aan dat de combinatie van VISUALWEBINSTRUCT met Llava-CoT de beste resultaten opleverde, wat de waarde van de dataset in uiteenlopende multimodale taken onderstreept.
Deze studie laat zien dat grootschalige multimodale redeneersets kunnen worden gebouwd zonder handmatige annotatie. Dit is de eerste methode die Google Image Search gebruikt om hoogwaardige visuele redeneergegevens te verzamelen, resulterend in toonaangevende prestaties op vijf benchmarks. Door zoekmachines te benutten, biedt VisualWebInstruct een breed scala aan vragen en antwoorden uit verschillende disciplines. Met de verwerking van meer dan 700.000 URL’s en de creatie van bijna 900.000 QA-paren tonen de resultaten de impact van deze dataset aan. MAmmoTH-VL2 behaalde de beste prestaties binnen de 10B-parameterklasse, wat aantoont dat dergelijke datasets krachtige verbeteringen kunnen leveren aan vision-language modellen voor complexe redeneertaken.
Geef een reactie