24 mei 2025
Multimodale wiskundige redenering stelt machines in staat om problemen op te lossen waarbij zowel tekstuele informatie als visuele elementen, zoals diagrammen en afbeeldingen, een rol spelen. Dit vereist een combinatie van taalbegrip en visuele interpretatie om complexe wiskundige contexten correct te begrijpen. Zulke functies zijn van groot belang in het onderwijs, digitale bijles en documentanalyse, waar wiskundige opgaven vaak in tekst en beeld worden gepresenteerd.
Een belangrijke uitdaging is het gebrek aan nauwkeurige koppeling tussen wiskundige afbeeldingen en hun bijbehorende tekstuele of symbolische vertalingen. Bestaande datasets zijn meestal gebaseerd op algemene beeldonderschriften die niet de fijnmazige informatie bevatten die essentieel is voor correcte wiskundige interpretatie. Hierdoor presteren huidige modellen slecht bij het verwerken van technische figuren of meetkundige diagrammen.
Eerdere pogingen om deze uitdaging aan te pakken, richtten zich op het verbeteren van visuele encoders of het genereren van datasets met handgemaakte sjablonen. Deze benaderingen beperken zich echter tot lage beeldvariatie en missen generaliseerbaarheid bij complexere problemen. Projecten zoals Math-LLaVA en MAVIS bleven hiermee beperkt in hun vermogen om divers en realistisch wiskundig beeldmateriaal te creëren.
Onderzoekers van The Chinese University of Hong Kong en CPII ontwikkelden daarom MathCoder-VL, een innovatieve aanpak die een vision-to-code model, FigCodifier, combineert met een synthetische data-engine. Dit leidde tot het creëren van de ImgCode-8.6M dataset via een model-in-the-loop methode, samen met MM-MathInstruct-3M, een instructiedataset verrijkt met gegenereerde beelden. Het model volgt een tweestaps-trainingsproces dat de koppeling tussen beeld en tekst optimaliseert en het redeneervermogen versterkt.
De FigCodifier zet wiskundige afbeeldingen om in code waarmee die beelden exact kunnen worden gereproduceerd. Dit garandeert een strikte visueel-tekstuele afstemming, wat caption-gebaseerde datasets niet bieden. De dataset werd opgebouwd met 119.000 paren uit DaTikZ en uitgebreid tot 8,6 miljoen paren uit bronnen zoals schoolboeken, K12-datasets en arXiv-publicaties. Via filtermechanismen werd de uiteindelijke dataset gezuiverd tot 4,3 miljoen hoogwaardige beeld-code combinaties in zowel TikZ- als Python-formaat.
Uit evaluaties blijkt dat MathCoder-VL beter presteert dan diverse open-source modellen. Het behaalde 73,6% nauwkeurigheid op het MathVista Geometry-subset, waarmee het modellen als GPT-4o en Claude 3.5 Sonnet ruim overtrof. Daarnaast scoorde het model sterk op benchmarks als MATH-Vision, MathVerse en GAOKAO-MM. In meervoudig stapsgewijze opgaven bleef MathCoder-VL consistent beter dan GPT-4o. Dankzij deze sterke resultaten toont de aanpak aan hoe goed ontworpen modellen in combinatie met nauwkeurige datasets de barrières in wiskundige AI kunnen doorbreken.
Geef een reactie