Multimodale modellen hebben geen late fusie nodig: Apple-onderzoekers tonen aan dat early-fusion-architecturen schaalbaarder, efficiënter en modaliteits-agnostisch zijn.

16 april 2025

Multimodale kunstmatige intelligentie staat voor fundamentele uitdagingen bij het integreren en verwerken van diverse soorten gegevens. Huidige methoden vertrouwen vaak op late-fusie, waarbij afzonderlijk getrainde modellen, zoals beeld- en taalmodellen, aan elkaar worden gekoppeld. Hoewel deze aanpak handig is, kan deze de vermogens van het model om diepe verbanden tussen modaliteiten te begrijpen beperken. Bovendien brengt het opschalen van zulke samengestelde systemen extra complexiteit met zich mee en belemmert het een efficiënte verdeling van rekenkracht.

Onderzoekers van de Sorbonne Universiteit en Apple onderzochten alternatieve architecturen waarbij modellen vanaf nul worden getraind op multimodale data. Ze vergeleken vroege-fusie—waarbij de gegevens meteen gezamenlijk worden verwerkt—met late-fusie en ontdekten dat vroege-fusie efficiënter is. Beide benaderingen leveren vergelijkbare prestaties wanneer ze vanaf nul worden getraind, maar vroege-fusie biedt voordelen bij lagere rekenbudgetten en is makkelijker schaalbaar.

De studie toonde aan dat vroege-fusie-modellen groeipatronen volgen die lijken op die van tekstmodellen, met slechts kleine verschillen afhankelijk van het soort data. Late-fusie-modellen bleken meer parameters nodig te hebben om optimaal te presteren. Vroege-fusie heeft dus voordelen qua efficiëntie en vereenvoudigt training, zeker wanneer het rekenvermogen beperkt is.

Een belangrijke uitbreiding betrof het gebruik van Mixture of Experts (MoE)-architecturen. Hierbij worden specialistische submodules geactiveerd afhankelijk van de inputmodaliteit, zonder dat dit veel extra rekenkosten met zich meebrengt. Deze opzet levert aanzienlijke prestatieverbeteringen op vergeleken met dichte modellen, vooral bij kleinere modelgroottes.

De analyse van opschalingswetten wees uit dat in sparse modellen de verhouding tussen getrainde tokens en actieve parameters bepalend is, waarbij tokenvolume belangrijker wordt naarmate compute-capaciteit toeneemt. Daarbij presteert een aanpak zonder expliciete routing per modaliteit consequent beter dan een modaliteitsgerichte benadering, wat indruist tegen eerdere aannames over specialisatie.

Samengevat laten de onderzoekers zien dat native vroege-fusie-architecturen niet alleen efficiënter en beter schaalbaar zijn, maar ook betere prestaties leveren in multimodale taken. Deze bevindingen stellen de dominantie van late-fusie-modellen ter discussie en suggereren dat toekomstbestendige AI-systemen baat hebben bij unified modellen met dynamische parameterverdeling.