26 april 2025
In de afgelopen jaren zijn contrastieve taal-beeldmodellen zoals CLIP de standaard geworden voor het leren van visuele representaties, met toepassingen in multimodale domeinen zoals Visual Question Answering (VQA) en documentanalyse. Deze modellen maken gebruik van grootschalige beeld-tekstparen om semantische kennis via taal toe te voegen. Toch brengt deze afhankelijkheid van taal verschillende uitdagingen met zich mee, waaronder moeilijkheden bij het verkrijgen van geschikte datasets en beperkingen in schaalbaarheid van de modellen.
Als alternatief verkent Meta nu visuele zelf-gecontroleerde leermethoden (SSL) zonder taalsupervisie. Ze hebben de WebSSL-reeks van modellen gelanceerd, variërend van 300 miljoen tot 7 miljard parameters, gebaseerd op DINO en Vision Transformers (ViT). Deze modellen zijn uitsluitend getraind op de visuele subset van de MetaCLIP-dataset (MC-2B), wat een directe vergelijking mogelijk maakt tussen WebSSL en CLIP, waarbij specifiek het effect van taal wordt geïsoleerd.
WebSSL gebruikt twee SSL-methodes: joint-embedding learning via DINOv2 en masked autoencoding via MAE. Alle modellen zijn getraind met beelden van 224×224 resolutie en blijven tijdens evaluatie bevroren om eerlijke vergelijkingen mogelijk te maken. Voor de benchmark wordt gebruikgemaakt van Cambrian-1, een suite van zestien VQA-taken, waaronder algemene visuele kennis, OCR en grafiekinterpretatie.
Uit de resultaten blijkt dat de prestaties van WebSSL-modellen vrijwel lineair toenemen bij grotere modelgroottes, in tegenstelling tot CLIP, wiens prestaties na 3 miljard parameters stabiliseren. WebSSL scoort vooral beter bij vision-centrische taken en OCR/grafiektoepassingen, zeker wanneer alleen beelden met visuele tekst zijn gebruikt. Bovendien sluiten door op hogere resolutie te trainen de modellen goed aan bij benchmarks zoals SigLIP.
Opvallend is dat WebSSL, zonder taalsturing tijdens training, toch sterke afstemming vertoont met grote taalmodellen zoals LLaMA-3. Ook presteren de modellen uitstekend op traditionele benchmarks zoals ImageNet en ADE20K. Op veel vlakken overtreft WebSSL zelfs MetaCLIP en DINOv2 in vergelijkbare omstandigheden.
De WebSSL-studie van Meta onderstreept dat visuele zelf-supervisie, mits voldoende geschaald, een krachtig alternatief biedt voor taalgestuurde pretraining. Hiermee wordt de veelgebruikte veronderstelling dat taal essentieel is voor multimodaliteit uitgedaagd en groeit het inzicht in het belang van datasetkwaliteit, modelgrootte en uitgebreide evaluatie binnen diverse toepassingen.
Geef een reactie