25 april 2025
Het genereren van gedetailleerde beschrijvingen van specifieke regio’s in beelden of video’s blijft een uitdaging voor vision-language modellen. Terwijl algemene modellen goed presteren bij het maken van globale bijschriften, schieten ze vaak tekort bij het beschrijven van lokale details. Deze beperkingen zijn nog groter bij video’s, vanwege de complexiteit van beweging en tijd. Belangrijke obstakels zijn het verlies van detail tijdens visuele extractie, een tekort aan geschikte gelabelde datasets, en evaluatiemethoden die nauwkeurige uitvoer onterecht kunnen afstraffen.
NVIDIA heeft met Describe Anything 3B (DAM-3B) een taal-visiemodel ontwikkeld dat is afgestemd op het maken van fijnmazige, regio-specifieke omschrijvingen van zowel beelden als video’s. DAM-3B accepteert invoer via punten, rechthoeken, markeringen of maskers, en genereert contextueel passende beschrijvingen, ook wanneer de input uit bewegend beeldmateriaal bestaat.
Het model bevat twee technologische kerncomponenten: een ‘focal prompt’ en een speciaal aangepaste visuele backbone met gated cross-attention. Deze architectuur combineert een volledige afbeelding met een hoge-resolutie uitsnede van de doelregio. Hierdoor wordt zowel context als detail behouden, zonder dat dit extra rekenkracht of tokens vereist.
DAM-3B-Video breidt deze aanpak uit naar de tijdsdimensie. Door regionale informatie per frame te coderen en over tijd te integreren, kan het model ook bewegende of gedeeltelijk zichtbare objecten nauwkeurig beschrijven. Dit maakt het systeem bijzonder nuttig in complexe videotoepassingen.
Voor de training ontwikkelde NVIDIA de DLC-SDP pipeline, een semi-gesuperviseerde methode die gebruikmaakt van segmentatiegegevens en een omvangrijke dataset met webafbeeldingen. Hiermee is een trainingsverzameling van 1,5 miljoen lokale voorbeelden samengesteld. De bijschriften worden verfijnd via zelflerende technieken om de kwaliteit te waarborgen.
De prestaties van DAM-3B worden geëvalueerd met DLC-Bench, een benchmark gericht op de nauwkeurigheid van eigenschappen in plaats van exacte tekstovereenkomsten. Het model presteert beter dan gevestigde namen als GPT-4o en VideoRefer en behaalt 67,3% nauwkeurigheid gemiddeld over diverse evaluatietaken. Deze resultaten bevestigen de doeltreffendheid van het model in zowel detailniveau als taalprecisie.
Geef een reactie