Categorie: Uncategorized

  • AI-agenten zijn gearriveerd – en de bedreigingen ook: Unit 42 onthult de top 10 beveiligingsrisico’s van AI-agenten.

    AI-agenten zijn gearriveerd – en de bedreigingen ook: Unit 42 onthult de top 10 beveiligingsrisico’s van AI-agenten.

    4 mei 2025

    Naarmate AI-agenten evolueren van prototypes naar grootschalige toepassingen, ontstaan er nieuwe beveiligingsrisico’s. Een recent rapport van Unit 42 van Palo Alto Networks onderzoekt hoe zogenaamde agentic-architecturen, ondanks hun innovatieve mogelijkheden, kwetsbaar zijn voor uiteenlopende aanvallen. Deze risico’s komen niet voort uit de frameworks zelf, maar uit de manier waarop AI-agenten zijn ontworpen, ingezet en verbonden met externe tools.

    Onderzoek van Unit 42 toont aan dat verschillende ontwikkelplatforms – zoals CrewAI en AutoGen – dezelfde zwakke plekken vertonen. De problemen zitten vooral in foutieve configuraties, risicovolle tool-integraties en onveilige prompt-ontwerpen. Dit wijst op het belang van een framework-onafhankelijke aanpak voor het beveiligen van agentic systemen.

    Het rapport identificeert tien belangrijke dreigingen, waaronder promptinjectie, onvoldoende gecontroleerde tool-toegang en het onbedoeld vrijgeven van inloggegevens. Onveilige code-uitvoering en gebrekkige laagbescherming vergroten het potentieel voor misbruik. Zonder passende afscherming en monitoring lopen deze AI-agenten het risico misbruikt te worden voor datadiefstal of het uitvoeren van kwaadwillige commando’s.

    Aan de hand van gesimuleerde aanvallen demonstreert Unit 42 reële bedreigingen, zoals het extraheren van gevoelige instructies via promptmanipulatie, credential diefstal via scripts in metadata, en SQL-injectie door ongeschermde inputs. Deze aanvallen maken vooral gebruik van gebrekkige ontwerpbeslissingen en niet van onbekende kwetsbaarheden.

    De studie benadrukt dat geïsoleerde oplossingen niet volstaan. Beveiliging van AI-agenten vereist een holistische benadering met onder andere strengere promptdefinities, real-time controle van agentcommunicatie, en robuuste isolatie van code-uitvoering. Input validatie en beperking van toegangsrechten zijn essentieel om de aanvalsoppervlakte in te perken.

    Tot slot waarschuwt Unit 42 dat de beveiliging van AI-agenten een prioriteit moet zijn nu deze technologie steeds breder wordt ingezet. Aangezien agenten externe tools kunnen gebruiken, zichzelf aanpassen en autonome beslissingen nemen, ontstaat een grotere kans op misbruik. Alleen met weloverwogen ontwerpprincipes en meervoudige verdedigingslagen kunnen organisaties deze risico’s beheersen.

  • Het trainen van LLM-agenten is net stabieler geworden: Onderzoekers introduceren StarPO-S en RAGEN om multi-turn redeneren en instorting in reinforcement learning aan te pakken.

    Het trainen van LLM-agenten is net stabieler geworden: Onderzoekers introduceren StarPO-S en RAGEN om multi-turn redeneren en instorting in reinforcement learning aan te pakken.

    3 mei 2025

    Grote taalmodellen (LLM’s) ondervinden aanzienlijke uitdagingen wanneer ze worden getraind als autonome agenten in interactieve omgevingen. In tegenstelling tot statische taken vereisen deze omgevingen beslissingen over meerdere stappen, geheugenbehoud tussen interacties en aanpassing aan onvoorspelbare feedback. Deze vaardigheden zijn cruciaal voor toepassingen zoals planassistenten, robotsystemen en educatieve AI-agents. Hoewel reinforcement learning (RL) wordt gebruikt met regelgebaseerde beloningen, blijft het ontwikkelen van adaptieve, zelfverbeterende agents grotendeels onontgonnen terrein.

    Bestaande methoden in RL kampen met instabiliteit tijdens training, complexe interpretatie van beloningen en beperkte generalisatie bij verschillende prompts en veranderende omgevingen. Methodes zoals PPO, GRPO, SAC en keten-van-gedachtentechnieken hebben bijgedragen aan verbeterde redeneringsvermogens. Simpele RL-benaderingen zoals DAPO en Open Reasoner Zero tonen aan dat ook minder complexe strategieën effectieve resultaten kunnen behalen met betrekking tot logisch denken.

    De architectuur van LLM-agenten is geëvolueerd van eenvoudige actie-redeneringsschema’s naar meer gestructureerde planners en multi-agent systemen. Toch zijn robuustheid en zelfcorrectie bij complexe redeneertaken over meerdere stappen nog steeds gebrekkig, vooral als consistentie en geheugen cruciaal zijn in onvoorspelbare situaties.

    Het StarPO-framework introduceert een nieuwe benadering door volledige interactietrajecten – inclusief observaties, denkstappen en acties – in hun geheel te optimaliseren. In plaats van losstaande acties richt StarPO zich op trajectniveau, waardoor het beter aansluit bij autoregressieve taalmodellen. Deze aanpak zorgt voor samenhang in het leerproces en bevordert stabiliteit in dynamische omgevingen.

    Gebaseerd op StarPO ontwikkelden onderzoekers RAGEN, een modulaire infrastructuur voor het bestuderen van leerprocessen van LLM-agenten in gecontroleerde spelomgevingen zoals Bandit, Sokoban en FrozenLake. De analyse toonde het belang aan van verschillende factoren zoals gradientstabiliteit, frequentie en variatie van simulaties, en doordachte beloningsstructuren om daadwerkelijk redeneren in plaats van oppervlakkig handelen te stimuleren.

    StarPO-S is een verbeterde versie van het StarPO-framework, met technieken zoals onzekerheidsfiltratie en asymmetrisch clippen om instorting tijdens training te voorkomen. Dit resulteert in stabielere prestaties en efficiëntere training, zelfs in moeilijke taken zoals Sokoban en FrozenLake. Onderzoekers benadrukken dat toekomstig werk zich moet richten op multimodale input, verbeterde doelgerichtheid en bredere toepassingen op domeinen waar verificatie en nauwkeurigheid cruciaal zijn.

  • Multimodale AI op ontwikkelaars-GPU’s: Alibaba brengt Qwen2.5-Omni-3B uit met 50% lager VRAM-gebruik en prestaties vergelijkbaar met een bijna 7B-model

    Multimodale AI op ontwikkelaars-GPU’s: Alibaba brengt Qwen2.5-Omni-3B uit met 50% lager VRAM-gebruik en prestaties vergelijkbaar met een bijna 7B-model

    2 mei 2025

    Multimodale foundationmodellen bieden veel potentieel voor systemen die kunnen redeneren over tekst, beeld, audio en video. Toch blijft grootschalige toepassing vaak problematisch vanwege hardwarebeperkingen. Hoge geheugeneisen en afhankelijkheid van krachtige GPU’s maken dergelijke modellen doorgaans ontoegankelijk voor kleinere organisaties of individuen.

    Om die reden heeft Alibaba de Qwen2.5-Omni-3B geïntroduceerd, een efficiëntere variant met 3 miljard parameters. De nieuwe versie is geoptimaliseerd voor gebruik op consumenten-GPU’s met 24 GB VRAM, zoals de NVIDIA RTX 4090. Dit maakt het mogelijk voor ontwikkelaars om multimodale toepassingen te bouwen zonder toegang tot dure rekeninfrastructuur.

    Qwen2.5-Omni-3B is een transformer-gebaseerd model dat tekst, beeld en audio-video input ondersteunt. Het behoudt dezelfde modulaire architectuur als grotere varianten en biedt een gestroomlijnde verwerking voor lange contexten tot circa 25.000 tokens. Deze verbeteringen leiden tot meer dan 50% minder geheugenverbruik.

    Belangrijke kenmerken zijn onder andere realtime ondersteuning voor multimodale interacties tot 30 seconden, meertalige output en natuurlijke spraakgeneratie met hoge geluidskwaliteit. De interface is ontworpen om verschillende invoervormen soepel te combineren in één gestandaardiseerde omgeving.

    Evaluaties tonen aan dat het model meer dan 90% van de prestaties van zijn 7 miljard-parameter tegenhanger behoudt, met name bij visuele vraagbeantwoording, audio-onderschrift en videoanalyse. Ook bij spraakinteractie presteert het model consistent, met stabiele latency en minimale afwijkingen.

    Hoewel de lagere parameterhoeveelheid soms resulteert in iets minder gedetailleerde output, weegt de efficiëntie zwaar door. Qwen2.5-Omni-3B biedt een praktische oplossing voor onderzoekers en ontwikkelaars die werken met beperkte middelen, en draagt bij aan bredere toegankelijkheid van multimodale AI.

  • Versterkend Leren voor E-mailagenten: OpenPipe’s ART·E Presteert Beter dan o3 in Nauwkeurigheid, Latentie en Kosten

    Versterkend Leren voor E-mailagenten: OpenPipe’s ART·E Presteert Beter dan o3 in Nauwkeurigheid, Latentie en Kosten

    1 mei 2025

    OpenPipe heeft ART·E geïntroduceerd, een open-source onderzoeksagent speciaal ontwikkeld om vragen van gebruikers te beantwoorden op basis van e-mailinhoud. De tool maakt gebruik van reinforcement learning (RL) om grote taalmodellen effectiever af te stemmen op taken in gestructureerde, persoonlijke domeinen. De focus ligt op nauwkeurigheid, snelheid en efficiënt gebruik van rekenkracht.

    Hoewel retrieval-augmented generation (RAG) veel vooruitgang heeft geboekt, blijven huidige agenten die werken met e-maildata vaak inefficiënt. Veel benaderingen leiden tot vertragingen door overmatige bewerking, hoge kosten door het gebruik van commerciële modellen en onbetrouwbare antwoorden als gevolg van ambiguïteit in e-mails.

    ART·E is ontworpen als een lichte oplossing met een geïntegreerd systeem voor ophalen en genereren. Het combineert een efficiënt zoeksysteem, een RL-geoptimaliseerd taalmodel en een evaluatiecomponent voor automatische kwaliteitsbewaking. Het modulaire ontwerp maakt het gemakkelijk om onderdelen zoals zoekmodules of taalcomponenten aan te passen of te vervangen.

    De agent is getraind met Proximal Policy Optimization (PPO) na een initiële supervisieperiode. Feedback uit de evaluatiefase wordt gebruikt om het model te verbeteren, wat bijdraagt aan snellere en nauwkeurigere resultaten zonder overbodige externe API-aanroepen.

    In tests scoorde ART·E aanzienlijk beter dan OpenAI’s o3-agent. Het antwoordde ruim 12 procent nauwkeuriger, werkte vijf keer sneller en was 64 keer goedkoper qua rekenkosten. Deze resultaten maken het bijzonder geschikt voor grootschalige toepassingen of omgevingen met hoge eisen aan privacy en efficiëntie.

    ART·E bewijst dat reinforcement learning effectief kan worden ingezet voor smal gedefinieerde, doelgerichte taken met grote impact. De methode is reproduceerbaar en geschikt voor andere domeinen, zoals e-mailsamenvattingen en contextgevoelige informatieopvraging.

  • Devin AI introduceert DeepWiki: een nieuwe door AI aangedreven interface om GitHub-repositories te begrijpen

    Devin AI introduceert DeepWiki: een nieuwe door AI aangedreven interface om GitHub-repositories te begrijpen

    30 april 2025

    Devin AI heeft onlangs DeepWiki gelanceerd, een gratis AI-gedreven tool die automatisch gestructureerde, wiki-achtige documentatie genereert voor GitHub-repositories. Met behulp van hun interne DeepResearch-agent biedt DeepWiki gebruikers een overzichtelijke en interactieve weergave van een codebase op basis van alleen de repository-URL. Deze aanpak maakt het eenvoudiger voor ontwikkelaars om onbekende projecten te begrijpen.

    DeepWiki speelt in op een bekend probleem in softwareontwikkeling: het moeilijk toegankelijk maken van grote of slecht gedocumenteerde codebases. Door gebruikers direct inzicht te geven in de functiestructuur, afhankelijkheden en architectuur, helpt de tool bij onboarding, code-review en kwaliteitsborging van externe projecten.

    De werking is eenvoudig. Gebruikers hoeven slechts ‘github.com’ in de repository-URL te vervangen door ‘deepwiki.com’, waarna DeepWiki automatisch gedetailleerde documentatie genereert. De gegenereerde informatie omvat onder meer projectbeschrijvingen, technologie-overzichten, interactieve bestandsnavigatie en visuele schema’s.

    Een belangrijk kenmerk is de ingebouwde AI-assistent waarmee gebruikers in natuurlijke taal vragen kunnen stellen over onderdelen van het project. In de diepgaandere analysemodus kan DeepWiki zelfs feedback geven als ware het een ervaren code reviewer, met suggesties voor verbeteringen en mogelijke knelpunten.

    Zowel publieke als private repositories worden ondersteund, waarbij toegang tot privéprojecten via authenticatie verloopt. De visuele architectuuranalyse helpt ontwikkelaars inzicht te krijgen in de werking en onderlinge interactie van modules binnen een project.

    DeepWiki biedt een waardevolle aanvulling op bestaande ontwikkeltools en bevordert efficiënter begrip van complexe codebases. In plaats van pure vervanging van handmatige documentatie, fungeert het als een ondersteunende laag die code toegankelijker maakt voor ontwikkelaars, auditors en open-source bijdragers.

  • Optimalisatie van Redeneerprestaties: Een Allesomvattende Analyse van Schaalmethoden tijdens de Inferentietijd in Taalmodellen

    Optimalisatie van Redeneerprestaties: Een Allesomvattende Analyse van Schaalmethoden tijdens de Inferentietijd in Taalmodellen

    29 april 2025

    Taalmodellen hebben indrukwekkende capaciteiten laten zien bij uiteenlopende taken, maar complexe redeneervaardigheden blijven een uitdaging. Dit komt doordat zulke taken vaak extra rekenkracht en specifieke technieken vereisen. Hierdoor zijn methodes ontstaan waarbij tijdens de inferentie meer rekenkracht wordt ingezet om de uitkomsten te verbeteren. De aanpakken zijn grofweg te verdelen in twee categorieën: technieken die de redeneerprestaties verbeteren tijdens de uitvoering en speciaal getrainde redeneermodellen. Deze methodes brengen echter een aanzienlijke rekenlast met zich mee, wat vragen oproept over efficiëntie en de balans tussen prestaties en kosten.

    Het opschalen van berekeningen bij inferentie blijkt een haalbaar alternatief voor dure pretraining. Door technieken zoals generatie-ensembling, sampling, ranking en het combineren van resultaten, leveren modellen betere prestaties, zoals aangetoond door Mixture-of-Agents en DSPy. Ook strategieën als chain-of-thought en branch-solve-merge verbeteren het redeneervermogen van individuele modellen. Om kosten te beperken maken sommige methodes, zoals Confidence-Informed Self-Consistency, gebruik van gewogen stemmingsmechanismen. Daarnaast zorgt DivSampling voor diversere antwoorden via variatie in prompts.

    Onderzoekers van onder andere Duke University en Stanford hebben een uitgebreide analyse gedaan naar deze inferentiemethoden bij zowel redeneer- als niet-redeneermodellen op moeilijke taken. Ze ontdekten dat zelfs met veel rekenkracht niet-redeneermodellen duidelijk achterblijven bij redeneermodellen. Voor redeneermodellen blijkt meerderheidstemmingen een eenvoudige en effectieve strategie te zijn, die het vaak beter doet dan complexere methodes zoals best-of-N of sequentiële revisies.

    Specifieke modellen, zoals de R1-Distilled-varianten van Llama-3.3-70B, presteren duidelijk beter dan hun oorspronkelijke instructiemodellen. Ondanks geavanceerde opschalingsmethodes lukt het niet-redeneermodellen niet om het niveau van gespecialiseerde redeneermodellen te bereiken. De resultaten suggereren dat investeren in gerichte training van redeneermodellen op termijn veel efficiënter is dan steeds opnieuw opschalen van algemene modellen tijdens inferentie.

    Daarnaast blijkt uit analyses dat bij niet-redeneermodellen weinig verband is tussen antwoordlengte en correctheid. Bij redeneermodellen komt juist een duidelijke trend naar voren: kortere, preciezere antwoorden zijn vaker correct. Deze relatie is vooral duidelijk bij moeilijkere opdrachten in datasets zoals MATH, en wijst op de verfijnde redeneertechnieken van deze modellen.

    Concluderend blijkt uit het onderzoek dat eenvoudige strategieën zoals meerderheidstemmingen vaak beter presteren dan gecompliceerde inferentiemethoden. Ook linguïstische kenmerken, zoals beknoptheid en een lager gebruik van vullende woorden, kunnen wijzen op accuratere antwoorden. Deze bevindingen bieden mogelijkheden om toekomstige modellen en methodieken gerichter te verbeteren op basis van dergelijke taal- en structuurkenmerken.

  • Sure! Here’s the translation:

Een code-implementatie met Arcade: Het integreren van Gemini Developer API-tools in LangGraph-agenten voor autonome AI-workflows

    Sure! Here’s the translation: Een code-implementatie met Arcade: Het integreren van Gemini Developer API-tools in LangGraph-agenten voor autonome AI-workflows

    28 april 2025

    Arcade verandert LangGraph-agenten van statische gesprekspartners in dynamische, actiegerichte assistenten. Dankzij een uitgebreide set van vooraf gebouwde tools, zoals web scraping, zoeken en gespecialiseerde API’s voor o.a. financiën en kaarten, krijgen agents uitgebreide mogelijkheden. In deze tutorial leer je ArcadeToolManager initialiseren, individuele tools zoals Web.ScrapeUrl ophalen, complete toolkits laden en deze naadloos integreren in het Gemini Developer API-chatmodel via LangChain’s ChatGoogleGenerativeAI.

    Om te starten, installeerden we de benodigde libraries, waaronder LangChain, de Arcade-integratie, Google GenAI en LangGraph. Vervolgens laadden we veilig de vereiste API-sleutels als omgevingsvariabelen, zodat ze niet zichtbaar zijn in de code. Deze aanpak garandeert beveiligde toegang zonder de noodzaak om gevoelige gegevens handmatig te beheren.

    Met ArcadeToolManager haalden we specifieke tools en volledige toolkits op. We controleerden welke tools beschikbaar waren door hun namen af te drukken, zodat de agent deze functies direct kan aanroepen voor zijn autonome acties. Deze stap maakt de opbouw van flexibele workflows aanzienlijk eenvoudiger.

    Daarna is het Gemini Developer API-chatmodel geconfigureerd. We verbonden de eerder opgehaalde tools met het model en gebruikten MemorySaver om de toestand van de agent tussen iteraties te bewaren. Zo kan de agent consistent redeneren en geleerde informatie toepassen in toekomstige stappen.

    Door een ReAct-agent te creëren in LangGraph, combineren we het Gemini-model, Arcade-tools en een checkpoint-geheugen, zodat de agent herhaaldelijk kan denken, tools inzetten en reflecteren. De interacties met de gebruiker worden gestroomlijnd verwerkt, met foutafhandeling als bijvoorbeeld autorisatieproblemen optreden.

    Samenvattend biedt Arcade een schaalbare en directe manier om externe mogelijkheden te benutten binnen AI-agents, zonder dat complexe handmatige integratie nodig is. De combinatie van bind_tools en LangGraph’s ReAct-architectuur resulteert in krachtige, aanpasbare workflows die kunnen meegroeien met veranderende behoeften.

  • Sure! The translation of your sentence into Dutch is:

Van GenAI-demo’s naar productie: waarom gestructureerde workflows essentieel zijn

Let me know if you’d like a few alternative translations depending on tone or context!

    Sure! The translation of your sentence into Dutch is: Van GenAI-demo’s naar productie: waarom gestructureerde workflows essentieel zijn Let me know if you’d like a few alternative translations depending on tone or context!

    27 april 2025

    Op technologieconferenties en in sociale media tonen generatieve AI-toepassingen indrukwekkende demonstraties, zoals het schrijven van marketingmails en het creëren van datavisualisaties. Toch wijkt de realiteit in productie sterk af, waar deze systemen vaak tekortschieten onder echte omstandigheden. Veel organisaties ervaren moeite om hun AI-projecten succesvol te implementeren; slechts een klein percentage behaalt daadwerkelijk meetbare waarde.

    Een belangrijk probleem ligt in de eenvoudige, monolithische architecturen van vroege GenAI-toepassingen. Wanneer een dergelijk systeem fouten maakt, is het moeilijk te achterhalen waar de bron van het probleem zit. Bovendien zorgt de inherente variabiliteit van taalmodellen voor inconsistenties, wat onwenselijk is in bedrijfskritische toepassingen. Schaalproblemen en gebrek aan transparantie belemmeren verdere ontwikkeling naar betrouwbare productiesystemen.

    De oplossing hiervoor is een componentgerichte aanpak, waarbij systemen worden opgesplitst in duidelijk gedefinieerde functionele modules. Elke module heeft een specifieke taak en communiceert via duidelijke interfaces. Dit vergemakkelijkt foutopsporing, verbetering en onderhoud, en maakt het systeem beter schaalbaar en betrouwbaarder.

    Centraal in deze aanpak staat het principe dat elke component gekoppeld moet zijn aan een evaluatiemechanisme. Dit maakt gerichte kwaliteitsbewaking mogelijk, ondersteunt continue monitoring en helpt bij het snel identificeren van prestatieproblemen. Hierdoor kunnen verbeteringen efficiënt en gecontroleerd worden doorgevoerd zonder onbedoelde bijwerkingen elders in het systeem.

    Een zogeheten eval-first werkwijze benadrukt dat evaluatiecriteria al vóór de bouw van een component moeten worden vastgesteld. Dit leidt tot snellere ontdekking van valkuilen, verlaagt ontwikkelkosten en creëert een direct verband tussen technische prestaties en bedrijfsresultaten. Bewezen toepassingen tonen aan dat organisaties hierdoor betrouwbaardere en beter meetbare GenAI-oplossingen ontwikkelen.

    Hoewel de overstap naar componentgebaseerde workflows initiële investeringen vergt en nauwe samenwerking vereist, biedt deze aanpak een robuust fundament voor duurzame, schaalbare AI-systemen. Naarmate GenAI steeds belangrijker wordt in bedrijfskritische processen, helpt een gestructureerde werkwijze organisaties om wendbaar te blijven en tegelijkertijd te voldoen aan strengere eisen op het gebied van betrouwbaarheid en verantwoording.

  • Sure! The translation of your text into Dutch is:

“Meta AI introduceert Web-SSL: Een schaalbare en taalonafhankelijke benadering voor visuele representatieleren.”

    Sure! The translation of your text into Dutch is: “Meta AI introduceert Web-SSL: Een schaalbare en taalonafhankelijke benadering voor visuele representatieleren.”

    26 april 2025

    In de afgelopen jaren zijn contrastieve taal-beeldmodellen zoals CLIP de standaard geworden voor het leren van visuele representaties, met toepassingen in multimodale domeinen zoals Visual Question Answering (VQA) en documentanalyse. Deze modellen maken gebruik van grootschalige beeld-tekstparen om semantische kennis via taal toe te voegen. Toch brengt deze afhankelijkheid van taal verschillende uitdagingen met zich mee, waaronder moeilijkheden bij het verkrijgen van geschikte datasets en beperkingen in schaalbaarheid van de modellen.

    Als alternatief verkent Meta nu visuele zelf-gecontroleerde leermethoden (SSL) zonder taalsupervisie. Ze hebben de WebSSL-reeks van modellen gelanceerd, variërend van 300 miljoen tot 7 miljard parameters, gebaseerd op DINO en Vision Transformers (ViT). Deze modellen zijn uitsluitend getraind op de visuele subset van de MetaCLIP-dataset (MC-2B), wat een directe vergelijking mogelijk maakt tussen WebSSL en CLIP, waarbij specifiek het effect van taal wordt geïsoleerd.

    WebSSL gebruikt twee SSL-methodes: joint-embedding learning via DINOv2 en masked autoencoding via MAE. Alle modellen zijn getraind met beelden van 224×224 resolutie en blijven tijdens evaluatie bevroren om eerlijke vergelijkingen mogelijk te maken. Voor de benchmark wordt gebruikgemaakt van Cambrian-1, een suite van zestien VQA-taken, waaronder algemene visuele kennis, OCR en grafiekinterpretatie.

    Uit de resultaten blijkt dat de prestaties van WebSSL-modellen vrijwel lineair toenemen bij grotere modelgroottes, in tegenstelling tot CLIP, wiens prestaties na 3 miljard parameters stabiliseren. WebSSL scoort vooral beter bij vision-centrische taken en OCR/grafiektoepassingen, zeker wanneer alleen beelden met visuele tekst zijn gebruikt. Bovendien sluiten door op hogere resolutie te trainen de modellen goed aan bij benchmarks zoals SigLIP.

    Opvallend is dat WebSSL, zonder taalsturing tijdens training, toch sterke afstemming vertoont met grote taalmodellen zoals LLaMA-3. Ook presteren de modellen uitstekend op traditionele benchmarks zoals ImageNet en ADE20K. Op veel vlakken overtreft WebSSL zelfs MetaCLIP en DINOv2 in vergelijkbare omstandigheden.

    De WebSSL-studie van Meta onderstreept dat visuele zelf-supervisie, mits voldoende geschaald, een krachtig alternatief biedt voor taalgestuurde pretraining. Hiermee wordt de veelgebruikte veronderstelling dat taal essentieel is voor multimodaliteit uitgedaagd en groeit het inzicht in het belang van datasetkwaliteit, modelgrootte en uitgebreide evaluatie binnen diverse toepassingen.

  • NVIDIA AI Lanceert Describe Anything 3B: Een Multimodaal LLM voor Fijnmazige Beeld- en Video-Ondertiteling

    NVIDIA AI Lanceert Describe Anything 3B: Een Multimodaal LLM voor Fijnmazige Beeld- en Video-Ondertiteling

    25 april 2025

    Het genereren van gedetailleerde beschrijvingen van specifieke regio’s in beelden of video’s blijft een uitdaging voor vision-language modellen. Terwijl algemene modellen goed presteren bij het maken van globale bijschriften, schieten ze vaak tekort bij het beschrijven van lokale details. Deze beperkingen zijn nog groter bij video’s, vanwege de complexiteit van beweging en tijd. Belangrijke obstakels zijn het verlies van detail tijdens visuele extractie, een tekort aan geschikte gelabelde datasets, en evaluatiemethoden die nauwkeurige uitvoer onterecht kunnen afstraffen.

    NVIDIA heeft met Describe Anything 3B (DAM-3B) een taal-visiemodel ontwikkeld dat is afgestemd op het maken van fijnmazige, regio-specifieke omschrijvingen van zowel beelden als video’s. DAM-3B accepteert invoer via punten, rechthoeken, markeringen of maskers, en genereert contextueel passende beschrijvingen, ook wanneer de input uit bewegend beeldmateriaal bestaat.

    Het model bevat twee technologische kerncomponenten: een ‘focal prompt’ en een speciaal aangepaste visuele backbone met gated cross-attention. Deze architectuur combineert een volledige afbeelding met een hoge-resolutie uitsnede van de doelregio. Hierdoor wordt zowel context als detail behouden, zonder dat dit extra rekenkracht of tokens vereist.

    DAM-3B-Video breidt deze aanpak uit naar de tijdsdimensie. Door regionale informatie per frame te coderen en over tijd te integreren, kan het model ook bewegende of gedeeltelijk zichtbare objecten nauwkeurig beschrijven. Dit maakt het systeem bijzonder nuttig in complexe videotoepassingen.

    Voor de training ontwikkelde NVIDIA de DLC-SDP pipeline, een semi-gesuperviseerde methode die gebruikmaakt van segmentatiegegevens en een omvangrijke dataset met webafbeeldingen. Hiermee is een trainingsverzameling van 1,5 miljoen lokale voorbeelden samengesteld. De bijschriften worden verfijnd via zelflerende technieken om de kwaliteit te waarborgen.

    De prestaties van DAM-3B worden geëvalueerd met DLC-Bench, een benchmark gericht op de nauwkeurigheid van eigenschappen in plaats van exacte tekstovereenkomsten. Het model presteert beter dan gevestigde namen als GPT-4o en VideoRefer en behaalt 67,3% nauwkeurigheid gemiddeld over diverse evaluatietaken. Deze resultaten bevestigen de doeltreffendheid van het model in zowel detailniveau als taalprecisie.