Auteur: admin

2 april 2025

Grote taalmodellen (LLM’s) hebben indrukwekkende prestaties geleverd in redeneertaken, zoals Chain-of-Thought (CoT), wat leidt tot betere nauwkeurigheid en meer inzicht bij complexe problemen. Onderzoekers breiden deze capaciteiten nu uit naar multimodale domeinen, waaronder video, dat unieke uitdagingen biedt vanwege de tijdsdimensie. In tegenstelling tot statische beelden vereisen video’s begrip van dynamische interacties over tijd. Huidige CoT-methoden schieten tekort in het omgaan met deze temporele aspecten.

Hoewel recente doorbraken in videobegrip taken zoals vragen beantwoorden en ondertiteling hebben verbeterd, worstelen deze modellen nog met visuele verankering en interpretatie, vooral bij langere video’s. Voor taken zoals Video Temporal Grounding is het noodzakelijk om precies aan te geven waar in de video iets gebeurt. Grootschalige multimodale modellen hebben moeite met dergelijk complexe redeneren, en er zijn daarom twee benaderingen ontstaan: agent-gebaseerde interfaces en tekstgebaseerde CoT-strategieën.

Onderzoekers van de Hong Kong Polytechnic University en Show Lab, National University of Singapore, hebben VideoMind ontwikkeld: een video-taalagentsysteem ontworpen voor temporeel verankerd videobegrip. VideoMind introduceert twee belangrijke innovaties. Ten eerste gebruikt het een taakgerichte workflow met vier rollen: planner, grounder, verifier en answerer. Ten tweede maakt het gebruik van een Chain-of-LoRA-strategie voor efficiënte rolwisseling met behulp van lichte LoRA-adapters.

VideoMind is gebouwd op de Qwen2-VL-architectuur en combineert een LLM met een Vision Transformer gebaseerde visuele encoder die dynamische videoinvoer aankan. Tijdens het redeneren activeert het systeem automatisch specifieke rol-adapters. De planner coördineert de taken, de grounder lokaliseert relevante videofragmenten, de verifier evalueert nauwkeurigheid met “ja” of “nee”-antwoorden, en de answerer genereert het eindantwoord.

Op benchmarks toont de lichte VideoMind 2B-variant betere prestaties dan grootschalige modellen zoals InternVL2-78B en Claude-3.5-Sonnet, waarbij alleen GPT-4o iets beter scoort. De sterkere 7B-versie overtreft zelfs GPT-4o in sommige evaluaties. Op de NExT-GQA-benchmark evenaart de 2B-versie modellen van 7B-niveau, waaronder agentgebaseerde oplossingen als LLoVi en SeViLA, en toont het sterke zero-shot capaciteiten.

VideoMind biedt een solide basis voor toekomstig onderzoek binnen videoredenatie. Het systeem excelleert in verschillende taken zoals algemene videovragen en temporele verankering, en levert nauwkeurige, onderbouwde antwoorden. Deze aanpak ondersteunt beter begrip van langere video’s door het combineren van agentgebaseerde werkstructuren met efficiënte adaptieve technieken.

1 april 2025

Reinforcement Learning from Verifiable Rewards (RLVR) is een veelbelovende methode gebleken om redeneervermogen in taalmodellen te verbeteren zonder directe supervisie. Deze aanpak heeft vooral succes geboekt bij domeinen zoals wiskunde en programmeren, waar gestructureerd probleemoplossen centraal staat. Hoewel RLVR toegankelijke redeneervormen blijkt te stimuleren in technische contexten, blijft het buiten deze gebieden grotendeels onontgonnen terrein. Pogingen om RLVR uit te breiden naar andere domeinen met synthetische datasets tonen mogelijkheden, maar doen ook de uitdaging van domeinoverdracht uitkomen.

Het toepassen van RLVR op bredere taken zoals multiple-choice vragen (MCQA), met name binnen het medische domein, stelt nieuwe eisen. In tegenstelling tot open antwoorden in wiskunde en code, werken MCQA-taken met vooraf gedefinieerde opties. Het is onzeker of de voordelen van RLVR hier even sterk naar voren komen, vooral gezien de complexiteit van medische kennis. AI-systemen blijken moeite te hebben met deze vorm van redenatie, wat het belang onderstreept van onderzoek naar effectievere methodes.

Onderzoekers van Microsoft Research hebben dit onderzocht met de introductie van MED-RLVR. Ze trainden een model op medische MCQA-data en ontdekten dat RLVR ook hier effectief is. Het model presteerde vergelijkbaar met klassieke supervisiemethoden bij bekende taken en toonde een aanzienlijke verbetering van acht procentpunten bij generalisatie naar onbekende gegevens. Verrassend genoeg ontwikkelde een model met slechts drie miljard parameters zelfstandig medische redenatievaardigheden, zonder expliciete supervisie.

Reinforcement learning leert een model beslissingen nemen door beloningen te maximaliseren op basis van interacties met een omgeving. In dit onderzoek werd de Proximal Policy Optimization-techniek gebruikt, ondersteund door een beloningsfunctie die output beoordeelt op juistheid en vorm. Zonder extra data of instructie toonde het model redeneergedrag dat doet denken aan eerdere RLVR-experimenten in wiskunde, wat de toepasbaarheid van de methode in veeleisendere kennisgebieden benadrukt.

Voor de training werd gebruikgemaakt van de MedQA-USMLE dataset, die medische examenvragen met uitgebreide antwoordmogelijkheden bevat. De onderzoekers baseerden hun model op Qwen2.5-3B en pasten reinforcement learning toe via OpenRLHF. In vergelijking met supervised fine-tuning boekte het model vooral vooruitgang in domeinoverstijgende testsets zoals MMLU-Pro-Health. De analyse toont een geleidelijke evolutie in het redeneren van het model, hoewel er minder zelfcorrigerend gedrag werd waargenomen vergeleken met wiskundige taken.

Hoewel de prestaties van MED-RLVR veelbelovend zijn, erkennen de onderzoekers enkele beperkingen. MCQA biedt een gecontroleerde evaluatieomgeving, maar weerspiegelt niet de volledige complexiteit van realistische medische toepassingen zoals vrije tekstantwoorden of medische rapportage. Bovendien beperkt het unimodale karakter van het model de verwerking van multimodale gegevens, essentieel bij diagnostiek. Toekomstig onderzoek zou zich moeten richten op het oplossen van deze knelpunten en verdere verfijning van beloningsstrategieën voor dieper begrijpen en betrouwbaarder redeneren.

31 maart 2025

Recente ontwikkelingen in AI-schaalwetten richten zich niet langer uitsluitend op het vergroten van modelgrootte en trainingsdata, maar ook op het optimaliseren van de berekeningen tijdens de inferentie. Modellen zoals OpenAI o1 en DeepSeek R1 tonen aan dat betere prestaties bereikt kunnen worden door extra rekenkracht in te zetten bij het genereren van output. Een opkomende techniek, test-time budget forcing, biedt efficiëntere resultaten bij minimale token sampling. Deze aanpak wint ook terrein binnen diffusie­modellen, vooral bij beloningsgestuurd samplen, essentieel voor complexe tekst-naar-beeld-generatie.

Binnen diffusie­modellen onderscheiden zich twee hoofdmethoden voor inferentie­schaling: fine-tuning en particle sampling. Fine-tuning leidt tot betere taakafstemming, maar vereist nieuwe training per taak. Particle sampling – toegepast in methoden zoals SVDD en CoDe – selecteert herhaaldelijk hoge-beloning­samples tijdens het denoisingsproces, wat de kwaliteit van de gegenereerde output aanzienlijk verhoogt.

Hoewel particle sampling al krachtige resultaten oplevert bij diffusie­modellen, zijn toepassingen in flowmodellen beperkt gebleven. Dit komt door het deterministische karakter van hun generatieproces. Recent onderzoek heeft innovatieve manieren verkend om flowmodellen te voorzien van stochastische elementen. Zo maakt het SoP-model gebruik van een aangepaste reverse kernel, wat bijdraagt aan meer diversiteit en betere prestaties tijdens sampling.

Wetenschappers van KAIST stellen een nieuwe methode voor om inference-time scaling toe te passen op vooraf getrainde flowmodellen. Zij introduceren daarbij drie belangrijke innovaties: ten eerste SDE-generatie om stochastische sampling mogelijk te maken, ten tweede het omzetten van lineaire interpolanten naar VP-interpolanten voor meer diversiteit, en ten derde het Rollover Budget Forcing (RBF)-mechanisme voor een dynamische inzet van rekenkracht.

Het doel van inference-time reward alignment is het genereren van output met een hoge beloningswaarde zonder dat het model opnieuw getraind hoeft te worden. Hiervoor wordt KL-regularisatie gebruikt om de afwijking van de oorspronkelijke data te beperken. Door deterministische processen om te zetten naar stochastische versies en interpolanten aan te passen, wordt de zoekruimte voor sampling vergroot. RBF optimaliseert verder het gebruik van beschikbare computerkracht.

Experimentele resultaten laten zien dat deze aanpak effectief is bij taken zoals compositiegericht tekst-naar-beeld en kwantiteitsgevoelige beeldgeneratie. Met behulp van het FLUX-flowmodel worden hogere scores behaald op meetwaarden zoals VQAScore en RSS. De voorgestelde methode levert niet alleen verbeterde prestaties op ten opzichte van eerdere technieken, maar waarborgt ook hoge beeldkwaliteit, vooral in combinatie met differentiabele beloningsfuncties zoals esthetiek.

30 maart 2025

Deze tutorial laat zien hoe de krachtige dataverwerkingsbibliotheek Pandas gecombineerd kan worden met de geavanceerde generatieve AI-mogelijkheden van Google Cloud via het google.generativeai-pakket en het Gemini Pro-model. De integratie richt zich op het opzetten van een interactieve data-analyse-agent die natuurlijke taal begrijpt en antwoord geeft op vragen over gegevens.

Het proces begint met de installatie van de benodigde pakketten en het instellen van een API-sleutel van Google Cloud. Daarna worden imports gedaan, waaronder Pandas voor data-analyse, google.generativeai voor toegang tot AI-functionaliteiten, en Markdown om resultaten overzichtelijk weer te geven.

In het voorbeeld wordt een eenvoudige verkoopdataset samengesteld in een Pandas DataFrame, met gegevens over producten, verkochte aantallen, regio’s en prijzen. Deze dataset wordt vervolgens gebruikt om natuurlijke taalvragen te stellen die door AI worden beantwoord, zoals het totale aantal verkochte eenheden of het product met de hoogste verkoop.

Een functie verwerkt zowel de DataFrame als het gestelde verzoek, zet de gegevens om in markdown-indeling en verzendt dit in een prompt naar het Gemini Pro-model. Dit model genereert vervolgens een gecontextualiseerd antwoord gebaseerd op de aangeleverde gegevens.

Verschillende voorbeeldvragen tonen hoe effectief de AI-antwoorden gegenereerd worden. Zo wordt onder andere het gemiddelde van de prijzen berekend, worden producten uit een specifieke regio gefilterd en wordt de totale omzet per product gepresenteerd in tabelvorm.

De aanpak maakt duidelijk hoe traditionele analysetechnieken versterkt kunnen worden met generatieve AI, waardoor datawetenschappers sneller inzichten kunnen verkrijgen. Deze combinatie van bibliotheken biedt niet alleen interactievere analyses, maar legt ook de basis voor toepassingen zoals data cleaning en feature engineering binnen het vertrouwde Python-ecosysteem.

29 maart 2025

Compressie vormt een essentieel onderdeel van computationele intelligentie, gebaseerd op de theorie van Kolmogorov-complexiteit. Deze theorie stelt dat de meest efficiënte representatie van een gegevensreeks de kortste mogelijke computerinstructie is die die reeks kan reproduceren. In tegenstelling tot conventionele compressiemethoden die herhaling zoeken, draait Kolmogorov-complexiteit om het ontdekken van onderliggende structuren via programmatische benaderingen. Deze benadering is theoretisch krachtig, maar onberekenbaar in de praktijk.

De opkomst van grote taalmodellen die code kunnen genereren biedt nieuwe mogelijkheden om deze theoretische grens te benaderen. Toch blijkt uit experimenten dat deze modellen vaak de invoer letterlijk kopiëren in plaats van efficiënte code te schrijven die dezelfde output genereert. Dit wijst op een beperking in hun vermogen om diepere patronen te identificeren, vooral bij complexe gegevens zoals tekst, audio en DNA.

Huidige compressietools variëren van klassieke algoritmen zoals GZIP tot neurale netwerken. Terwijl GZIP goed presteert op lange herhalende reeksen, zijn moderne modellen vaak afhankelijk van toegang tot volledige gewichten tijdens decodering, wat hun praktische bruikbaarheid beperkt. Codegeneratie met modellen als GPT-4 en LLaMA laat zien dat deze systemen moeite hebben om nauwkeurige en compacte code te produceren, vooral voor onbekende of ingewikkelde reeksen.

Onderzoekers van Meta AI en de Universiteit van Tel Aviv ontwikkelden de Kolmogorov-Test (KT), een benchmark die evalueert hoe goed taalmodellen in staat zijn om de kortste code te genereren die een gegevensreeks reproduceert. In tegenstelling tot traditionele benchmarks ligt de focus hier op logisch redeneren en programmabouw. De test gebruikt zowel natuurlijke data als synthetische reeksen gegenereerd via een domeinspecifieke taal (DSL) die complexe bewerkingen mogelijk maakt zoals sorteren en filteren.

Met behulp van deze DSL werd een geautomatiseerd systeem opgezet dat miljoenen programma-reeksparen kon genereren. Deze dienden als trainings- en testdata voor diverse modellen. De prestaties werden gemeten aan de hand van accuraatheid — of het programma de juiste output levert — en precisie — hoe efficiënt de gegenereerde code is vergeleken met GZIP. Vooral in synthetische gegevens scoorde het speciaal getrainde SEQCODER-model hoog, maar het faalde bijna volledig bij realistische data.

De resultaten tonen aan dat zelfs de krachtigste modellen, zoals GPT-4, aanzienlijke moeite hebben met het comprimeren van echte gegevens via code. Dit benadrukt de uitdaging van generalisatie van synthetische naar natuurlijke gegevens. De KT-benchmark biedt daarmee een strenge maatstaf voor toekomstige systemen die compressie en redenering willen combineren en wijst op de noodzaak voor vernieuwende trainingsbenaderingen.

28 maart 2025

Kunstmatige intelligentie (AI) heeft de afgelopen jaren grote vooruitgang geboekt, maar het blijft een uitdaging om efficiënte, krachtige en betaalbare modellen te ontwikkelen. Het trainen van grote taalmodellen vereist vaak aanzienlijke rekenkracht en financiële middelen, wat voor veel organisaties een belemmering vormt. Daarnaast is het niet eenvoudig om modellen te ontwikkelen die sterk redeneren én goed presteren op consumentgerichte hardware.

DeepSeek AI pakt deze knelpunten aan met de introductie van DeepSeek-V3-0324, een belangrijke upgrade van hun V3-taalmodel. Het nieuwe model levert verbeterde prestaties én draait met een snelheid van 20 tokens per seconde op een Mac Studio, een apparaat dat toegankelijk is voor consumenten. Hiermee komt DeepSeek in directe concurrentie met marktleiders zoals OpenAI en onderstreept het hun inzet om krachtige AI breder beschikbaar te maken.

Ten opzichte van eerdere versies toont DeepSeek-V3-0324 aanzienlijke technologische verbeteringen. De prestaties op benchmarks zijn flink gestegen, waaronder betere scores op gebieden zoals complex redeneren en probleemoplossing. Dit duidt op een geavanceerdere verwerking van uitdagende taken en vragen.

Ook op het gebied van frontend webontwikkeling is vooruitgang geboekt. Het model genereert meer uitvoerbare code en produceert visueel aantrekkelijke webpagina’s en game-interfaces. Bovendien is er verbetering te zien in het schrijven van Chinese teksten, vooral bij langere contentstijlen, en is de nauwkeurigheid van het aanroepen van functies geoptimaliseerd.

De modelrelease onder de MIT-licentie maakt deze technologie open en beschikbaar voor de wereldwijde ontwikkelgemeenschap. Dankzij de efficiënte prestaties op consumentenhardware zoals de Mac Studio kunnen meer partijen gebruikmaken van krachtige AI zonder dure gespecialiseerde systemen te hoeven inzetten.

Samenvattend markeert de lancering van DeepSeek-V3-0324 een belangrijke ontwikkeling binnen het AI-landschap. Door fundamentele uitdagingen aan te pakken op het gebied van prestaties, kosten en toegankelijkheid, positioneert DeepSeek zich als een sterke speler naast gevestigde namen. De technische vooruitgangen en open beschikbaarheid van het model dragen bij aan de verdere democratisering van AI-technologie.

27 maart 2025

Menselijke pose-estimatie is een geavanceerde computer vision-technologie die visuele gegevens analyseert om inzicht te krijgen in menselijke bewegingen. Door gebruik te maken van krachtige machine learning-modellen zoals MediaPipe’s BlazePose en computervisie-bibliotheken zoals OpenCV kunnen ontwikkelaars lichaamsbewegingen nauwkeurig volgen. In deze handleiding wordt uitgelegd hoe deze technologieën naadloos kunnen worden geïntegreerd met Python-gebaseerde frameworks voor verschillende toepassingen, waaronder sportanalyse, gezondheidsmonitoring en interactieve systemen.

Om te beginnen installeren we de benodigde bibliotheken, waaronder MediaPipe en OpenCV. Vervolgens worden de noodzakelijke modules geïmporteerd, waaronder cv2 voor het verwerken van afbeeldingen, matplotlib voor visualisatie en NumPy voor numerieke berekeningen. Daarna wordt het MediaPipe Pose-model geconfigureerd in de statische afbeeldingsmodus, waarbij segmentatie wordt ingeschakeld en een minimale detectiebetrouwbaarheid van 0.5 wordt ingesteld. Ook worden functies geladen om de gedetecteerde lichaamspunten visueel weer te geven.

Vervolgens wordt een detectiefunctie gedefinieerd die een afbeelding inleest en verwerkt om menselijke lichaamspunten te identificeren. Indien gedetecteerd, worden deze punten op de afbeelding geprojecteerd met standaard styles uit MediaPipe. De resulterende afbeelding wordt samen met de gedetecteerde kenmerken teruggegeven voor verdere analyse en visualisatie.

Om de resultaten te presenteren, wordt een visualisatiefunctie gebruikt, die zowel de oorspronkelijke afbeelding als de geannoteerde versie naast elkaar toont. Daarnaast wordt een extraheerfunctie geïntroduceerd, waarmee de gedetecteerde lichaamspunten worden omgezet in een woordenboek met x-, y- en z-coördinaten en zichtbaarheidsscores. Dit maakt het mogelijk om de exacte locatie van elke positie in kaart te brengen en te analyseren.

Het proces wordt geïllustreerd met een voorbeeldafbeelding. De afbeelding wordt geladen, menselijke pose wordt gedetecteerd en de resultaten worden gevisualiseerd. Vervolgens worden de coördinaten van de lichaamskenmerken uit de analyse gehaald en afgedrukt. Dit biedt een gedetailleerd overzicht van de lichaamshouding en maakt verdere interpretatie en toepassingen mogelijk.

Deze tutorial laat zien hoe pose-estimatie met MediaPipe en OpenCV kan worden toegepast om bewegingen nauwkeurig vast te leggen en te analyseren. Door middel van een goed gestructureerde workflow wordt een efficiënte methode gepresenteerd voor het omzetten van visuele gegevens in waardevolle inzichten. Dit opent mogelijkheden voor uiteenlopende gebieden zoals sportwetenschappen, medische beeldvorming en interactieve technologieën.

26 maart 2025

Kunstmatige intelligentiesystemen die functioneren in fysieke omgevingen hebben meer nodig dan alleen waarnemingsvermogen. Ze moeten ook objecten, acties en gevolgen begrijpen binnen dynamische en realistische omstandigheden. Dit vereist inzicht in ruimtelijke arrangementen, oorzaak-gevolgrelaties en de voortgang van gebeurtenissen door de tijd heen. In toepassingen zoals robotica, autonome voertuigen en assistieve technologieën moet AI rekening houden met fysieke beperkingen en mogelijkheden om veilige en intelligente beslissingen te nemen. Deze combinatie van waarneming en gestructureerd redeneren over fysische dynamiek vormt de basis van Physical AI.

Een belangrijke uitdaging voor dergelijke systemen is hun beperkte vermogen om fysieke omgevingen te begrijpen op basis van visuele en contextuele informatie. Hoewel vision-language modellen vooruitgang hebben geboekt, blijven ze moeite hebben met taakvoltooiing, actieplanning en haalbaarheidsbeoordeling van voorgestelde acties. Dit tekort aan geïntegreerd redeneren tussen waarneming en besluitvorming is vooral een probleem wanneer AI autonoom moet werken en complexe taken moet interpreteren. Zonder mechanismen om redenering te verifiëren, blijven deze systemen onbetrouwbaar in snel veranderende of kritieke situaties.

Bestaande modellen zoals LLaVA, GPT-4o en Gemini 2.0 Flash zijn vaardig in tekst- en visuele verwerking, maar presteren minder goed op fysiek onderbouwd redeneren. Taken zoals temporele volgorde, ruimtelijke continuïteit en objectpermanentie worden zelden effectief verwerkt. Bovendien vertrouwen veel modellen sterk op tekstuele aanwijzingen in plaats van visuele bewijsvoering, wat leidt tot inconsequente en soms incorrecte conclusies wanneer ze in fysieke situaties worden toegepast. Veelgebruikte benchmarks evalueren deze aspecten onvoldoende, waardoor weinig inzicht wordt verkregen in het vermogen van modellen om over fysieke gebeurtenissen of agentgedrag te redeneren.

Onderzoekers van NVIDIA hebben Cosmos-Reason1 geïntroduceerd, een reeks vision-language modellen die zijn ontworpen voor redeneren over fysieke omgevingen. De modellen zijn beschikbaar in twee maten, met 8 miljard en 56 miljard parameters. Ze zijn ontwikkeld met een gestructureerde aanpak, inclusief het opstellen van fysische kennisontologieën, gespecialiseerde trainingsdatasets en uitgebreide evaluatiebenchmarks. Deze benchmarks beoordelen onder andere actievoorspelling, taakverificatie en de inschatting van fysieke haalbaarheid. Voor de training zijn datasets zoals BridgeData V2, RoboVQA, RoboFail, AgiBot, HoloAssist en AV gebruikt.

Cosmos-Reason1 gebruikt een hybride architectuur op basis van Mamba-MLP-Transformer, waarin visuele en linguïstische componenten worden geïntegreerd. De training vond plaats in meerdere fasen: eerst werd een vision encoder en taalmodel voorgetraind en verfijnd met brede supervisiedata. Vervolgens werd een fysieke AI-specifieke fine-tuning fase uitgevoerd met datasets gericht op ruimte, tijd en objectinteractie. In de laatste fase werd reinforcement learning ingezet met regelgebaseerde beloningen om prestaties te verbeteren op taken zoals temporele volgorde, ruimtelijke puzzels en objectpermanentie. Het model genereerde gestructureerde reacties, die met beloningssystemen werden geëvalueerd op correctheid en redeneringsstructuur.

Uit evaluaties blijkt dat Cosmos-Reason1 beter presteert dan bestaande modellen. Op benchmarks voor fysiek gezond verstand haalde de 56B-versie een gemiddelde nauwkeurigheid van 60,2%, beter dan OpenAI o1 met 59,9%. De 8B-variant verbeterde ook en bereikte 52,3%. Voor taken met belichaamd redeneren behaalde Cosmos-Reason1-56B een score van 63,7%, een stijging vanaf 53,5%. Modellen presteerden goed op benchmarks zoals RoboVQA (80,0%) en HoloAssist (57,8%). Hoewel het model vooruitgang laat zien op meerdere domeinen, blijft verdere diversificatie van trainingsdata nodig voor verbeteringen bij datasets zoals RoboFail.

25 maart 2025

Het verwerken van taal in de hersenen is complex vanwege de multidimensionale en contextafhankelijke aard ervan. Psycholinguïsten hebben geprobeerd taal te modelleren met symbolische kenmerken, zoals fonemen voor spraak en grammaticale structuren voor syntaxis. Hoewel er enige interactie tussen taaldomeinen wordt erkend, richt onderzoek zich meestal op afzonderlijke componenten via controleerbare experimenten. Dit geïsoleerde benaderingsmodel zorgt voor een kloof tussen natuurlijke taalverwerking en psycholinguïstische theorieën, die moeite hebben om de subtiele, niet-lineaire afhankelijkheden binnen en tussen taallagen vast te leggen.

Recente ontwikkelingen in grote taalmodellen hebben geleid tot aanzienlijke verbeteringen in tekstbegrip, conversatieverwerking en samenvatten. Deze modellen beheersen syntactische, semantische en pragmatische aspecten van taal en kunnen spraak uit audiofragmenten herkennen. Multimodale modellen die zowel tekst als audio verwerken, bieden een belangrijke stap vooruit door een geïntegreerde aanpak te hanteren waarin akoestische signalen worden omgezet in taal tijdens natuurlijke gesprekken. In tegenstelling tot traditionele methoden vertrouwen deze modellen op vectorrepresentaties die verschillende taalaspecten verenigen binnen een hoog-dimensionale ruimte.

Onderzoekers van verschillende universiteiten en instellingen hebben een computationeel raamwerk ontwikkeld dat akoestische, spraak- en woordniveaukenmerken koppelt om te onderzoeken hoe de hersenen gesprekken verwerken. Met elektrocorticografie registreerden zij gedurende 100 uur hersenactiviteit terwijl deelnemers open gesprekken voerden. Via het multimodale model Whisper werden akoestische, spraak- en woordinbeddingen gegenereerd om neurale activiteit op verschillende taalverwerkingsniveaus te voorspellen tijdens spontane conversaties.

Een analyse van het Whisper-model laat zien hoe neurale activiteit wordt gegenereerd tijdens zowel spraakproductie als -begrip. Voor elk woord dat de deelnemers hoorden of uitspraken, werden drie soorten inbeddingen onderzocht: akoestische inbeddingen vanuit de audiolaag, spraakinbeddingen vanuit de spraakencoder en taalrepresentaties uit de decoderlaag. Door deze inbeddingen aan hersensignalen te koppelen via gecodeerde modellen, werd aangetoond dat de hersenactiviteit indrukwekkend overeenkomt met de interne structuren van het model.

De inbeddingen van Whisper voorspelden bijzonder nauwkeurig neurale reacties op zowel spraak als taal in verschillende hersengebieden. Tijdens spraakproductie bleken articulatiegebieden het best voorspelbaar door spraakinbeddingen, terwijl hogere taalgebieden sterker correleren met woordinbeddingen. Dit patroon was ook zichtbaar in de timing: tijdens spreken piekte de voorspelling enkele honderden milliseconden vóór woordproductie, terwijl tijdens luisteren de neurale respons later optrad.

Deze geïntegreerde aanpak illustreert een belangrijke verschuiving naar niet-symbolische taalanalyse, waarbij statistisch leren en hoog-dimensionale representaties centraal staan. Naarmate deze modellen verfijnder worden in het verwerken van spraak in natuurlijke contexten, kunnen ze steeds beter aansluiten op cognitieve taalverwerking. Geavanceerde modellen zoals GPT-4o combineren spraak en tekst met visuele waarneming, en sommige benaderingen bootsen menselijke spraakproductie na, waardoor een breder en dynamischer beeld ontstaat van taal als gebruiksgebaseerd leerproces.

24 maart 2025

Grote taalmodellen (LLM’s) evolueren snel tot autonome agenten die complexe taken kunnen uitvoeren waarbij redeneren, beslissingen nemen en aanpassingsvermogen vereist zijn. Ze worden ingezet voor webnavigatie, persoonlijke assistentie en softwareontwikkeling. Voor effectieve interacties in realistische scenario’s moeten deze agenten multi-turn gesprekken voeren, wat vraagt om trainingsmethoden die verder gaan dan eenvoudige responsgeneratie en zich richten op de gehele interactietrajecten. Versterkend leren (RL) blijkt een veelbelovende aanpak om deze agenten te trainen door hun besluitvorming te verfijnen op basis van langetermijnbeloningen.

Ondanks hun potentieel ondervinden LLM-gebaseerde agenten moeilijkheden bij multi-turn besluitvorming. Een belangrijke uitdaging is het correct toewijzen van verdiensten aan eerdere acties die latere uitkomsten beïnvloeden. Traditionele trainingsmethoden, zoals het voorspellen van het volgende token of het nabootsen van waarschijnlijke acties, houden geen rekening met langetermijnafhankelijkheden. Hierdoor blijft de effectiviteit van deze modellen beperkt bij complexe taken, vooral in samenwerkingsscenario’s waar begrip van menselijke intenties cruciaal is.

Onderzoekers van FAIR bij Meta en UC Berkeley hebben een nieuw versterkend leerproces genaamd SWEET-RL ontwikkeld, specifiek gericht op multi-turn interacties. Ze introduceerden ook CollaborativeAgentBench (ColBench), een benchmark met meer dan 10.000 trainingstaken en 1.000 testscenario’s op het gebied van backend-programmering en frontend-ontwerp. In deze taken moeten AI-agenten samenwerken met menselijke partners, vragen stellen en stapsgewijs oplossingen verfijnen. Dit helpt om de cognitieve vaardigheden van de agenten te evalueren en nabootsing van realistische werkvloerscenario’s mogelijk te maken, beperkt tot tien beurten per sessie.

SWEET-RL maakt gebruik van een asymmetrisch actor-criticusmodel, waarbij de criticus tijdens het trainen toegang heeft tot extra informatie, zoals de correcte oplossing. Dit stelt de criticus in staat om beslissingen nauwkeuriger te beoordelen. In plaats van een totale beloningswaarde te leren, richt het model zich op een voordeelfunctie per beurt, waardoor agenten preciezere acties kunnen leren uitvoeren. Dit verbeterde toewijzing van beloningen en sluit beter aan bij de manier waarop LLM’s al getraind worden.

Bij testen behaalde SWEET-RL een significante verbetering ten opzichte van andere RL-methoden. Voor backend-programmering slaagde het in 34,4% van de gevallen, tegenover 28,2% bij Multi-Turn DPO. Voor frontend-ontwerp werd een cosinus-similariteitsscore van 76,9% en een winstpercentage van 40,4% behaald, beter dan eerdere methoden. Bovendien kon de open-source Llama-3.1-8B model dankzij SWEET-RL presteren op het niveau van GPT-4o in frontend-taken, waardoor de afhankelijkheid van propriëtaire modellen verminderde.

Dit onderzoek onderstreept het belang van gedetailleerde, beurt-voor-beurt feedback voor effectieve training van interactieve agenten. SWEET-RL verbetert de generalisatie, vermindert variatie in training en is goed schaalbaar met meer gegevens. Daarnaast presteert het model sterk, zelfs met off-policy datasets, waardoor het praktisch toepasbaar is in realistische omgevingen. Door de introductie van ColBench als benchmark biedt deze aanpak een solide basis voor AI-agenten die effectief kunnen redeneren, zich aanpassen en samenwerken in complexe interacties.