Auteur: admin

23 maart 2025

Semantisch zoeken gaat verder dan traditionele zoekmethoden op basis van trefwoorden door de context en intentie van zoekopdrachten te begrijpen. In plaats van enkel exacte woorden te matchen, analyseren semantische zoeksystemen de betekenis van een zoekopdracht en leveren ze relevante resultaten, zelfs als de gebruikte termen niet exact overeenkomen.

In deze handleiding wordt een semantisch zoekysteem geïmplementeerd met Sentence Transformers, een krachtige bibliotheek die is gebaseerd op Hugging Face’s Transformers en geoptimaliseerde modellen biedt voor het genereren van zinsembeddings. Door tekst om te zetten in numerieke representaties kunnen we inhoud op basis van semantische gelijkenis vinden. Als praktijkvoorbeeld wordt een zoekmachine ontwikkeld die wetenschappelijke samenvattingen doorzoekt en relevante artikelen aanbeveelt, zelfs wanneer de terminologie afwijkt.

Om te beginnen worden de benodigde bibliotheken geïnstalleerd, zoals Sentence Transformers, FAISS en enkele andere hulpmiddelen voor gegevensverwerking. Vervolgens wordt een dataset met tien wetenschappelijke samenvattingen samengesteld, die onderwerpen omvatten zoals kunstmatige intelligentie, klimaatverandering en vaccinontwikkeling. De teksten worden daarna omgezet in numerieke vectoren met behulp van een vooraf getraind model, all-MiniLM-L6-v2, dat een goede balans biedt tussen snelheid en prestaties.

Voor snelle en efficiënte zoekopdrachten wordt FAISS gebruikt, een bibliotheek voor het zoeken naar vergelijkbare vectoren. Hiermee worden de gegenereerde tekstrepresentaties geïndexeerd, waardoor relevante documenten snel kunnen worden opgehaald. Een zoekfunctie zet een ingevoerde vraag om in een embedding en vergelijkt deze met de eerder opgeslagen vectoren. De beste overeenkomsten worden vervolgens gerangschikt op basis van semantische gelijkenis.

Om de effectiviteit van het systeem te testen, worden verschillende zoekopdrachten uitgevoerd. Deze tests tonen aan dat het model de achterliggende betekenis van vragen begrijpt en relevante documenten kan vinden zonder dat specifieke trefwoorden hoeven te worden gebruikt. Daarnaast wordt een visualisatie van de gegenereerde documentembeddings gemaakt met behulp van PCA, waardoor clusters van gerelateerde onderwerpen zichtbaar worden.

Tot slot wordt een interactieve zoekinterface geïmplementeerd, waarmee gebruikers eenvoudig zoekopdrachten kunnen uitvoeren en resultaten in een overzichtelijke indeling kunnen bekijken. Dit project laat zien hoe embedding-gebaseerd zoeken aanzienlijk intelligenter is dan traditionele methoden, waardoor informatie efficiënter en nauwkeuriger kan worden opgehaald.

22 maart 2025

Deze gids biedt een overzicht van de essentiële GitHub-bewerkingen: klonen, forken en mergen van repositories. Het beschrijft hoe ontwikkelaars lokale kopieën van projecten kunnen maken, wijzigingen doorvoeren en deze efficiënt integreren in de originele repository. Dit helpt zowel beginners als ervaren gebruikers bij het beheren van versiebeheer en samenwerking binnen softwareprojecten.

GitHub-repositories fungeren als centrale opslagplaatsen waarin bestanden en hun volledige wijzigingsgeschiedenis worden bewaard. Er wordt onderscheid gemaakt tussen externe repositories, die op GitHub worden gehost, en lokale repositories op een computer. Om aan een project te werken, kunnen gebruikers een repository klonen of forken, afhankelijk van hun toegangsrechten en doelstellingen.

Klonen maakt een exacte kopie van een repository op de computer van de gebruiker, inclusief alle bestanden en commitgeschiedenis. Dit biedt directe toegang tot de code en maakt het mogelijk om wijzigingen lokaal te testen. Forken daarentegen creëert een persoonlijke kopie in het GitHub-account van de gebruiker, zodat aanpassingen onafhankelijk van de oorspronkelijke repository kunnen plaatsvinden.

Bijdragen aan open-sourceprojecten en samenwerking verlopen vaak via pull requests, waarbij wijzigingen ter goedkeuring aan de oorspronkelijke repository worden voorgesteld. GitHub biedt hulpmiddelen om verschillende versies samen te voegen, inclusief het oplossen van conflicten die kunnen ontstaan tijdens het merge-proces. Het begrijpen van deze processen is cruciaal voor een soepele samenwerking en codebeheer.

Een gestructureerde workflow omvat het werken met branches, regelmatig synchroniseren met de originele repository en het schrijven van duidelijke commitberichten. Ontwikkelaars worden aangeraden om niet rechtstreeks op de hoofdbranch te werken, maar in aparte feature-branches, zodat de stabiliteit van het project behouden blijft. Regelmatig updaten en pullen voordat wijzigingen worden doorgestuurd helpt merge-conflicten te minimaliseren.

Deze gids benadrukt dat effectief gebruik van GitHub berust op duidelijke werkwijzen en best practices. Door goed om te gaan met klonen, forken en mergen, kunnen ontwikkelaars efficiënter samenwerken en bijdragen aan zowel open-sourceprojecten als interne teamontwikkeling. Een gestructureerde aanpak helpt fouten te voorkomen en zorgt voor een overzichtelijk versiebeheer van de code.

21 maart 2025

Het omzetten van complexe documenten naar gestructureerde data is een grote uitdaging binnen de informatica. Traditionele methoden, zoals ensemblesystemen en grote multimodale modellen, kampen met problemen zoals hoge rekenkosten, foutgevoeligheid en beperkte generalisatie. Waar ensemblesystemen sterk afhankelijk zijn van handmatig ontworpen pijplijnen, hebben grotere modellen last van hallucinaties en inefficiëntie.

Onderzoekers van IBM en Hugging Face hebben deze problemen aangepakt met SmolDocling, een open-source visueel-taalkundig model met slechts 256 miljoen parameters. Dit compacte model verwerkt volledige pagina’s in één keer, wat de complexiteit en rekenlast aanzienlijk verlaagt. Daarnaast introduceerden de onderzoekers DocTags, een universeel opmaakformaat dat documentstructuren nauwkeurig vastlegt met minimale opslagvereisten.

SmolDocling is gebaseerd op SmolVLM-256M, een efficiënte architectuur met geoptimaliseerde tokenisatie en geavanceerde visuele compressie. Dankzij DocTags kan het model onderscheid maken tussen lay-out, tekst en visuele elementen, zoals formules, tabellen en codefragmenten. Door middel van curriculum learning wordt SmolDocling progressief getraind, wat de visuele en semantische afstemming met documentinhoud verbetert.

De prestaties van SmolDocling overtreffen die van grotere modellen in diverse documentconversietaken. Bij volledige OCR-verwerking behaalde het model een lagere edit distance (0,48) en een hogere F1-score (0,80) dan concurrenten zoals Qwen2.5 VL (7B) en Nougat (350M). Ook in het herkennen van wiskundige vergelijkingen behaalde het een F1-score van 0,95, vergelijkbaar met state-of-the-art modellen. In codeherkenning scoorde het hoge precisie- en recallwaarden van respectievelijk 0,94 en 0,91.

Wat SmolDocling onderscheidt, is de veelzijdigheid bij het verwerken van diverse documenttypen, waaronder wetenschappelijke artikelen, patenten en zakelijke formulieren. Door DocTags wordt ambiguïteit verminderd, waardoor de bruikbaarheid voor verdere toepassingen wordt verbeterd. Het model is bovendien efficiënt genoeg voor grootschalige batchverwerking zonder hoge rekenkosten, wat praktische en schaalbare implementaties mogelijk maakt.

SmolDocling markeert een doorbraak in documentverwerking en toont aan dat compacte modellen niet alleen concurreren met, maar soms zelfs beter presteren dan grotere varianten. De combinatie van efficiënte training, innovatieve datastructuren en geavanceerde opmaakformaten biedt een nieuw perspectief op OCR-technologie. Dit maakt het model niet alleen relevant voor academisch onderzoek, maar ook voor bedrijfsapplicaties en bredere toegankelijkheid.

20 maart 2025

Lowe’s, een toonaangevende doe-het-zelfketen met 1.700 winkels en 300.000 medewerkers, loopt voorop in AI-innovatie. Tijdens Nvidia GTC25 deelde Chandu Nair, Senior VP Data, AI en Innovatie, de visie van het bedrijf op hoe AI zowel de winkelervaring van klanten als interne processen transformeert.

De AI-strategie van Lowe’s is gebaseerd op drie pijlers: verbetering van de klantreis, ondersteuning van winkelmedewerkers en optimalisatie van bedrijfsvoering. Onder de naam “hobby shop”-strategie richt deze aanpak zich op het overbruggen van kennis- en informatiehiaten in huisverbetering, waarbij de nadruk ligt op probleemoplossing in plaats van enkel productverkoop.

Een belangrijk AI-initiatief is Mylow, een digitale assistent beschikbaar via de app en website. Mylow helpt klanten bij doe-het-zelfprojecten door relevante producten te selecteren en instructievideo’s en aanbevelingen te tonen. Dit biedt een complete ondersteuning om projecten efficiënter uit te voeren.

Lowe’s zet AI ook in om winkelmedewerkers te ondersteunen met een digitale assistent die klantvragen beantwoordt en realtime hulp biedt. Dankzij computervisie kan het systeem klanten lokaliseren die mogelijk assistentie nodig hebben, waardoor medewerkers efficiënter kunnen reageren.

Daarnaast wordt computervisie ingezet bij de zelfscankassa’s om winkeldiefstal te verminderen en de algehele veiligheid te verbeteren, wat bijdraagt aan een efficiëntere en veiligere winkelomgeving.

Lowe’s onderscheidt zich door een hybride AI-aanpak, waarbij traditionele computervisie wordt gecombineerd met generatieve AI. Volgens Nair is Lowe’s de enige retailer die deze combinatie op grote schaal toepast, wat zowel klanttevredenheid als operationele processen aanzienlijk verbetert.

19 maart 2025

Visueel-Linguïstische Modellen (VLM’s) hebben aanzienlijke vooruitgang geboekt in perceptiegerichte taken zoals visuele vraag-antwoorden (VQA) en documentgebaseerde visuele redenering. Toch schieten ze tekort bij taken die intensieve redeneervaardigheden vereisen, vanwege een gebrek aan hoogwaardige en diverse trainingsdatasets. Bestaande multimodale redeneersets kennen meerdere beperkingen: sommige richten zich te specifiek op wetenschappelijke beelden, andere vertrouwen op synthetische data die niet goed generaliseren, en veel zijn te beperkt om diepgaande redeneervaardigheden te ontwikkelen. Daardoor hebben VLM’s moeite met complexe redeneerstaken zoals geëvalueerd in benchmarks zoals MMMU, MathVista en MEGABench. Geautomatiseerde data-analyse is verkend om grootschalige annotaties te vergemakkelijken, maar het ontbreken van grootschalige multimodale datasets blijft een grote uitdaging.

Om multimodale redeneervaardigheden te verbeteren, zijn verschillende benaderingen onderzocht, zoals neurale symbolische redenering, geoptimaliseerde visuele verwerking en gestructureerde redeneerkaders. Toonaangevende modellen zoals GPT-4o en Gemini presteren uitstekend, maar hun beperkte toegankelijkheid heeft geleid tot de ontwikkeling van open-source alternatieven zoals LLaVA en MiniGPT-4. Veel van deze modellen combineren visuele en tekstuele representaties door middel van lichte connectorarchitecturen. Een belangrijke techniek binnen dit domein is Chain-of-Thought (CoT) prompting, die complexe vragen opsplitst in gestructureerde redeneerstappen om logisch redeneren te verbeteren. Modellen zoals Prism en MSG bouwen voort op deze methode, waardoor de perceptie-redeneringspijplijnen verder worden geoptimaliseerd. Het gebrek aan grote, goed geannoteerde multimodale datasets blijft echter een significante belemmering voor verdere vooruitgang.

Onderzoekers van verschillende universiteiten en Netmind.ai hebben VisualWebInstruct ontwikkeld, een omvangrijke multimodale dataset die VLM’s moet verbeteren. Met behulp van Google Image Search verzamelden ze 30.000 afbeeldingen uit vakgebieden zoals wiskunde, natuurkunde en financiën. Uit meer dan 700.000 webpagina’s werden vervolgens 900.000 vraag-antwoordparen geëxtraheerd, waarvan 40% visueel gericht is. Door het model MAmmoTH-VL2 met deze dataset te trainen, presteerde het beter op benchmarks zoals MMMU-Pro-std en Dyna-Math, wat de effectiviteit van de dataset in complex redeneren aantoont.

De dataverzamelingsmethode start met 30.000 wetenschappelijke afbeeldingen uit verschillende disciplines. Vervolgens worden via Google Image Search 758.490 unieke URL’s verzameld, waarbij niet-educatieve bronnen worden gefilterd. Toegankelijkheidsstructuren worden gebruikt om relevante tekst en beelden te extraheren. Het Gemini 1.5 Flash-model controleert de kwaliteit van de vraag-antwoordparen, waarna GPT-4o verdere verfijning uitvoert om consistente antwoorden te waarborgen. Het eindresultaat is VISUALWEBINSTRUCT: een dataset van 1,04 miljoen Q&A-paren, waarvan 38% visuele inhoud bevat. De vragen bestrijken diverse onderwerpen, met een zwaartepunt op wiskunde (62,5%), natuurkunde (14,5%) en financiën (7,25%).

De onderzoekers trainden MAmmoTH-VL2 met VISUALWEBINSTRUCT en evalueerden het model op zeven multimodale benchmarks. Het model combineert een Qwen2.5-7B-Instruct-taalmodel, een SigLip-visuele encoder en een projectiemodule. De training werd uitgevoerd met gesuperviseerde fijn-afstemming, een batchgrootte van 256 en verschillende leersnelheden voor afzonderlijke componenten. MAmmoTH-VL2 presteerde beter dan vergelijkbare open-source modellen, vooral bij wiskundige redeneervragen. Een ablatieanalyse toonde aan dat de combinatie van VISUALWEBINSTRUCT met Llava-CoT de beste resultaten opleverde, wat de waarde van de dataset in uiteenlopende multimodale taken onderstreept.

Deze studie laat zien dat grootschalige multimodale redeneersets kunnen worden gebouwd zonder handmatige annotatie. Dit is de eerste methode die Google Image Search gebruikt om hoogwaardige visuele redeneergegevens te verzamelen, resulterend in toonaangevende prestaties op vijf benchmarks. Door zoekmachines te benutten, biedt VisualWebInstruct een breed scala aan vragen en antwoorden uit verschillende disciplines. Met de verwerking van meer dan 700.000 URL’s en de creatie van bijna 900.000 QA-paren tonen de resultaten de impact van deze dataset aan. MAmmoTH-VL2 behaalde de beste prestaties binnen de 10B-parameterklasse, wat aantoont dat dergelijke datasets krachtige verbeteringen kunnen leveren aan vision-language modellen voor complexe redeneertaken.

18 maart 2025

Stereo diepteschatting speelt een essentiële rol in computervisie door machines in staat te stellen diepte af te leiden uit twee beelden. Deze technologie is cruciaal voor toepassingen zoals autonoom rijden, robotica en augmented reality. Hoewel deep learning aanzienlijke vooruitgang heeft geboekt, vereisen veel bestaande modellen een specifieke afstemming per domein om nauwkeurige resultaten te behalen. De uitdaging ligt in het ontwikkelen van een model dat in verschillende omgevingen kan presteren zonder extra training.

Een belangrijk obstakel in stereo diepteschatting is het verschil tussen trainingsgegevens en realistische omgevingen. Veel huidige methoden zijn gebaseerd op beperkte datasets die de complexiteit van echte scènes niet voldoende weergeven. Dit leidt ertoe dat modellen goed functioneren op benchmarks, maar falen in diverse scenario’s. Bovendien is het aanpassen van deze modellen aan nieuwe omgevingen rekenintensief en inefficiënt voor toepassingen die in realtime werken. Een robuustere aanpak zonder domeinspecifieke training is daarom noodzakelijk.

Bestaande technieken vertrouwen op kostenvolumes om de verschillen tussen beelden te berekenen. 3D-convolutionele neurale netwerken worden vaak toegepast voor filtering, maar hebben moeite met generalisatie. Iteratieve verfijning kan de nauwkeurigheid verbeteren, maar verhoogt de rekenkosten door het gebruik van terugkerende modules. Recent onderzoek naar transformer-gebaseerde modellen biedt een alternatief, maar deze technieken ondervinden uitdagingen bij het efficiënt verwerken van de zoekruimte voor dispariteit.

Onderzoekers van NVIDIA hebben FoundationStereo ontwikkeld om deze beperkingen aan te pakken en sterke generalisatie zonder extra training te bereiken. Dit model is getraind op een grootschalige synthetische dataset met een miljoen stereobeelden, zorgvuldig gefilterd om de kwaliteit te waarborgen. Daarnaast maakt FoundationStereo gebruik van een zogenoemde side-tuning-aanpak, waarbij bestaande monoculaire modellen helpen de kloof tussen synthetische en echte data te overbruggen. Hierdoor wordt een verbeterde generalisatie mogelijk zonder de noodzaak voor extra aanpassingen per domein.

De kern van FoundationStereo bestaat uit innovatieve componenten zoals het Attentive Hybrid Cost Volume (AHCF), dat 3D Axial-Planar Convolution combineert met een Disparity Transformer. Door de ruimtelijke en diepte-informatie te scheiden, verbetert deze methode de samengestelde kenmerken in het kostenvolume. Daarnaast verhoogt de Disparity Transformer het vermogen van het model om complexe structuren in de diepte te herkennen. Door een hybride architectuur van een convolutioneel neuraal netwerk en een Vision Transformer te integreren, worden nauwkeurigere initiële diepteschattingen bereikt, die vervolgens worden verfijnd.

Uit experimenten blijkt dat FoundationStereo beter presteert dan eerdere modellen. Het model werd getest op verschillende datasets zoals Middlebury, KITTI en ETH3D en bleek aanzienlijk lagere foutmarges te hebben. Zonder extra training reduceerde het de fouten op Middlebury tot 4,4%, terwijl op ETH3D een fout van slechts 1,1% werd gemeten. Tests op real-world beelden toonden aan dat het model goed omgaat met uitdagende omstandigheden zoals reflecties en weinig textuur. Deze resultaten onderstrepen het potentieel van FoundationStereo om betrouwbare diepteschattingen te leveren zonder domeinspecifieke aanpassingen.

17 maart 2025

Grote taalmodellen (LLMs) spelen een belangrijke rol in klantenservice, geautomatiseerde contentcreatie en informatievoorziening. Hun effectiviteit wordt echter beperkt door problemen met het consequent volgen van instructies over meerdere interacties. Dit probleem is vooral zorgwekkend in sectoren zoals de financiële dienstverlening en klantensupport, waar nauwkeurigheid en naleving van richtlijnen essentieel zijn. LLMs vertonen vaak moeite met het onthouden van instructies, wat leidt tot afwijkingen in gedrag en het genereren van foutieve of misleidende informatie, ook wel hallucinaties genoemd.

Een belangrijke uitdaging voor LLMs is het behouden van consistente redenering in complexe gesprekken. Hoewel ze eenvoudige vragen goed kunnen beantwoorden, neemt hun nauwkeurigheid af bij langer durende dialogen waarin eerdere interacties een rol spelen. Een specifiek probleem is alignment drift, waarbij modellen geleidelijk van de oorspronkelijke instructies afwijken, wat kan leiden tot verkeerde interpretaties. Daarnaast vergeten modellen vaak eerdere context ten gunste van recentere informatie, wat fouten veroorzaakt. Bestaande benaderingen, zoals Chain-of-Thought (CoT) en verificatie-gebaseerde prompts, verbeteren de prestaties, maar bieden onvoldoende structuur om consequent correcte antwoorden te garanderen.

Om deze beperkingen aan te pakken, hebben onderzoekers van Emcie Co Ltd Attentive Reasoning Queries (ARQs) ontwikkeld. Dit is een op structuur gebaseerde methode die LLMs helpt om instructies op een systematische manier te volgen. In plaats van vrij te redeneren, maken ARQs gebruik van een gedefinieerd JSON-schema dat modellen naar specifieke beslismomenten leidt. Dit helpt om richtlijnen beter na te leven en voorkomt misinterpretaties of verlies van context. De effectiviteit van deze aanpak werd geëvalueerd in Parlant, een framework voor AI-gebaseerde klantoplossingen, waarbij ARQs zorgden voor merkbare verbeteringen in instructienaleving en reductie van hallucinaties.

De ARQ-methode bestaat uit verschillende fasen die de redeneercapaciteit van modellen versterken. Eerst worden gerichte en gestructureerde vragen gesteld die het model herinneren aan de belangrijkste richtlijnen voordat een antwoord wordt gegenereerd. Tijdens het redeneringsproces worden stap-voor-stap vragen gebruikt om de instructies verder te verankeren. In sommige gevallen volgt een extra verificatiefase, waarin het model de nauwkeurigheid van zijn eigen antwoord controleert. Deze gestructureerde aanpak onderscheidt zich duidelijk van CoT, doordat het model op elk moment wordt begeleid en gecontroleerd.

Tests met ARQs binnen Parlant laten veelbelovende resultaten zien. In een experimentele opstelling met 87 gespreksscenario’s behaalde ARQs een succespercentage van 90,2%, vergeleken met 86,1% voor CoT en 81,5% voor directe responsgeneratie. Met name in gevallen waarbij eerdere richtlijnen opnieuw moesten worden toegepast, presteerden ARQs beter dan CoT, met een succespercentage van 92,19% tegenover 87,81%. Bovendien verminderden ARQs hallucinaties met 23% ten opzichte van de standaard CoT-methode, wat hun waarde aantoont voor AI-toepassingen waarin feitelijke nauwkeurigheid cruciaal is.

De studie wijst op meerdere voordelen van ARQs. Ze verbeteren niet alleen de instructienaleving en nauwkeurigheid, maar verminderen ook het aantal tokens dat in classificatietaken wordt gebruikt met 29%, wat de efficiëntie verhoogt. De ingebouwde verificatie helpt alignment drift tegen te gaan, zodat modellen zich aan vooraf gedefinieerde richtlijnen blijven houden, zelfs in langere gesprekken. Toekomstig onderzoek richt zich op verdere optimalisatie van ARQs, met verbeterde queryontwerpen en bredere toepassingen in AI-gestuurde besluitvorming.

16 maart 2025

Onderzoekers richten zich op het verbeteren van de redeneercapaciteiten van grote taalmodellen (LLMs) door de testtijd-computatie efficiënter te benutten. Huidige methoden, zoals finetuning met zoeksporen en reinforcement learning (RL) met binaire beloningen, zijn beperkt in het optimaal inzetten van beschikbare rekenkracht. Recente studies tonen aan dat een verhoogde testtijd-computatie kan bijdragen aan betere redeneervaardigheden door langere oplossingssporen te genereren en gestructureerde stappen zoals reflectie en planning te integreren. Een belangrijke uitdaging blijft hoe LLMs hun rekenkracht aanpassen aan de complexiteit van taken en of ze moeilijkere problemen efficiënter kunnen oplossen bij een groter compute-budget.

Om testtijd-computatie te optimaliseren, is onderzocht of aparte verifiers voor selectiegebaseerde methoden, zoals best-of-N of beam search, effectiever kunnen zijn dan alleen het vergroten van het model of de trainingsdata. Echter, finetuning op onbekende zoeksporen kan leiden tot memorisatie in plaats van daadwerkelijke redeneerverbetering. RL-technieken hebben vooruitgang geboekt door het genereren van ketens van redenering, waardoor modellen beter kunnen plannen en hun antwoorden verfijnen. Toch blijkt een langere redeneerketen niet altijd te zorgen voor betere accuraatheid, omdat irrelevante of overbodige stappen kunnen worden toegevoegd.

Wetenschappers van Carnegie Mellon University en Hugging Face werken aan een alternatieve benadering om testtijd-computatie te optimaliseren. In plaats van alleen op uitkomstgerichte RL te vertrouwen, introduceren zij een finetuning-techniek die een balans zoekt tussen exploratie en exploitatie. Dit model maakt gebruik van een beloningssysteem dat vorderingen in redenering meet, waardoor efficiënter gebruik wordt gemaakt van rekencapaciteit. Evaluaties op wiskundige benchmarks tonen aan dat deze methode niet alleen hogere accuraatheid bereikt, maar ook leidt tot efficiënter gebruik van tokens.

De onderzoekers benaderen het probleem vanuit een meta-reinforcement learning (meta-RL) perspectief. Zij stellen dat optimale testtijd-computatie kan worden bereikt door cumulatieve spijt te minimaliseren, in plaats van overdreven te focussen op enkel de uiteindelijke uitkomst. Het voorgestelde Meta Reinforcement Fine-Tuning (MRT) model beloont stapsgewijze vooruitgang en voorkomt onnodige rekentijdverspilling. Doordat rekening wordt gehouden met incrementele verbeteringen en niet alleen een binair succes of falen, kunnen modellen beter omgaan met beperkingen in rekencapaciteit tijdens de inzetfase.

Uit experimenten blijkt dat MRT aanzienlijk beter presteert dan bestaande methoden bij het optimaliseren van testtijd-computatie. Het model bereikt de hoogste nauwkeurigheid binnen zijn categorie, terwijl het ook robuuster presteert bij onbekende invoer. Vergeleken met basismodellen en traditionele RL-technieken vergt MRT minder tokens voor dezelfde accuraatheid, waardoor de efficiëntie van berekeningen aanzienlijk wordt verhoogd. Verder toonden tests aan dat MRT effectieve achteruitzoekmethoden en lineaire evaluaties ondersteunt, wat bijdraagt aan betere probleemoplossing en generalisatie.

Tot slot beschouwen de onderzoekers het optimaliseren van testtijd-computatie als een meta-RL vraagstuk, waarbij cumulatieve spijt als kernmaatstaf wordt gebruikt. Huidige RL-methoden, die uitsluitend op eindresultaten zijn gericht, blijken onvoldoende geschikt om stapsgewijze vooruitgang te stimuleren. MRT introduceert een beloningssysteem dat modellen aanspoort om efficiënt voortgang te boeken, zonder overbodige rekencapaciteit te verspillen. Hierdoor wordt niet alleen een verbetering van 2 tot 3 keer in prestaties behaald, maar ook een 1,5 keer hogere efficiëntie in tokengebruik bij wiskundige redeneertaken.

15 maart 2025

In de huidige digitale wereld kan het werken met verschillende software en besturingssystemen een tijdrovende en foutgevoelige taak zijn. Veel gebruikers ondervinden moeilijkheden bij het navigeren door complexe interfaces en het uitvoeren van routinetaken die precisie en flexibiliteit vereisen. Bestaande automatiseringstools schieten vaak tekort in het aanpassen aan subtiele interfacewijzigingen en het leren van eerdere fouten, wat leidt tot een afhankelijkheid van handmatige controle. Dit benadrukt de noodzaak van een systeem dat niet alleen taken betrouwbaar uitvoert, maar zich ook voortdurend ontwikkelt en aanpast.

Simular heeft Agent S2 geïntroduceerd, een open, modulair en schaalbaar raamwerk voor digitale assistentie. Dit nieuwe systeem bouwt voort op eerdere versies en biedt een verbeterde benadering van taakautomatisering op computers en smartphones. Door een modulaire opzet te combineren met zowel algemene als gespecialiseerde modellen, kan Agent S2 zich aanpassen aan uiteenlopende digitale omgevingen. Het ontwerp is geïnspireerd op de modulaire werking van het menselijk brein, waardoor het flexibel en robuust functioneert.

De kern van Agent S2 is gebaseerd op ervaring-gestuurde hiërarchische planning, waarbij complexe taken worden opgesplitst in kleinere, beheersbare deeltaken. Het systeem leert voortdurend van eerdere interacties, wat de efficiëntie en nauwkeurigheid vergroot. Een belangrijk aspect is het vermogen om visueel onderbouwde beslissingen te nemen door ruwe schermafbeeldingen te interpreteren. Dit elimineert de noodzaak van gestructureerde gegevens en verbetert de interactie met gebruikersinterfaces. Daarnaast maakt Agent S2 gebruik van een geavanceerde interface die routinematige, eenvoudige handelingen toewijst aan gespecialiseerde modules, ondersteund door een adaptief geheugenmechanisme dat eerder opgedane ervaringen benut.

Uit tests blijkt dat Agent S2 betrouwbaar presteert op zowel computers als smartphones. Op de OSWorld-benchmark, die de uitvoering van complexe computertaken evalueert, behaalde het een succespercentage van 34,5% bij een test met 50 stappen. In een vergelijkbare test voor smartphones, de AndroidWorld-benchmark, bereikte het systeem een succespercentage van 50%. Deze resultaten bevestigen de praktische voordelen van een adaptieve AI-oplossing die zelflerend is en efficiënt reageert op dynamische omstandigheden.

Agent S2 biedt een innovatieve benadering voor het stroomlijnen van digitale workflows. Door de combinatie van modulaire architectuur, visuele interpretatie en taakgerichte planning maakt het systeem automatisering effectiever en gebruikersvriendelijker. De technologie achter Agent S2 stelt gebruikers in staat om routinetaken efficiënter uit te laten voeren zonder voortdurende handmatige tussenkomst.

Met een groeiende behoefte aan intelligente automatisering draagt Agent S2 bij aan verbeterde workflowbeheer en digitale productiviteit. De combinatie van geavanceerde planning, visuele herkenning en specialistische taakverdeling maakt het een waardevolle oplossing voor zowel zakelijke als persoonlijke toepassingen. Dit onderstreept de potentie van adaptieve AI om digitale interacties soepeler en efficiënter te maken.

14 maart 2025

Grote taalmodellen (LLM’s) vertrouwen voornamelijk op hun interne kennis, wat problematisch kan zijn bij het beantwoorden van actuele of complexe vragen. Dit leidt vaak tot onnauwkeurige antwoorden of zogenaamde hallucinaties. Daarom werken onderzoekers aan methoden om LLM’s te verbeteren met externe zoekmogelijkheden, waarbij ze gebruik maken van reinforcement learning om de modellen beter te laten omgaan met het ophalen en integreren van relevante informatie.

Een belangrijk probleem van huidige LLM’s is hun beperkte toegang tot recente en domeinspecifieke kennis. Omdat ze zijn getraind op grote datasets die mogelijk verouderde informatie bevatten, hebben ze moeite met dynamische vragen. Retrieval-augmented generation (RAG) is een bestaande oplossing, maar deze aanpak leunt sterk op gestructureerde prompts en supervisie, wat het vermogen tot generalisatie beperkt. Er is behoefte aan een methode waarmee LLM’s zelfstandig externe zoekopdrachten kunnen uitvoeren, zonder afhankelijk te zijn van handmatige instructies.

Eerdere technieken, zoals iteratieve promptsystemen en tree-based searchmethoden zoals Monte Carlo Tree Search (MCTS), hebben geprobeerd externe zoekfunctionaliteit te integreren. Hoewel deze methoden enige vooruitgang hebben geboekt, vereisen ze veel rekenkracht en zijn ze vaak afhankelijk van gesloten modellen. Bovendien kunnen ze ervoor zorgen dat modellen vast blijven zitten in aangeleerde redeneerstappen, wat hun vermogen om nieuwe vragen aan te pakken beperkt. Hierdoor blijft de noodzaak bestaan voor een efficiëntere en autonomere zoekstrategie.

Onderzoekers van de Renmin University of China en DataCanvas Alaya NeW hebben daarom de R1-Searcher ontwikkeld, een framework op basis van reinforcement learning dat LLM’s helpt effectiever externe kennis op te halen. Dit model functioneert zonder vooraf ingestelde prompts of supervisie en stelt de modellen in staat om zelfstandig zoekstrategieën te leren en toe te passen. Dankzij een tweefasige leerstrategie kan het zich aanpassen aan diverse zoek- en redeneertaken zonder afhankelijk te zijn van eerder geziene data.

In het eerste leerstadium leert de R1-Searcher hoe en wanneer zoekopdrachten uit te voeren, waarbij het model een beloning krijgt op basis van de zoekactie zelf, los van de juistheid van het antwoord. In de tweede fase wordt een aanvullende beloning toegekend als de zoekresultaten bijdragen aan een correcte oplossing. Dit proces bevordert een dynamische integratie van redeneren en externe kennis, waardoor het model nauwkeuriger en flexibeler wordt ten opzichte van eerdere technieken.

Experimenten toonden aan dat R1-Searcher aanzienlijk beter presteerde dan bestaande retrieval-augmented methoden. Op de HotpotQA-dataset nam de nauwkeurigheid met 48,22% toe, terwijl op de 2WikiMultiHopQA-dataset een verbetering van 21,72% werd geregistreerd. Daarnaast presteerde het model beter dan andere systemen op de Bamboogle-dataset met een stijging van 11,4%. Doordat R1-Searcher externe kennis beter benut, vermindert het ook fouten zoals hallucinaties en desinformatie, wat bijdraagt aan betrouwbaardere AI-gegenereerde antwoorden.