Asides

14 mei 2025

In deze handleiding leer je stap voor stap hoe je met behulp van Lovable.dev een moderne en functionele blogwebsite over kunstmatige intelligentie kunt bouwen en publiceren. Lovable.dev maakt het eenvoudig om professioneel ogende websites te ontwikkelen die geschikt zijn voor specifieke niches, zoals technologie en AI.

Je begint met het kiezen van een template dat past bij het doel en de uitstraling van je website. Nadat je een prompt hebt ingevoerd, genereert Lovable.dev automatisch een complete site inclusief de benodigde code. Indien nodig kun je wijzigingen aanbrengen door feedback te geven, waarna de website direct aangepast wordt.

Zodra de site naar wens is aangepast, kun je deze met een paar klikken publiceren via Lovable.dev. Hierbij krijg je een standaarddomein, maar je hebt ook de optie om een eigen domein toe te voegen of een nieuw domein aan te schaffen, afhankelijk van je voorkeur en beschikbaarheid.

Daarnaast biedt het platform de mogelijkheid om je website ook via GitHub te publiceren. Dit start met het verbinden van Lovable.dev met je GitHub-account. Na autorisatie kun je een repository selecteren en je project rechtstreeks vanuit Lovable.dev publiceren naar GitHub.

Zodra de koppeling is voltooid, is je GitHub-repository verbonden met je project. Je kunt nu wijzigingen rechtstreeks vanuit GitHub aanbrengen of het project lokaal bewerken en wijzigingen terugpushen. Bovendien kun je de bestanden ook openen en bewerken in Visual Studio Code of via de ingebouwde editor van Lovable.dev.

Tot slot krijg je een finale preview van je aangepaste website. Hiermee beschik je over een volledig werkende AI-blogsite die visueel aantrekkelijk en gebruiksvriendelijk is ingericht. Dankzij de GitHub-integratie is versiebeheer eenvoudig en blijft samenwerken soepel verlopen.

13 mei 2025

Het abstraheren van vormen door middel van geometrische primitieven is fundamenteel voor menselijke visuele waarneming en speelt een belangrijke rol in computer vision en graphics. Hoewel moderne 3D-generatiemethoden zoals meshes, puntwolken en neurale velden zorgen voor gedetailleerde content, ontbreekt het vaak aan semantische interpretatie. Dit vormt een obstakel bij toepassingen zoals robotmanipulatie of scènedetectie.

Traditionele benaderingen om vormen te abstraheren zijn gebaseerd op optimalisatie of leren, waarvan de eerste vaak leidt tot semantisch overgesegmenteerde objecten, en de tweede beperkt blijft tot specifieke categorieën. Vroegere modellen gebruikten eenvoudige vormen als blokken en cilinders, later kwamen geavanceerdere vormen zoals superkwadrieken in beeld. Toch blijft het lastig om een model te bouwen dat zowel kognitief logisch is als generaliseerbaar over verschillende objecttypen.

Geïnspireerd door recente vooruitgang in 3D-generatie met behulp van grote datasets en transformer-gebaseerde modellen, herdefiniëren onderzoekers van Tencent AIPD en Tsinghua University vormabstractie als een generatief proces. Hun methode, PrimitiveAnything, genereert vormassemblages stap voor stap, op een manier die aansluit bij menselijk redeneergedrag. Hierdoor worden zowel semantische structuur als geometrische precisie beter vastgelegd.

PrimitiveAnything gebruikt een transformer die op puntwolk-extacties is gebaseerd. Via een discrete en dubbelzinnigheid-vrije parametrisatie worden typen, rotaties, posities en schalen van primitieven gerepresenteerd. Met behulp van een cascaderende decoder worden samenhangende attributen gegenereerd. De trainingsmethode integreert cross-entropy, Chamfer Distance en Gumbel-Softmax om reconstructie nauwkeurig en differentieerbaar te maken.

Voor het aanleren van menselijke abstractie introduceerden de onderzoekers de HumanPrim-dataset met 120.000 door mensen geannoteerde 3D-vormassemblages. De evaluatie toont aan dat PrimitiveAnything bijdraagt aan betere reconstructies en semantische segmentatie dan eerdere methoden. Ablatieonderzoek bevestigt het belang van elk component. Bovendien ondersteunt de aanpak contentcreatie vanuit tekst of beeld, met mogelijkheden voor bewerking en tot wel 95% opslagbesparing.

Samengevat biedt PrimitiveAnything een efficiënte manier om 3D-vormen te abstraheren en genereren. Het model leert van menselijke decompositiepatronen en levert kwalitatief hoogwaardig werk over een breed scala aan vormen. Dankzij de modulaire en lichte opzet is het bijzonder geschikt voor interactieve toepassingen zoals gamedesign, waar gebruiksgemak en prestaties essentieel zijn.

12 mei 2025

Taalverwerking in zakelijke omgevingen wordt steeds uitdagender nu bedrijven afhankelijker worden van het integreren van informatie uit uiteenlopende bronnen, zoals interne documentatie, codebanken, onderzoeksrapporten en real-time gegevens. Hoewel grote taalmodellen veelbelovende mogelijkheden bieden, gaan ze gepaard met hoge kosten per aanvraag, continue behoefte aan krachtige hardware en toenemende zorgen rond dataprivacy.

Het schalen van modelgrootte kent inmiddels afnemende meerwaarde, waarbij het hoge energieverbruik de verdere ontwikkeling van AI kan belemmeren. Ondernemingen zoeken daarom evenwichtige oplossingen die lange contexten goed begrijpen en tegelijk efficiënt, betaalbaar en privacyvriendelijk blijven. Kleine taalmodellen voldoen steeds beter aan deze combinatie van eisen, ondanks de complexiteit van moderne bedrijfsapplicaties.

Tot nu toe werd de capaciteit van taalmodellen om langere teksten te verwerken vaak uitgebreid via technieken als retrieval-augmented generation, externe tool-integraties en geheugenmechanismen. Deze methoden voegen echter complexiteit en foutgevoeligheid toe. Grotere contextvensters helpen wel, maar leiden tot aanzienlijke rekenlast. Daarom zijn native modellen met ingebouwde lange-contextverwerking essentieel om coherentie en eenvoud te behouden.

Salesforce AI Research introduceerde xGen-small, een compact taalmodel gericht op effectieve lange-contextverwerking voor zakelijk gebruik. De architectuur focust niet op schaalvergroting, maar op gerichte dataselectie, efficiënte pre-training en versterkende fine-tuning. Deze aanpak biedt bedrijven betrouwbare prestaties met lage kosten en sterke privacybescherming.

Het ontwikkelingstraject omvat zorgvuldige datacuratie, waarbij meer dan acht biljoen tokens gefilterd en geoptimaliseerd werden op relevantie, variatie en nauwkeurigheid. De pre-training op krachtige hardware gebruikt geavanceerde optimalisatietechnieken, terwijl lengte-uitbreiding het model in staat stelt om contexten tot 128.000 tokens te verwerken zonder noemenswaardig prestatieverlies.

De prestaties van xGen-small zijn indrukwekkend binnen zijn klasse, met toonaangevende resultaten bij benchmarks. Dankzij een geïntegreerde combinatie van data-engineering, sequentieparallelisme, lengteverwerking en versterkend leren levert het model krachtige ondersteuning bij zakelijke taken, zoals long-form documentanalyse, codering en wiskundige redenering, terwijl het tegelijk betaalbaar en schaalbaar blijft.

11 mei 2025

Moderne AI-modellen moeten in staat zijn om complexe taken uit te voeren, zoals het oplossen van wiskundige vraagstukken, het interpreteren van logische redeneringen en het ondersteunen van zakelijke besluitvorming. Hiervoor is een combinatie nodig van wiskundig inzicht, wetenschappelijke kennis en geavanceerde patroonherkenning. Met de toenemende behoefte aan intelligente systemen in toepassingen zoals codeerhulpmiddelen en bedrijfsautomatisering, neemt de vraag naar efficiënte en krachtige modellen toe die ook geschikt zijn voor inzet in praktijksituaties met beperkte hardware.

Een belangrijk obstakel bij de ontwikkeling van zulke AI-systemen is hun hoge reken- en geheugengebruik. Hoewel veel grote modellen uitstekende prestaties leveren, zijn ze vaak lastig breed inzetbaar vanwege hun behoefte aan krachtige infrastructuur. Zelfs organisaties met ruime middelen ondervinden beperkingen bij het toepassen van modellen die tientallen gigabytes aan geheugen vereisen of hoge kosten per bewerking met zich meebrengen. Het is dan ook van belang om modellen te bouwen die niet alleen nauwkeurig zijn, maar ook efficiënt in gebruik.

Om die kloof te overbruggen, ontwikkelde het researchteam van ServiceNow de Apriel-Nemotron-15b-Thinker. Dit model telt 15 miljard parameters, wat relatief compact is, maar toch prestaties levert die vergelijkbaar zijn met modellen van bijna het dubbele formaat. Groot voordeel is het lage geheugengebruik en de efficiënte omgang met tokens, wat het model veel geschikter maakt voor gebruik in bedrijfsomgevingen waar schaalbaarheid en kosten cruciaal zijn.

De training van Apriel-Nemotron-15b-Thinker verliep in drie fasen. In de eerste fase werd het model verder getraind met meer dan 100 miljard tokens uit domeinen als logica, wiskunde en programmeren. Vervolgens werd het model fijngeslepen met 200.000 zorgvuldig geselecteerde voorbeelden om de nauwkeurigheid van het redeneringsvermogen te vergroten. Ten slotte zorgde een optimalisatiefase met reinforcement learning voor betere afstemming op gewenste uitkomsten.

Bij benchmarks gericht op praktische toepassingen – zoals MBPP, BFCL, Enterprise RAG en specifieke beoordelingssets – presteerde het model gelijk aan of beter dan grotere modellen. Bovendien gebruikt het 40% minder tokens dan concurrenten, wat de operationele kosten verlaagt. Ook op academische evaluaties, waaronder MATH-500 en GPQA, houdt het model stand en dit alles met ongeveer de helft van het geheugengebruik van grote modellen als QWQ-32b.

Apriel-Nemotron-15b-Thinker laat zien dat kleinere modellen niet hoeven in te leveren op prestaties. Door gericht te trainen én optimalisatie toe te passen, is het gelukt om een evenwicht te vinden tussen nauwkeurigheid en efficiëntie. Het model is daarmee bijzonder geschikt voor agent-gebaseerde systemen, zakelijke automatisering en real-world toepassingen waarin schaalbaarheid en snelheid een hoofdrol spelen.

10 mei 2025

NVIDIA blijft innoveren binnen de open source AI-gemeenschap en heeft zijn Open Code Reasoning (OCR)-modellen vrijgegeven als open source. Deze modellen zijn speciaal ontwikkeld voor code-redenering en probleemoplossing in programmeertaken. De modellen zijn beschikbaar in drie varianten met 32 miljard, 14 miljard en 7 miljard parameters en worden uitgebracht onder de Apache 2.0-licentie.

De OCR-modellen behalen indrukwekkende resultaten op benchmarks, waarbij ze beter presteren dan OpenAI’s o3-Mini en o1 (low) modellen op de LiveCodeBench-test. Deze benchmark richt zich op realistische programmeertaken zoals foutopsporing, codegeneratie en logische vervollediging. Met name de 32B-variant van NVIDIA staat bovenaan in de prestaties van open modellen op het gebied van redeneren.

De sterke resultaten zijn grotendeels te danken aan NVIDIA’s speciaal samengestelde OCR-dataset. Deze trainingsdata legt de nadruk op instructie-opvolging, stapsgewijze probleemoplossing en logisch denken. Hierdoor realiseren de modellen een 30 procent hogere token-efficiëntie, wat leidt tot betere uitkomsten met minder tokens.

De modelreeks biedt keuze voor verschillende toepassingen. De 32B-versie is gericht op topscores en onderzoeksdoeleinden, de 14B-variant biedt sterke prestaties met lagere rekeneisen, en de 7B-versie is geschikt voor omgevingen met beperkte middelen, terwijl het competitieve resultaten blijft leveren.

Alle modellen zijn gebouwd op het Nemotron-architectuur, een transformer-gebaseerde structuur van NVIDIA die is geoptimaliseerd voor meertalige en multitask AI-toepassingen. Ze zijn compatibel met platforms zoals llama.cpp, vLLM, Hugging Face Transformers en TGI, waardoor ze gemakkelijk te integreren zijn in bestaande infrastructuren.

Met deze openstelling onderstreept NVIDIA zijn betrokkenheid bij toegankelijke en transparante AI-ontwikkeling. Door krachtige code-redeneermodellen vrij beschikbaar te stellen, maakt het bedrijf deze technologie toegankelijker voor ontwikkelaars, onderzoekers en bedrijven die willen werken aan geavanceerde AI-oplossingen zoals programmeerassistenten en automatisering van code-analyse.

9 mei 2025

Recente vooruitgang in Large Language Models (LLM’s) heeft gezorgd voor aanzienlijke verbeteringen in taalbegrip, redenering en tekstgeneratie. Deze modellen presteren inmiddels sterk op uiteenlopende taken, zoals het oplossen van wiskundige problemen en het genereren van contextuele antwoorden. Toch blijft één probleem hardnekkig bestaan: hallucinaties, oftewel foutieve maar overtuigende antwoorden. Deze ondermijnen de betrouwbaarheid van LLM’s, met name in kritieke toepassingen.

Hoewel het gebruik van LLM’s om hallucinaties te detecteren veelbelovend lijkt, blijkt uit studies dat zij zonder externe begeleiding vaak onderdoen voor menselijke beoordelaars. Er is meestal gelabelde feedback nodig om de prestaties te verbeteren. Dit roept de vraag op of geautomatiseerde detectie van hallucinaties inherent moeilijk is, of haalbaar wordt naarmate modellen verbeteren.

Zowel theoretische als empirische onderzoeken hebben dit onderzocht. Vanuit klassieke leertheorieën, zoals het Gold-Angluin model, analyseren onderzoekers of betrouwbare generatie en detectie haalbaar zijn binnen bepaalde beperkingen. Sommigen wijzen op fundamentele architecturale beperkingen van LLM’s, zoals het omgaan met samengestelde functies. In de praktijk worden technieken als SelfCheckGPT ingezet, evenals methoden die gebruikmaken van interne modeltoestanden of gelabelde trainingsdata.

Onderzoekers van Yale University introduceren een theoretisch raamwerk waarin hallucinatiedetectie wordt gezien als een taalkundig identificatieprobleem, geïnspireerd op het Gold-Angluin model. Zij concluderen dat detectie niet mogelijk is wanneer alleen positieve, correcte voorbeelden worden gebruikt. Zodra echter ook negatieve, gelabelde voorbeelden beschikbaar zijn, wordt detectie wel uitvoerbaar.

De aanpak laat zien dat een algoritme dat een taal kan identificeren in de limiet, ook hallucinaties kan detecteren in de limiet. Omgekeerd kan taalidentificatie worden herleid tot hallucinatiedetectie. Door inconsistenties in output te analyseren en niet-kloppende antwoorden uit te sluiten, identificeert het algoritme de taal zonder hallucinaties.

De studie presenteert een formeel model waarin een leerling interacteert met een tegenstander. De leerling ontvangt opeenvolgende voorbeelden en moet op basis daarvan vaststellen welke voorbeelden wél of niet tot de correcte taal behoren. Cruciaal daarbij is de beschikbaarheid van gelabelde data; met voldoende negatieve voorbeelden is detectie voor elke telbare verzameling talen mogelijk. Dit benadrukt het belang van menselijke feedback, zoals bij reinforcement learning, om de betrouwbaarheid van LLM’s te waarborgen.

08 mei 2025

OpenAI heeft een uitgebreid rapport van 24 pagina’s gepubliceerd onder de titel “AI in the Enterprise”, dat organisaties helpt om grootschalige AI-implementaties effectief te benaderen. In plaats van zich te richten op abstracte theorieën, biedt het document zeven praktijkgerichte strategieën, gebaseerd op samenwerkingen met bedrijven zoals Morgan Stanley, Klarna, Lowe’s en Mercado Libre. Het fungeert meer als een strategisch handboek dan als marketingmateriaal en benadrukt gestructureerde evaluaties, technologische paraatheid en integratie binnen specifieke domeinen.

De eerste stap in het rapport adviseert om AI-systemen te evalueren aan de hand van duidelijke metingen van prestaties in relevante toepassingen. Morgan Stanley bijvoorbeeld, gebruikte deze methode voor vertaling, samenvatting en informatieopvraging, wat resulteerde in efficiënter documentbeheer en bredere acceptatie binnen het bedrijf. Zulke ‘evals’ bieden directe feedback en verbeteren daarmee zowel veiligheid als precisie.

OpenAI benadrukt verder het belang van daadwerkelijke AI-integratie in producten, in plaats van AI als bijzaak te behandelen. Zo gebruikte Indeed GPT-4o mini om gepersonaliseerde aanbevelingen te verrijken met contextuele uitleg, wat leidde tot een hogere gebruikersbetrokkenheid en meer succesvolle matches. Het rapport maakt duidelijk dat waarde pas echt ontstaat wanneer AI is afgestemd op specifieke gebruikerservaringen.

Vroege investeringen in AI kunnen volgens OpenAI ook een strategisch voordeel bieden. Klarna’s vroege adoptie leverde efficiëntere klantenservice en interne processen op, waarbij twee derde van alle klantgesprekken nu wordt afgehandeld door een AI-assistent. Een grootschalige interne betrokkenheid bij AI creëert bovendien momentum voor voortdurende organisatieverbeteringen.

Het document wijst ook op het belang van modelaanpassing voor nauwkeurigheid in specifieke contexten. Lowe’s behaalde aanzienlijk betere zoekresultaten door hun GPT-modellen te finetunen met eigen productdata. Deze aanpak verhoogde de kwaliteit van taggingsystemen en foutdetectie, en bewijst hoe gerichte aanpassingen bijdragen aan merkconsistentie en operationele efficiëntie.

Een andere sleutelstrategie is het betrekken van niet-technische experts bij AI-toepassingen. BBVA liet zien dat interne specialisten zonder programmeerkennis GPT-tools kunnen ontwikkelen, wat resulteerde in duizenden interne toepassingen voor juridische, compliance- en klantondersteuningsdoeleinden. Deze decentrale aanpak stimuleert innovatie en versnelt de implementatie van bruikbare oplossingen.

Tot slot benoemt OpenAI het belang van gestructureerde automatisering. Door systemen te bouwen die integreren met bestaande tools zoals e-mail, wist OpenAI interne taken op grote schaal te automatiseren. Ook wordt gewerkt aan een AI-agent die zelfstandig webinterfaces bedient, wat een vooruitblik geeft op een toekomst van API-loze werkprocessen. Het rapport sluit af met de boodschap dat succesvolle AI-implementatie vraagt om iteratief werken, nauwe samenwerking tussen teams en constante strategie-aanpassing.

7 mei 2025

Geheugen speelt een essentiële rol in AI-systemen gebaseerd op grote taalmodellen (LLMs), vooral om langdurige, coherente interacties mogelijk te maken. Hoewel eerdere onderzoeken aspecten van geheugen bij LLMs belichten, ontbreekt vaak een diepgaande analyse van de onderliggende processen die geheugenoperaties aansturen. Elementen zoals opslag, ophalen, en generatie op basis van geheugen worden doorgaans los van elkaar onderzocht, waardoor een geïntegreerd model ontbreekt dat deze bouwstenen samenbrengt.

Bestaande overzichtsstudies behandelen meestal slechts deelgebieden van geheugengebruik, zoals lange contextverwerking, personalisatie en kennisaanpassing. Hierdoor blijven fundamentele activiteiten zoals indexering onderbelicht en ontbreekt vaak een volledig overzicht van hoe geheugen in AI functioneert. Bovendien bieden deze studies zelden duidelijke afbakening van het onderzoeksveld, noch praktische hulpmiddelen of benchmarks om verdere ontwikkeling te ondersteunen.

Onderzoekers van onder meer de Chinese Universiteit, de Universiteit van Edinburgh, HKUST en Poisson Lab van Huawei UK presenteerden een uitgebreid overzicht waarin geheugen wordt onderverdeeld in parametrisch, contextueel-gestructureerd en contextueel-ongestructureerd. Ze maken onderscheid tussen kortetermijn- en langetermijngeheugen op basis van inzichten uit cognitieve psychologie. Zes kernoperaties worden gedefinieerd: consolidatie, actualisatie, indexering, vergeten, ophalen en compressie.

Door meer dan 30.000 publicaties te analyseren en te classificeren, koppelden de onderzoekers elk type geheugen en bijbehorende operaties aan invloedrijke onderzoeksgebieden zoals langetermijngeheugen, lange contexten, parametrische aanpassing en integratie van meerdere gegevensbronnen. Ze introduceerden tevens relevante hulpmiddelen en benchmarks, waarmee het veld systematisch in kaart wordt gebracht.

De studie introduceert een gelaagd ecosysteem van geheugen-gecentreerde AI-systemen. Deze omvatten onder andere basisonderdelen zoals vectoropslag, LLMs (waaronder GPT-4), retrievaltools als FAISS, operationele raamwerken zoals LangChain, en geavanceerde laagtoepassingen zoals Memary en Memobase. Samen ondersteunen ze langdurige contexttracking, personalisatie en adaptief gedrag bij AI-interacties.

Tot slot worden toekomstige uitdagingen besproken, waaronder het beheer van spatio-temporeel geheugen, efficiënt parametisch ophalen, levenslang leren en veilige geheugenmanipulatie. Er is ook aandacht voor inspiratie uit biologische modellen, met nadruk op duale en hiërarchische geheugenarchitecturen. Toekomstig onderzoek richt zich op uniforme geheugenrepresentaties, samenwerking tussen meerdere AI-agenten en het waarborgen van geheugenzekerheid tegen kwaadaardige manipulaties.

6 mei 2025

In de huidige financiële wereld, waar snelheid en nauwkeurigheid cruciaal zijn, maken gespecialiseerde AI-agenten het mogelijk om gerichte analyses sneller en efficiënter uit te voeren. Agno biedt een lichtgewicht en model-onafhankelijk framework dat ontwikkelaars ondersteunt bij het bouwen van doelgerichte agenten zonder onnodige complexe code. Door gebruik te maken van afzonderlijke agents, zoals een Finance Agent en een Risk Assessment Agent, kunnen financiële gegevens en risico-inzichten effectief worden verzameld en geanalyseerd.

De installatie van Agno en gerelateerde bibliotheken zoals Google’s GenAI SDK, DuckDuckGo Search, en YFinance zorgt voor directe toegang tot actuele marktdatasets, aanbevelingen van analisten en beursnieuws. Door het invoeren van een API-sleutel in een veilige omgeving wordt authenticatie voor toekomstige AI-opdrachten eenvoudig beheerd.

Een individuele agent gebaseerd op het Gemini-model van Google wordt geconfigureerd om rapporten te genereren op basis van beurssystemen. De Finance Agent verzamelt financiële informatie zoals aandelenkoersen, bedrijfsinformatie, en marktanalyses. Intussen focust de Risk Assessment Agent op prijsvolatiliteit en het sentiment uit nieuwsberichten om risicoprofielen te genereren.

Deze twee taken worden gecombineerd in een teamstructuur genaamd de Finance-Risk Team. In deze opzet coördineert Agno automatisch welke agent verantwoordelijk is voor welk onderdeel van de opdracht. Op basis van vooraf gedefinieerde instructies wordt de werkverdeling helder gemaakt en de resultaten uiteindelijk samengevoegd tot één allesomvattend rapport.

Het team is in staat om analyses in realtime uit te voeren waarbij tussenstappen, zoals redeneringsketens en dataverzamelingen, live gestreamd worden. Deze transparantie geeft inzicht in hoe de verschillende agents afzonderlijk én gezamenlijk tot conclusies komen, inclusief het gebruik van externe tools.

Samenvattend biedt Agno een schaalbare en onderhoudbare benadering voor AI-toepassingen in de financiële sector. Dankzij de mogelijkheid om meerdere gespecialiseerde agenten samen te laten werken binnen een overzichtelijke structuur, kunnen ontwikkelaars op efficiënte wijze uitgebreide marktanalyses en risicorapportages genereren met minimale inspanning en maximale flexibiliteit.

05 mei 2025

Vooruitstrevende AI-bedrijven boeken vooruitgang richting kunstmatige algemene intelligentie (AGI), wat de noodzaak vergroot om systemen controleerbaar en veilig te houden. Methoden zoals Recursieve Beloningsmodellering, Gecombineerde Amplificatie en Schaalbare Toezicht worden ingezet om zwakkere AI-systemen effectief toezicht te laten houden op krachtigere systemen. Een belangrijk concept is Nested Scalable Oversight (NSO), waarbij schaalbaar toezicht herhaaldelijk kan worden opgebouwd via zwakkere toezichthouders. In tegenstelling tot andere risicovolle technologieën, zoals luchtvaart of kernenergie die voldoen aan streng meetbare veiligheidsnormen, zijn de garanties van NSO vaak nog kwalitatief en theoretisch.

Systemen van schaalbaar toezicht omvatten technieken als AI-veiligheid via debat, marktvorming, zelfkritiek en dubbel efficiënte debatten. Terwijl eerder onderzoek zich richtte op het voorspellen van modelprestaties op basis van schaal, kunnen dezelfde principes ook worden toegepast op gedrag zoals bedrog of toezicht. Lange termijn strategieën zoals OpenAI’s SuperAlignment-project en bredere kaders voor AGI-veiligheid zijn hierbij relevant. Daarnaast zijn taalmodellen getest in situaties die relevant zijn voor toezicht, zoals sociale deductiespellen, AI-debatten en het detecteren van achterdeurtjes in code.

MIT-onderzoekers introduceerden een model dat de kans op succesvol toezicht berekent op basis van de capaciteiten van zowel toezichthouder als het gecontroleerde systeem. De opzet gebruikt Elo-scores voor toezicht en bedrog, die variëren met de algemene intelligentie van de modellen. Deze framework helpt te schatten wanneer NSO succesvol kan zijn, inclusief het bepalen van het optimale aantal toezichtniveaus. Wanneer een toezichthoudend systeem 400 Elo-punten zwakker is dan het doelmodel, blijft de kans op succesvol toezicht onder de 52%.

Vier simulaties zijn gebruikt om dit toezicht in de praktijk te testen: het Mafia-spel (een vorm van sociale deductie), AI-debatten op basis van QA-datasets, de opsporing van achterdeurtjes in code, en een wargame rond een fictieve AGI-ontwikkelaar. In elk scenario zijn zwakkere modellen de toezichthouders (Guards) en sterkere modellen de gecontroleerde entiteiten (Houdinis). De prestaties van alle modellen verbeterden met hogere intelligentie, maar de voordelen waren sterk afhankelijk van de taak en rol.

In het bijzonder bleef de prestatie van de Houdini-modellen tijdens debat relatief stabiel, terwijl die van de toezichthouders toenam. Bij het detecteren van kwaadaardige code bleken zelfs zwakkere Guards vaak beter dan sterkere Houdinis. In de wargame-simulatie vertoonden modellen gelijkaardige strategische patronen, ongeacht hun capaciteitsniveau, al bleven de scenario’s een vereenvoudiging van echte AGI-ontwikkelingscontexten.

Tot besluit geloven de onderzoekers dat hun kwantitatieve raamwerk nuttig is om het falen of succes van toezicht beter te begrijpen. Toch blijven de onderzochte scenario’s beperkt tot één toezichtcyclus. Er is behoefte aan vervolgonderzoek waarin toezichtketens uit meerdere stappen worden gemodelleerd, evenals meer geavanceerde technieken om misleidend gedrag te trainen en analyseren, in plaats van slechts te simuleren via prompts.