05 mei 2025
Vooruitstrevende AI-bedrijven boeken vooruitgang richting kunstmatige algemene intelligentie (AGI), wat de noodzaak vergroot om systemen controleerbaar en veilig te houden. Methoden zoals Recursieve Beloningsmodellering, Gecombineerde Amplificatie en Schaalbare Toezicht worden ingezet om zwakkere AI-systemen effectief toezicht te laten houden op krachtigere systemen. Een belangrijk concept is Nested Scalable Oversight (NSO), waarbij schaalbaar toezicht herhaaldelijk kan worden opgebouwd via zwakkere toezichthouders. In tegenstelling tot andere risicovolle technologieën, zoals luchtvaart of kernenergie die voldoen aan streng meetbare veiligheidsnormen, zijn de garanties van NSO vaak nog kwalitatief en theoretisch.
Systemen van schaalbaar toezicht omvatten technieken als AI-veiligheid via debat, marktvorming, zelfkritiek en dubbel efficiënte debatten. Terwijl eerder onderzoek zich richtte op het voorspellen van modelprestaties op basis van schaal, kunnen dezelfde principes ook worden toegepast op gedrag zoals bedrog of toezicht. Lange termijn strategieën zoals OpenAI’s SuperAlignment-project en bredere kaders voor AGI-veiligheid zijn hierbij relevant. Daarnaast zijn taalmodellen getest in situaties die relevant zijn voor toezicht, zoals sociale deductiespellen, AI-debatten en het detecteren van achterdeurtjes in code.
MIT-onderzoekers introduceerden een model dat de kans op succesvol toezicht berekent op basis van de capaciteiten van zowel toezichthouder als het gecontroleerde systeem. De opzet gebruikt Elo-scores voor toezicht en bedrog, die variëren met de algemene intelligentie van de modellen. Deze framework helpt te schatten wanneer NSO succesvol kan zijn, inclusief het bepalen van het optimale aantal toezichtniveaus. Wanneer een toezichthoudend systeem 400 Elo-punten zwakker is dan het doelmodel, blijft de kans op succesvol toezicht onder de 52%.
Vier simulaties zijn gebruikt om dit toezicht in de praktijk te testen: het Mafia-spel (een vorm van sociale deductie), AI-debatten op basis van QA-datasets, de opsporing van achterdeurtjes in code, en een wargame rond een fictieve AGI-ontwikkelaar. In elk scenario zijn zwakkere modellen de toezichthouders (Guards) en sterkere modellen de gecontroleerde entiteiten (Houdinis). De prestaties van alle modellen verbeterden met hogere intelligentie, maar de voordelen waren sterk afhankelijk van de taak en rol.
In het bijzonder bleef de prestatie van de Houdini-modellen tijdens debat relatief stabiel, terwijl die van de toezichthouders toenam. Bij het detecteren van kwaadaardige code bleken zelfs zwakkere Guards vaak beter dan sterkere Houdinis. In de wargame-simulatie vertoonden modellen gelijkaardige strategische patronen, ongeacht hun capaciteitsniveau, al bleven de scenario’s een vereenvoudiging van echte AGI-ontwikkelingscontexten.
Tot besluit geloven de onderzoekers dat hun kwantitatieve raamwerk nuttig is om het falen of succes van toezicht beter te begrijpen. Toch blijven de onderzochte scenario’s beperkt tot één toezichtcyclus. Er is behoefte aan vervolgonderzoek waarin toezichtketens uit meerdere stappen worden gemodelleerd, evenals meer geavanceerde technieken om misleidend gedrag te trainen en analyseren, in plaats van slechts te simuleren via prompts.
Geef een reactie