6 april 2025
AI-agenten spelen een steeds grotere rol in het ondersteunen van softwareontwikkelaars bij complexe programmeertaken. Toch blijft het een uitdaging om deze systemen realistisch te evalueren buiten traditionele benchmarks. Augment Code richt zich op dit probleem met de introductie van hun Augment SWE-bench Verified Agent, ontworpen om beter te presteren onder realistische omstandigheden in softwareontwikkeling.
Deze agent behaalde de hoogste open-source score op de SWE-bench-ranglijst, een benchmark die taken test op basis van reële GitHub-problemen uit populaire opensourceprojecten. Anders dan traditionele toetsen gericht op geïsoleerde algoritmen, vereist SWE-bench dat AI-agenten effectief werken binnen bestaande codebases en automatisch regressietests identificeren en uitvoeren.
Augment Code combineerde twee geavanceerde modellen: Claude Sonnet 3.7 van Anthropic als belangrijkste uitvoerder, en OpenAI’s O1-model voor ensembling. Deze strategie resulteerde in een succespercentage van 65,4%, zonder dat er nieuwe modellen getraind hoefden te worden. Dit vormt een solide uitgangspunt, gericht op efficiëntie en prestatieverbetering.
Tijdens de ontwikkeling ontdekte het team dat sommige verondersteld nuttige technieken, zoals een ‘denkmodus’ voor de agent en aparte modules voor bugfixing, nauwelijks meerwaarde boden. Ensembling via meerderheid van stemmen bleek te kostbaar, terwijl een eenvoudige combinatie met O1 wel enige prestatieverbetering opleverde.
Hoewel de resultaten veelbelovend zijn, wijst Augment Code op beperkingen van SWE-bench. De taken zijn vooral gericht op bugfixing in Python met relatief duidelijke prompts, terwijl echte projecten vaak complexere codebases en minder gestructureerde taal bevatten. Deze discrepanties onderstrepen de noodzaak om AI-agenten ook buiten benchmarks te evalueren.
Voor de toekomst werkt Augment aan het verfijnen van zijn modellen met behulp van reinforcement learning en eigen data. De focus ligt op lagere latency, lagere kosten en betere bruikbaarheid. Het bedrijf onderstreept het belang van gebruikerservaring boven pure benchmarkresultaten, met als doel krachtige, toegankelijke ondersteuning te bieden aan softwareontwikkelaars.
Geef een reactie