31 maart 2025
Recente ontwikkelingen in AI-schaalwetten richten zich niet langer uitsluitend op het vergroten van modelgrootte en trainingsdata, maar ook op het optimaliseren van de berekeningen tijdens de inferentie. Modellen zoals OpenAI o1 en DeepSeek R1 tonen aan dat betere prestaties bereikt kunnen worden door extra rekenkracht in te zetten bij het genereren van output. Een opkomende techniek, test-time budget forcing, biedt efficiëntere resultaten bij minimale token sampling. Deze aanpak wint ook terrein binnen diffusiemodellen, vooral bij beloningsgestuurd samplen, essentieel voor complexe tekst-naar-beeld-generatie.
Binnen diffusiemodellen onderscheiden zich twee hoofdmethoden voor inferentieschaling: fine-tuning en particle sampling. Fine-tuning leidt tot betere taakafstemming, maar vereist nieuwe training per taak. Particle sampling – toegepast in methoden zoals SVDD en CoDe – selecteert herhaaldelijk hoge-beloningsamples tijdens het denoisingsproces, wat de kwaliteit van de gegenereerde output aanzienlijk verhoogt.
Hoewel particle sampling al krachtige resultaten oplevert bij diffusiemodellen, zijn toepassingen in flowmodellen beperkt gebleven. Dit komt door het deterministische karakter van hun generatieproces. Recent onderzoek heeft innovatieve manieren verkend om flowmodellen te voorzien van stochastische elementen. Zo maakt het SoP-model gebruik van een aangepaste reverse kernel, wat bijdraagt aan meer diversiteit en betere prestaties tijdens sampling.
Wetenschappers van KAIST stellen een nieuwe methode voor om inference-time scaling toe te passen op vooraf getrainde flowmodellen. Zij introduceren daarbij drie belangrijke innovaties: ten eerste SDE-generatie om stochastische sampling mogelijk te maken, ten tweede het omzetten van lineaire interpolanten naar VP-interpolanten voor meer diversiteit, en ten derde het Rollover Budget Forcing (RBF)-mechanisme voor een dynamische inzet van rekenkracht.
Het doel van inference-time reward alignment is het genereren van output met een hoge beloningswaarde zonder dat het model opnieuw getraind hoeft te worden. Hiervoor wordt KL-regularisatie gebruikt om de afwijking van de oorspronkelijke data te beperken. Door deterministische processen om te zetten naar stochastische versies en interpolanten aan te passen, wordt de zoekruimte voor sampling vergroot. RBF optimaliseert verder het gebruik van beschikbare computerkracht.
Experimentele resultaten laten zien dat deze aanpak effectief is bij taken zoals compositiegericht tekst-naar-beeld en kwantiteitsgevoelige beeldgeneratie. Met behulp van het FLUX-flowmodel worden hogere scores behaald op meetwaarden zoals VQAScore en RSS. De voorgestelde methode levert niet alleen verbeterde prestaties op ten opzichte van eerdere technieken, maar waarborgt ook hoge beeldkwaliteit, vooral in combinatie met differentiabele beloningsfuncties zoals esthetiek.
Geef een reactie