26 maart 2025
Kunstmatige intelligentiesystemen die functioneren in fysieke omgevingen hebben meer nodig dan alleen waarnemingsvermogen. Ze moeten ook objecten, acties en gevolgen begrijpen binnen dynamische en realistische omstandigheden. Dit vereist inzicht in ruimtelijke arrangementen, oorzaak-gevolgrelaties en de voortgang van gebeurtenissen door de tijd heen. In toepassingen zoals robotica, autonome voertuigen en assistieve technologieën moet AI rekening houden met fysieke beperkingen en mogelijkheden om veilige en intelligente beslissingen te nemen. Deze combinatie van waarneming en gestructureerd redeneren over fysische dynamiek vormt de basis van Physical AI.
Een belangrijke uitdaging voor dergelijke systemen is hun beperkte vermogen om fysieke omgevingen te begrijpen op basis van visuele en contextuele informatie. Hoewel vision-language modellen vooruitgang hebben geboekt, blijven ze moeite hebben met taakvoltooiing, actieplanning en haalbaarheidsbeoordeling van voorgestelde acties. Dit tekort aan geïntegreerd redeneren tussen waarneming en besluitvorming is vooral een probleem wanneer AI autonoom moet werken en complexe taken moet interpreteren. Zonder mechanismen om redenering te verifiëren, blijven deze systemen onbetrouwbaar in snel veranderende of kritieke situaties.
Bestaande modellen zoals LLaVA, GPT-4o en Gemini 2.0 Flash zijn vaardig in tekst- en visuele verwerking, maar presteren minder goed op fysiek onderbouwd redeneren. Taken zoals temporele volgorde, ruimtelijke continuïteit en objectpermanentie worden zelden effectief verwerkt. Bovendien vertrouwen veel modellen sterk op tekstuele aanwijzingen in plaats van visuele bewijsvoering, wat leidt tot inconsequente en soms incorrecte conclusies wanneer ze in fysieke situaties worden toegepast. Veelgebruikte benchmarks evalueren deze aspecten onvoldoende, waardoor weinig inzicht wordt verkregen in het vermogen van modellen om over fysieke gebeurtenissen of agentgedrag te redeneren.
Onderzoekers van NVIDIA hebben Cosmos-Reason1 geïntroduceerd, een reeks vision-language modellen die zijn ontworpen voor redeneren over fysieke omgevingen. De modellen zijn beschikbaar in twee maten, met 8 miljard en 56 miljard parameters. Ze zijn ontwikkeld met een gestructureerde aanpak, inclusief het opstellen van fysische kennisontologieën, gespecialiseerde trainingsdatasets en uitgebreide evaluatiebenchmarks. Deze benchmarks beoordelen onder andere actievoorspelling, taakverificatie en de inschatting van fysieke haalbaarheid. Voor de training zijn datasets zoals BridgeData V2, RoboVQA, RoboFail, AgiBot, HoloAssist en AV gebruikt.
Cosmos-Reason1 gebruikt een hybride architectuur op basis van Mamba-MLP-Transformer, waarin visuele en linguïstische componenten worden geïntegreerd. De training vond plaats in meerdere fasen: eerst werd een vision encoder en taalmodel voorgetraind en verfijnd met brede supervisiedata. Vervolgens werd een fysieke AI-specifieke fine-tuning fase uitgevoerd met datasets gericht op ruimte, tijd en objectinteractie. In de laatste fase werd reinforcement learning ingezet met regelgebaseerde beloningen om prestaties te verbeteren op taken zoals temporele volgorde, ruimtelijke puzzels en objectpermanentie. Het model genereerde gestructureerde reacties, die met beloningssystemen werden geëvalueerd op correctheid en redeneringsstructuur.
Uit evaluaties blijkt dat Cosmos-Reason1 beter presteert dan bestaande modellen. Op benchmarks voor fysiek gezond verstand haalde de 56B-versie een gemiddelde nauwkeurigheid van 60,2%, beter dan OpenAI o1 met 59,9%. De 8B-variant verbeterde ook en bereikte 52,3%. Voor taken met belichaamd redeneren behaalde Cosmos-Reason1-56B een score van 63,7%, een stijging vanaf 53,5%. Modellen presteerden goed op benchmarks zoals RoboVQA (80,0%) en HoloAssist (57,8%). Hoewel het model vooruitgang laat zien op meerdere domeinen, blijft verdere diversificatie van trainingsdata nodig voor verbeteringen bij datasets zoals RoboFail.
Geef een reactie