18 maart 2025
Stereo diepteschatting speelt een essentiële rol in computervisie door machines in staat te stellen diepte af te leiden uit twee beelden. Deze technologie is cruciaal voor toepassingen zoals autonoom rijden, robotica en augmented reality. Hoewel deep learning aanzienlijke vooruitgang heeft geboekt, vereisen veel bestaande modellen een specifieke afstemming per domein om nauwkeurige resultaten te behalen. De uitdaging ligt in het ontwikkelen van een model dat in verschillende omgevingen kan presteren zonder extra training.
Een belangrijk obstakel in stereo diepteschatting is het verschil tussen trainingsgegevens en realistische omgevingen. Veel huidige methoden zijn gebaseerd op beperkte datasets die de complexiteit van echte scènes niet voldoende weergeven. Dit leidt ertoe dat modellen goed functioneren op benchmarks, maar falen in diverse scenario’s. Bovendien is het aanpassen van deze modellen aan nieuwe omgevingen rekenintensief en inefficiënt voor toepassingen die in realtime werken. Een robuustere aanpak zonder domeinspecifieke training is daarom noodzakelijk.
Bestaande technieken vertrouwen op kostenvolumes om de verschillen tussen beelden te berekenen. 3D-convolutionele neurale netwerken worden vaak toegepast voor filtering, maar hebben moeite met generalisatie. Iteratieve verfijning kan de nauwkeurigheid verbeteren, maar verhoogt de rekenkosten door het gebruik van terugkerende modules. Recent onderzoek naar transformer-gebaseerde modellen biedt een alternatief, maar deze technieken ondervinden uitdagingen bij het efficiënt verwerken van de zoekruimte voor dispariteit.
Onderzoekers van NVIDIA hebben FoundationStereo ontwikkeld om deze beperkingen aan te pakken en sterke generalisatie zonder extra training te bereiken. Dit model is getraind op een grootschalige synthetische dataset met een miljoen stereobeelden, zorgvuldig gefilterd om de kwaliteit te waarborgen. Daarnaast maakt FoundationStereo gebruik van een zogenoemde side-tuning-aanpak, waarbij bestaande monoculaire modellen helpen de kloof tussen synthetische en echte data te overbruggen. Hierdoor wordt een verbeterde generalisatie mogelijk zonder de noodzaak voor extra aanpassingen per domein.
De kern van FoundationStereo bestaat uit innovatieve componenten zoals het Attentive Hybrid Cost Volume (AHCF), dat 3D Axial-Planar Convolution combineert met een Disparity Transformer. Door de ruimtelijke en diepte-informatie te scheiden, verbetert deze methode de samengestelde kenmerken in het kostenvolume. Daarnaast verhoogt de Disparity Transformer het vermogen van het model om complexe structuren in de diepte te herkennen. Door een hybride architectuur van een convolutioneel neuraal netwerk en een Vision Transformer te integreren, worden nauwkeurigere initiële diepteschattingen bereikt, die vervolgens worden verfijnd.
Uit experimenten blijkt dat FoundationStereo beter presteert dan eerdere modellen. Het model werd getest op verschillende datasets zoals Middlebury, KITTI en ETH3D en bleek aanzienlijk lagere foutmarges te hebben. Zonder extra training reduceerde het de fouten op Middlebury tot 4,4%, terwijl op ETH3D een fout van slechts 1,1% werd gemeten. Tests op real-world beelden toonden aan dat het model goed omgaat met uitdagende omstandigheden zoals reflecties en weinig textuur. Deze resultaten onderstrepen het potentieel van FoundationStereo om betrouwbare diepteschattingen te leveren zonder domeinspecifieke aanpassingen.
Geef een reactie