Dit AI-paper introduceert een LLM+FOON-raamwerk: een grafiek-gevalideerde benadering voor taakplanning bij robotisch koken op basis van video-instructies.

10 april 2025

Robots worden steeds vaker ontworpen voor huishoudelijke omgevingen met het doel om dagelijkse taken, zoals koken, zelfstandig uit te voeren. Deze activiteiten vereisen dat de robot visuele informatie interpreteert, objecten manipuleert en logische beslissingen neemt binnen een reeks handelingen. Koken vormt echter een bijzondere uitdaging vanwege de diversiteit aan keukengerei, wisselende visuele perspectieven en het ontbreken van tussenstappen in veel instructievideo’s.

Een belangrijk obstakel bij het vertalen van kookvideo’s naar robotacties is het gebrek aan standaardisatie. Instructies zijn vaak onvolledig of bevatten irrelevante scènes, zoals introducties. Robots moeten in staat zijn onvolledige gegevens te interpreteren en deze informatie om te zetten naar een uitvoerbaar plan. Alleen vertrouwen op grote taalmodellen (LLMs) om deze stappen te genereren leidt vaak tot logische fouten of verzonnen handelingen die niet uitvoerbaar zijn door robots.

Onderzoekers van de Universiteit van Osaka en het Japanse AIST hebben daarom een methode ontwikkeld die LLM combineert met een Functioneel Objectgeoriënteerd Netwerk (FOON). Hiermee worden recepten uit video’s omgezet in een taakplan. FOON fungeert als controlemechanisme: het evalueert elke stap op uitvoerbaarheid en stuurt feedback naar het LLM om fouten bij te sturen. Op die manier blijven enkel logische en realistische stappen over in het uiteindelijke plan.

Het systeem bestaat uit meerdere verwerkingslagen. Eerst wordt een kookvideo onderverdeeld in segmenten via ondertitels, waarna sleutelbeelden geselecteerd worden. In combinatie met informatie over taken, beperkingen en de omgeving voorspelt het LLM de toestanden van objecten. FOON controleert deze voorspellingen. Wordt een inconsistente situatie gedetecteerd, dan wordt het plan herzien tot een logisch geheel gevormd is.

De aanpak werd getest op vijf recepten uit tien video’s. In vier gevallen slaagde het systeem erin om een volledig en uitvoerbaar taakplan te genereren. Daarentegen slaagde de methode zonder FOON-systeem slechts bij één recept. Ook voorspelde het systeem nauwkeurig de toestand van objecten in 86% van de gevallen. Hoewel OCR een foutmarge van 17% opleverde, kon het LLM redundante informatie filteren.

Bij een praktijkproef met een UR3e-dual-arm-robot lukte het de robot om een gyudon-recept te maken, inclusief het toevoegen van een ontbrekende ‘snij’-actie die niet in de video voorkwam. Dankzij meerdere herplanningen werd een geldig taakgrafiek opgesteld, waarmee de robot de volledige kooktaak succesvol uitvoerde. Deze studie wijst op het belang van logische validatie in AI-planning voor robotica.