LLM’s Kunnen Denken Tijdens Rust: Onderzoekers van Letta en UC Berkeley Introduceren ‘Sleep-Time Compute’ om de Inference-Kosten te Verlagen en de Nauwkeurigheid te Verbeteren Zonder Vertraging in Latentie

22 april 2025

Grote taalmodellen (LLM’s) hebben bewezen uitstekend te presteren bij complexe redeneervraagstukken. Ze vormen de motor achter toepassingen zoals chatbots en codegeneratie. Hoewel deze modellen profiteren van intensieve rekencapaciteit tijdens het gebruik, leidt dit tot hogere kosten en tragere responstijden. In praktijksituaties, waar snelheid en efficiëntie belangrijk zijn, vormt dit een knelpunt. Er is daarom groeiende behoefte aan modellen die niet alleen nauwkeurig maar ook zuinig omgaan met middelen.

Een belangrijke inefficiëntie ontstaat doordat LLM’s bij elke nieuwe vraag de volledige context opnieuw moeten verwerken. Vaak is die context echter stabiel en reeds bekend voordat de vraag wordt gesteld. Het telkens herhalen van die analyse is verre van optimaal, zeker wanneer meerdere vragen binnen hetzelfde onderwerp vallen.

Onderzoekers van Letta en de Universiteit van Californië, Berkeley stellen een innovatieve oplossing voor: sleep-time compute. Hierbij gebruikt het model periodes van inactiviteit om de context alvast te analyseren en relevante inzichten vooraf op te slaan. Als de gebruiker later een vraag stelt, hoeft het model veel minder te rekenen om een passend antwoord te geven.

De methode baseert zich op een scheiding van context en vraag. Tijdens de inactieve periode genereert het model een verrijkte contextversie, die later de originele tekst vervangt. Dankzij technieken zoals redeneringsketens of samenvattingen kan deze vooraf voorbereide context helpen het antwoordproces efficiënter en sneller te maken.

In tests met datasets als GSM-Symbolic en AIME bleek sleep-time compute aanzienlijk effectiever. Bij dezelfde nauwkeurigheid daalde de benodigde rekenkracht tot vijfmaal minder, en de nauwkeurigheid steeg tot wel 18 procent. Wanneer meerdere gerelateerde vragen dezelfde context deelden, daalde de gemiddelde kost per vraag met een factor 2,5.

Sleep-time compute bleek vooral nuttig bij voorspelbare vragen. In zulke gevallen leidt het vooraf analyseren van de context tot de grootste winst. Het onderzoek laat zien dat dit proactieve modeldenken een veelbelovende stap is naar efficiëntere LLM’s die tegelijk snel, betaalbaar en accuraat blijven.