25 maart 2025
Het verwerken van taal in de hersenen is complex vanwege de multidimensionale en contextafhankelijke aard ervan. Psycholinguïsten hebben geprobeerd taal te modelleren met symbolische kenmerken, zoals fonemen voor spraak en grammaticale structuren voor syntaxis. Hoewel er enige interactie tussen taaldomeinen wordt erkend, richt onderzoek zich meestal op afzonderlijke componenten via controleerbare experimenten. Dit geïsoleerde benaderingsmodel zorgt voor een kloof tussen natuurlijke taalverwerking en psycholinguïstische theorieën, die moeite hebben om de subtiele, niet-lineaire afhankelijkheden binnen en tussen taallagen vast te leggen.
Recente ontwikkelingen in grote taalmodellen hebben geleid tot aanzienlijke verbeteringen in tekstbegrip, conversatieverwerking en samenvatten. Deze modellen beheersen syntactische, semantische en pragmatische aspecten van taal en kunnen spraak uit audiofragmenten herkennen. Multimodale modellen die zowel tekst als audio verwerken, bieden een belangrijke stap vooruit door een geïntegreerde aanpak te hanteren waarin akoestische signalen worden omgezet in taal tijdens natuurlijke gesprekken. In tegenstelling tot traditionele methoden vertrouwen deze modellen op vectorrepresentaties die verschillende taalaspecten verenigen binnen een hoog-dimensionale ruimte.
Onderzoekers van verschillende universiteiten en instellingen hebben een computationeel raamwerk ontwikkeld dat akoestische, spraak- en woordniveaukenmerken koppelt om te onderzoeken hoe de hersenen gesprekken verwerken. Met elektrocorticografie registreerden zij gedurende 100 uur hersenactiviteit terwijl deelnemers open gesprekken voerden. Via het multimodale model Whisper werden akoestische, spraak- en woordinbeddingen gegenereerd om neurale activiteit op verschillende taalverwerkingsniveaus te voorspellen tijdens spontane conversaties.
Een analyse van het Whisper-model laat zien hoe neurale activiteit wordt gegenereerd tijdens zowel spraakproductie als -begrip. Voor elk woord dat de deelnemers hoorden of uitspraken, werden drie soorten inbeddingen onderzocht: akoestische inbeddingen vanuit de audiolaag, spraakinbeddingen vanuit de spraakencoder en taalrepresentaties uit de decoderlaag. Door deze inbeddingen aan hersensignalen te koppelen via gecodeerde modellen, werd aangetoond dat de hersenactiviteit indrukwekkend overeenkomt met de interne structuren van het model.
De inbeddingen van Whisper voorspelden bijzonder nauwkeurig neurale reacties op zowel spraak als taal in verschillende hersengebieden. Tijdens spraakproductie bleken articulatiegebieden het best voorspelbaar door spraakinbeddingen, terwijl hogere taalgebieden sterker correleren met woordinbeddingen. Dit patroon was ook zichtbaar in de timing: tijdens spreken piekte de voorspelling enkele honderden milliseconden vóór woordproductie, terwijl tijdens luisteren de neurale respons later optrad.
Deze geïntegreerde aanpak illustreert een belangrijke verschuiving naar niet-symbolische taalanalyse, waarbij statistisch leren en hoog-dimensionale representaties centraal staan. Naarmate deze modellen verfijnder worden in het verwerken van spraak in natuurlijke contexten, kunnen ze steeds beter aansluiten op cognitieve taalverwerking. Geavanceerde modellen zoals GPT-4o combineren spraak en tekst met visuele waarneming, en sommige benaderingen bootsen menselijke spraakproductie na, waardoor een breder en dynamischer beeld ontstaat van taal als gebruiksgebaseerd leerproces.
Geef een reactie