Bij de ontwikkeling van deze ‘wearable’ technologie hadden de onderzoekers van het GrapheneX-UTS Human-centric Artificial Intelligence (HAI) Centre van de University of Technology Sydney (UTS) een speciale groep in gedachten: mensen die niet kunnen praten wegens ziekte of letsel, zoals een beroerte of verlamming. Met behulp van data en kunstmatige intelligentie zouden zij weer met anderen kunnen communiceren, simpelweg door een slimme hoed op te zetten. Kortom, non-invasief en veilig, en geen implantatie in de hersenen nodig zoals bij Neuralink van Elon Musk, dat niet veel later in het nieuws kwam.

ELEKTRO-ENCEFALOGRAM
Het onderzoek werd geleid door professor Chin-Teng Lin, directeur van het GrapheneX-UTS HAI Centre, samen met de eerste auteur Yiqun Duan en collega-promovendus Jinzhou Zhou van de UTS Faculty of Engineering and IT. Ze testten hun BrainGPT met een groep van 29 deelnemers die allemaal de gedachtelezende AI-hoed droegen terwijl ze tekstpassages lazen. De draagbare technologie registreerde en vertaalde wat zij lazen en dachten met behulp van een elektro-encefalogram (EEG), waarbij de elektrische hersenactiviteit via de hoofdhuid van de deelnemers werd geregistreerd.

Voordat ze hun onderzoek uitvoerden, codeerden de onderzoekers hun AI-model, genaamd DeWave, dat helpt EEG-signalen om te zetten in woorden en zinnen. De AI werd getraind met gegevens die voornamelijk afkomstig zijn van grote hoeveelheden EEG-data.

NAUWKEURIGHEIDSMETINGEN
De onderzoekers geven toe dat het huidige model bedrevener is in het matchen van werkwoorden dan van zelfstandige naamwoorden. Onderzoeker Duan: ‘Wanneer het om zelfstandige naamwoorden gaat, zagen we een tendens naar synonieme paren in plaats van precieze vertalingen, zoals “de man” in plaats van “de auteur”. Reden hiervoor, zo denken wij, is dat wanneer de hersenen deze woorden verwerken, semantisch vergelijkbare woorden vergelijkbare hersengolfpatronen kunnen produceren.’

Nauwkeurigheidsmetingen met behulp van het BLEU-algoritme – een manier om de gelijkenis van een originele tekst met een machinaal vertaalde uitvoer te evalueren door deze een score tussen 0 en 1 te geven – schatten de nieuwe technologie op ongeveer 0,4. De onderzoekers denken dat ze deze nauwkeurigheid kunnen verbeteren tot 0,9, een niveau dat vergelijkbaar is met traditionele vertaalprogramma’s.

INTEGRATIE MET LLM’S
Enthousiast over BrainGPT is het onderzoeksteam sowieso: ‘Het rechtstreeks vertalen van ruwe EEG-golven in taal is een belangrijke doorbraak in het veld’, stelt professor Lin. ‘BrainGPT is de eerste tool die discrete coderingstechnieken integreert in het vertaalproces van hersenen naar tekst, waarmee een innovatieve benadering van neurale decodering wordt geïntroduceerd. De integratie met large language models opent ook nieuwe grenzen in de neurowetenschappen en AI.’

De studie werd eind vorig jaar geselecteerd als spotlightpaper op NeurIPS, een jaarlijkse conferentie die toonaangevend onderzoek op het gebied van kunstmatige intelligentie en machine learning onder de aandacht brengt. De preprint is te vinden op ArXiv. <