Ved å bruke teknologi for å skanne hjerneaktivitet, kunstig intelligens og en talesynthesizer, har forskere fra Columbia University (USA) laget en enhet som er i stand til å oversette menneskelige tanker til artikulert tale. Forskningsresultatene, publisert i Scientific Reports, representerer et viktig skritt for å forbedre hjern-datamaskinens grensesnitt. I fremtiden kan slike enheter brukes av mennesker som har mistet evnen til å snakke som følge av skade eller sykdom.
For å utvikle en enhet som kombinerer egenskapene til en talesynteser og kunstig intelligens, vendte studieforfatteren, nevrovitenskapsmannen Nima Mesgarani og kollegene seg til de siste fremskrittene innen dyp maskinlæring og talesyntese teknologier. Resultatet av deres arbeid er en kunstig intelligensbasert vokoder som er i stand til å tolke hjerneaktivitet ganske nøyaktig direkte fra hjørnens hjerner, og deretter oversette den til forståelig tale. Forfatterne av verket bemerker at tale i denne saken viser seg å være veldig datastyrt, men folk kan kjenne igjen ord i de fleste tilfeller.
I følge skaperne bruker den nye enheten som brukes til å reprodusere den resulterende talen, den samme teknologien som brukes i digitale assistenter som Alexa, Siri og Google Assistant.
Først trente eksperter vokoderen til å tolke menneskets hjerneaktivitet riktig. For dette inviterte forskerne fem frivillige som var under behandling for epilepsi for å delta i eksperimentet. Alle fem av dem hadde elektroder implantert i auditiv cortex for å lese elektroencefalogram.
”Vi ba epileptiske pasienter som allerede gjennomgår hjernekirurgi om å lytte til setninger som blir sagt av forskjellige mennesker. Samtidig analyserte vi mønstre i pasientenes hjerneaktivitet. Vokoderen ble trent på nevnte nevrale modeller, forklarer Mesgarani.
Pasientene ble bedt om å lytte til innspillingene der skuespillerne leste opp sekvenser med tall fra 0 til 9. Samtidig tok forskerne opp signalene fra hjernen, og sendte dem deretter gjennom vokoderen, signalene som ble korrigert for å forbedre klarheten ved et nevralt nettverk som analyserte lydene til vokoderen selv, som produserte lyder som svar på disse signalene. Som et resultat kunne en robotstemme høres som gjentok en sekvens med talte tall. For å evaluere resultatene inviterte forskerne 11 personer med god hørsel.
”Det viste seg at folk kan kjenne igjen ord omtrent 75% av tiden, noe som er overlegen i forhold til tidligere forsøk. Den følsomme vokoderen og kraftige nevrale nettverk genererte lydene som pasientene lyttet til med utrolig nøyaktighet,”kommenterer Mesgarani.
Salgsfremmende video:
I fremtiden skal Mesgaranis team lære det nevrale nettverket å uttale mer komplekse ord, uttrykk og til og med hele setninger. Etter det ønsker de å utvikle et implantat som kan oversette en persons tanker til full tale.
"For eksempel, hvis eieren av implantatet tenker:" Jeg trenger et glass vann, "leser systemet vårt hjernesignaler og oversetter dem til tale. Dette vil gi alle som har mistet evnen til å snakke på grunn av skade eller sykdom en ny mulighet til å kommunisere med verden rundt seg, legger Mesgarani til.
Nikolay Khizhnyak
