I et forsøk på å hjelpe mennesker som ikke kan snakke, har nevrovitenskapsmenn utviklet en enhet som kan konvertere hjernesignaler til tale. Denne teknologien er ennå ikke tilstrekkelig utviklet for bruk utenfor laboratoriet, selv om den kan brukes til å syntetisere hele setninger som for det meste blir forstått, skriver "Nature".
I et forsøk på å hjelpe mennesker som ikke kan snakke, har nevrovitenskapsmenn utviklet en enhet som kan konvertere hjernesignaler til tale.
Denne teknologien er ennå ikke moden nok til bruk utenfor laboratoriet, selv om den kan brukes til å syntetisere hele setninger som generelt forstås. Skaperne av talekoderen presenterte beskrivelsen i en artikkel publisert i tidsskriftet Nature 24. april.
Forskere har tidligere brukt kunstig intelligens for å oversette hjernesignaler til enkeltord, for det meste bestående av en stavelse, sier Chethan Pandarinath, en nevroingeniør ved Emory University i Atlanta, Georgia, som skrev en kommentar til artikkelen. "Å hoppe fra en stavelse til setninger er teknisk utfordrende, og til dels er det grunnen til at arbeidet er så imponerende," sier han.
Konverter bevegelse til lyd
Mange som har mistet evnen til å snakke, kommuniserer ved hjelp av en enhet som krever at de gjør små bevegelser for å bruke markøren til å velge bokstaver eller ord på skjermen. Et kjent eksempel var den britiske fysikeren Stephen Hawking, som hadde motorneuronsykdom. Han brukte et taleapparat aktivert av muskelen i kinnet, sier studieleder Edward Chang, en nevrokirurg ved University of California, San Francisco.
Fordi folk som bruker slike enheter må skrive ord bokstav for bokstav, kan disse enhetene være veldig trege, “snakke” opptil ti ord per minutt, sier Chang. Naturlig tale innebærer i gjennomsnitt 150 ord per minutt. "Dette skyldes effektiviteten i vokalveiene," sier han. Og derfor bestemte Chang og teamet hans seg for å simulere stemmesystemet når de bygde sin tale dekoder.
Salgsfremmende video:
Forskerne jobbet med fem personer som ble implantert med elektroder på overflaten av hjernen i ferd med å behandle epilepsi. Først, da deltakerne i eksperimentet leste hundrevis av setninger høyt, registrerte forskere aktiviteten til hjernen. Chang og kolleger kombinerte deretter disse opptakene med data fra tidligere eksperimenter som så på hvordan bevegelser i tungen, leppene, kjeve og strupehodet produserer lyd.
Ved å bruke disse dataene "trente" forskere en dyp læringsalgoritme, og inkluderte deretter dette programmet i deres dekoder. Enheten konverterer hjernesignaler til spesifiserte bevegelser i stemmebåndet og konverterer disse bevegelsene til syntetisk tale. Folk som hørte på de 101 syntetiserte setningene, var i stand til å forstå i gjennomsnitt 70% av ordene, sier Chang.
I et annet eksperiment ba forskere en av deltakerne om å lese setninger høyt og deretter dempe de samme setningene med munnen. Setningene som er syntetisert i dette tilfellet var av dårligere kvalitet enn de som ble syntetisert fra den "talte" talen, sier Chang, men resultatene er fortsatt oppmuntrende.
Å forstå syntetisert tale er et spørsmål om fremtiden
Tale, syntetisert ved å konvertere hjernesignaler til vokalveisbevegelser og oversette dem til lyd, er lettere å forstå enn tale, som syntetiseres ved å konvertere hjernesignaler direkte til lyd, sier Stephanie Riès, nevrovitenskapsmann ved San Diego State University. i California.
Men det er uklart om den nye talekoderen vil fungere med ord som folk bare "snakker" i tankene, sier Amy Orsborne, en nevroingeniør ved University of Washington i Seattle. "Artikkelen viser veldig bra at enheten fungerer med mimikk tale," sier hun. "Men hvordan fungerer det hvis personen ikke beveger leppene?"
Marc Slutzky, nevrovitenskapsmann ved Northwestern University i Chicago, Illinois, er enig og sier at talekoderen kan være mer effektiv. Han bemerker at lytterne identifiserte syntetisert tale ved å velge ord fra et sett med alternativer, men etter hvert som antall alternativer økte, ble det vanskeligere å forstå ordene.
Denne forskningen "er et veldig viktig skritt, men det er fortsatt mye som må gjøres før syntetisert tale lett kan forstås," sier Slutsky.
Georgia Guglielmi (Giorgia Guglielmi)
