Ingeniører fra Institute for the Study of Higher nervous Activity har vært i stand til å lage et system som oversetter tanker til forståelig og gjenkjennelig tale. Ved å kontrollere noens hjerneaktivitet, rekonstruerer teknologi tanker til ord.
Dette vitenskapelige gjennombruddet, kombinert med kraften fra AI og talesynteser, åpner en ny æra i samspillet mellom datamaskinen og hjernen. Dette åpner selvfølgelig også for nye muligheter for mennesker som av en eller annen grunn har mistet evnen til å snakke.
“Stemmene våre hjelper til med å holde kontakten med våre venner, familie og verden rundt oss, så å miste stemmekraften på grunn av skader eller sykdom er ødeleggende for folk. Men med dagens kunnskap om lager, har vi en potensiell måte å gjenopprette denne kraften. Vi har vist at med riktig teknologi kan folks tanker dechiffreres og forstås av enhver lytter,”sier Nima Mesgarani, doktorgrad og en av forfatterne av en studie utført ved Mortimer B. Zuckerman Institute of Mental Behaviour ved Columbia University.
Tiår med forskning har vist at når folk snakker eller til og med forestiller seg at de snakker ord, vises karakteristiske aktivitetsmønstre i hjernen. Et tydelig og gjenkjennelig signalmønster oppstår også når vi lytter til noen som snakker, eller forestiller oss at vi lytter. Eksperter har prøvd å tyde disse mønstrene i flere tiår, men først nå har en fremtid åpnet seg foran dem, der tanker ikke lenger kan gjemmes inne i hjernen, men i stedet kan oversettes til talespråk etter ønske.
Men denne bragden var ikke lett å oppnå. Tidlige forsøk på å tyde hjernesignaler fra Dr. Mesgarani og andre fokuserte på enkle datamodeller som analyserte spektrogrammer, som er visuelle representasjoner av lydfrekvenser.
Men på grunn av det faktum at denne tilnærmingen ikke ga noe nær forståelig tale, dreide Dr. Mesgaranis team seg i stedet til en vokoder, en datamaskinalgoritme som kan syntetisere tale etter å ha blitt trent til å spille inn folks samtaler.
"Dette er den samme teknologien som Amazon Echo og Apple Siri bruker for å svare muntlig på spørsmålene våre," sa Dr. Mesgarani, som også er førsteamanuensis i elektroteknikk ved Fu Foundation's Columbia School of Engineering and Applied Science.
For å lære vocoder å tolke hjerneaktivitet, jobbet Dr. Mesgarani sammen med Ashesh Dinesh Mehta, M. D., Ph. D., nevrokirurg ved Northwell Health Physician Partners 'Neuroscience Institute og medforfatter av dagens artikkel. Dr. Mehta behandler pasienter med epilepsi, hvorav noen må gjennomgå regelmessig kirurgi.
Salgsfremmende video:
"I samarbeid med Dr. Mehta ba vi epileptiske pasienter som allerede hadde hatt hjernekirurgi om å lytte til forslag fra forskjellige mennesker, mens vi målte mønstre i hjerneaktiviteten deres," sier Dr. Mesgarani. "Disse nevrale mønstrene trente vokoderen."
Forskerne ba da de samme pasientene om å lytte til foredragsholdere som uttalte tallene 0 til 9, mens de registrerte hjernesignaler som deretter kunne føres gjennom en vokoder. Lyden produsert av vokoderen som svar på disse signalene ble analysert og foredlet ved hjelp av nevrale nettverk som kunstig intelligens som etterligner strukturen til nevroner i en biologisk hjerne.
Sluttresultatet var en robotstemme som gjentok en rekkefølge. For å bekrefte nøyaktigheten av innspillingen, ba Dr. Mesgarani og hennes team folk om å lytte til innspillingen og rapportere hva de hørte.
"Vi fant ut at mennesker kan forstå og gjenta lyder omtrent 75% av tiden, noe som er langt bedre enn tidligere forsøk," sier Dr. Mesgarani. Forbedringen i forståelighet var spesielt tydelig når man sammenliknet de nye innspillingene med tidligere forsøk basert på spektrogrammet. "En sensitiv vokoder og kraftige nevrale nettverk representerte lydene som pasientene opprinnelig hørte med utrolig nøyaktighet."
Dr. Mesgarani og hennes team planlegger nå å teste mer komplekse ord og setninger. De har også til hensikt å utføre de samme testene på hjernesignalene som sendes ut når en person snakker eller forestiller seg tale. Til syvende og sist håper de at systemet deres kan være en del av et implantat, likt det som bæres av noen epileptiske pasienter, som oversetter brukerens tanker direkte til ord.
"I dette scenariet, hvis eieren av brikken tenker 'jeg trenger et glass vann', kan systemet vårt ta inn hjernesignalene generert av den tanken og gjøre dem om til syntetisert muntlig tale," sier Dr. Mesgarani. "Det er en spillveksler, og for alle som har mistet evnen til å snakke på grunn av skader eller sykdom, gir teknologi en ny sjanse til å kommunisere med verden rundt dem."
Redaksjonell kommentar
Siden noen av våre ansatte har et visst forhold til nevrofysiologi, kan vi absolutt entydig slå fast at å løse problemet med å lese tanker og oversette disse tankene til ord ikke er et problem som en eller annen filosofilege kan løse sammen med en intelligent nevrokirurg. Dette er en oppgave for forskningsinstituttet, som vil løse det i hundre, to hundre eller flere år. Dessuten er det overhodet ikke et faktum at forskningsinstituttet vil løse dette problemet - selv om alle NASA-superdatamaskiner kommer dit, hvor en mengde ingeniører vil begynne å simulere nevrale nettverk. Imidlertid vil en artikkel i et vitenskapelig tidsskrift ikke lyve, og faktum om anerkjennelse av tanker er definitivt der. Hvordan kan da disse to faktaene bringes sammen?
Veldig enkelt. I løpet av de siste 20-30 årene har det dukket opp et enormt antall helt utrolige og veldig komplekse teknologier som mikroprosessorer og harddisker i verden. Og hver dag er det flere og flere nye oppfinnelser, som er skrevet ned til noen "talentfulle studenter" som sitter i garasjen og har samlet et stykke fra metall, som forskningsinstitutter har kjempet for i 50 år. Og i dette tilfellet har vi en oppfinnelse av en lignende genese. Det vil si en utvikling som har blitt gjort (eller overlevert til mennesker) i mange år, det er ikke klart hvem, men som ble spilt inn på tanten og onkelen fra Colombia.
Det er faktisk overhodet ingen forskjell hvem Wikipedia vil skrive ned som "oppfinnere" av teknologi. Det viktigste er at teknologien ble presentert for verden ved hjelp av et vitenskapelig tidsskrift. Videre vil noen kinesiske selskaper begynne å produsere slike "dingser" som vil venne folk til ideen om at hodet deres nå er blitt helt gjennomsiktig. Til slutt vil den tredje fasen være den samme orwellske "1984" når til og med tankene til en hvilken som helst person fritt kan leses på avstand. For eksempel ved å plassere spesielle sensorer i leiligheter eller integrere en spesiell brikke som reagerer på hjerneimpulser i kroppen. Dessuten.
Hver teknologi har som regel den motsatte bruken. For eksempel, hvis det er en teknologi for å konvertere nerveimpulser til ord, og deretter bruke det samme prinsippet, kan du gjøre alle ord om til noens tanker. I denne situasjonen har presidentene i forskjellige land et storslått utsikter til å bli støttet av absolutt hele velgerne, siden det nå er en teknisk mulighet for å få enhver velger til og med å tenke som ham - det er nok å sette et riktig modulert signal i stikkontakten.
Generelt sier det seg selv at verdens mest fantastiske utsikter åpner seg og vi følger utviklingen av hendelser med interesse.