Umiddelbart da Dr. Blake Richards hørte om dyp læring, skjønte han at han sto overfor mer enn bare en metode som ville revolusjonere kunstig intelligens. Han innså at han så på noe grunnleggende fra den menneskelige hjernen. Det var på begynnelsen av 2000-tallet og Richards underviste på et kurs ved University of Toronto sammen med Jeff Hinton. Hinton, som sto bak etableringen av algoritmen som erobret verden, fikk tilbud om et introduksjonskurs om undervisningsmetoden hans, inspirert av den menneskelige hjernen.
Stikkordene her er "hjerneinspirert." Til tross for Richards overbevisning, spilte innsatsen mot ham. Den menneskelige hjernen har, som det viste seg, ikke en viktig funksjon som er programmert i dype læringsalgoritmer. På overflaten krenket disse algoritmene grunnleggende biologiske fakta som allerede er bevist av nevrovitenskapsmenn.
Men hva hvis dyp læring og hjernen faktisk er kompatible?
Og så, i en ny studie publisert i eLife, foreslo Richards, som jobbet med DeepMind, en ny algoritme basert på den biologiske strukturen til nevroner i neocortex. Hjernebarken, hjernebarken, er hjemsted for høyere kognitive funksjoner som resonnement, prognoser og fleksibel tenkning.
Teamet kombinerte sine kunstige nevroner i et lagdelt nettverk og utfordret det til oppgaven klassisk datasyn - å identifisere håndskrevne tall.
Den nye algoritmen gjorde en utmerket jobb. Men en annen ting er viktig: Han analyserte eksempler for læring på samme måte som dype læringsalgoritmer gjør, men var helt bygd på hjernens grunnleggende biologi.
"Dyp læring er mulig i en biologisk struktur," konkluderte forskerne.
Siden denne modellen for øyeblikket er en datamaskinversjon, håper Richards å gi stafettpinnen videre til eksperimentelle nevrovitenskapsmenn som kunne teste om en slik algoritme fungerer i en ekte hjerne.
Salgsfremmende video:
I så fall kan dataene mates til informatikere for å utvikle massivt parallelle og effektive algoritmer som maskinene våre vil kjøre på. Dette er det første skrittet mot sammenslåing av de to områdene i en "dydig dans" av oppdagelse og innovasjon.
Finne syndebukken
Selv om du sikkert har hørt at AI nylig slo de beste av de beste i Go, vet du knapt nøyaktig hvordan algoritmene bak denne AI fungerer.
I et nøtteskall er dyp læring basert på et kunstig nevralt nettverk med virtuelle "nevroner". Som en høy skyskraper er nettverket strukturert i et hierarki: nevroner på lavt nivå prosesserer input - for eksempel horisontale eller vertikale søyler som utgjør nummer 4 - og nevroner på høyt nivå behandler abstrakte aspekter av nummer 4.
For å trene nettverket gir du det eksempler på hva du leter etter. Signalet forplanter seg gjennom nettverket (klatrer opp i byggetrinnene), og hver nevron prøver å se noe grunnleggende i arbeidet med de "fire".
Når barn lærer nye ting, klarer ikke nettverket seg bra med det første. Hun gir ut alt som etter hennes mening ser ut som nummer fire - og du får bilder i ånden til Picasso.
Men dette er nøyaktig hvordan læringen fortsetter: algoritmen matcher utdataene til den ideelle inngangen og beregner forskjellen mellom de to (les: feil). Feil "forplanter seg" gjennom nettverket, trener hvert nevron, sier de, dette er ikke det du leter etter, se bedre ut.
Etter millioner av eksempler og repetisjoner begynner nettet å fungere feilfritt.
Feilsignalet er ekstremt viktig for læring. Uten effektiv "feilbackpropagering" vil nettverket ikke vite hvilke av nevronene som er galt. På jakt etter en syndebukk forbedrer kunstig intelligens seg.
Hjernen gjør det også. Men hvordan? Vi aner ikke.
Biologisk blindvei
Det åpenbare er at den dype læringsløsningen ikke fungerer.
Å bakpropagere en feil er en ekstremt viktig funksjon. Det krever en viss infrastruktur for å fungere korrekt.
Først må alle nevroner i nettverket motta en feilvarsel. Men i hjernen er nevroner koblet til bare noen få (om noen) downstream-partnere. For at tilbakepropagering skal fungere i hjernen, må nevroner på de første nivåene oppfatte informasjon fra milliarder av forbindelser i de synkende kanalene - og dette er biologisk umulig.
Og mens noen dype læringsalgoritmer tilpasser en lokal form for feilbakstøting - i hovedsak mellom nevroner - krever det at deres frem og tilbake-forbindelser er symmetriske. I hjernens synapser skjer dette nesten aldri.
Mer moderne algoritmer tilpasser en litt annen strategi ved å implementere en egen tilbakemeldingsvei som hjelper nevroner med å finne feil lokalt. Selv om dette er mer biologisk mulig, har hjernen ikke et eget datanettverk dedikert til å finne syndebukker.
Men det har nevroner med komplekse strukturer, i motsetning til de homogene "ballene" som i dag brukes i dyp læring.
Forgreningsnettverk
Forskere henter inspirasjon fra de pyramidale cellene som fyller den menneskelige cortex.
"De fleste av disse nevronene er formet som trær, med deres 'røtter' dypt i hjernen og 'grener' som kommer ut til overflaten," sier Richards. "Merkelig nok at røttene får ett sett med innganger og grenene blir forskjellige."
Det er nysgjerrig, men strukturen til nevroner viser seg ofte å være "nøyaktig slik det er nødvendig" for å løse et beregningsproblem effektivt. Ta for eksempel sensorisk prosessering: bunnene av pyramidale nevroner er der de skal være for å motta sensorisk input, og toppene er praktisk plassert for overføring av feil gjennom tilbakemelding.
Kan denne komplekse strukturen være en evolusjonsløsning for å takle feil signal?
Forskere har opprettet et flerlags nevralt nettverk basert på tidligere algoritmer. Men i stedet for homogene nevroner ga de nevronene hennes i mellomlagene - klemt mellom input og output - som ligner på virkelige. Læringen av håndskrevne tall presterte algoritmen mye bedre enn et enkeltlags nettverk, til tross for fraværet av den klassiske bakpropagasjonen av feilen. Cellulære strukturer kunne selv identifisere feilen. Så, i riktig øyeblikk, kombinerte nevronen begge informasjonskildene for å finne den beste løsningen.
Det er et biologisk grunnlag for dette: nevrovitenskapsmenn har lenge visst at inngangsgrenene til et nevron utfører lokale beregninger som kan integreres med tilbakepropagasjonssignaler fra utgangsgrenene. Men vi vet ikke om hjernen virkelig fungerer på denne måten - så Richards ba nevrovitere om å finne ut av det.
Videre håndterer dette nettverket problemet på en lignende måte som den tradisjonelle metoden for dyp læring: det bruker en lagdelt struktur for å trekke frem mer abstrakte ideer om hvert nummer.
"Dette er et trekk ved dyp læring," forklarer forfatterne.
Dyp læringshjerne
Det vil uten tvil være flere vendinger i denne historien etter hvert som informatikere bringer flere biologiske detaljer inn i AI-algoritmer. Richards og teamet hans ser på en prediktiv funksjon ovenfra og ned, der signaler fra høyere nivåer direkte påvirker hvordan lavere nivåer reagerer på innspill.
Tilbakemelding fra høyere lag forbedrer ikke bare feilsignaler; det kan også oppfordre lavere prosesserende nevroner til å prestere "bedre" i sanntid, sier Richards. Så langt har nettverket ikke overgått andre ikke-biologiske dyp læringsnettverk. Men det gjør ikke noe.
"Dyp læring har hatt en stor innvirkning på AI, men til nå har innvirkningen på nevrovitenskap vært begrenset," sier forfatterne av studien. Nå vil nevrovitenskapsmenn ha en unnskyldning for å gjennomføre en eksperimentell test og finne ut om strukturen til nevroner ligger til grunn for den naturlige algoritmen for dyp læring. Kanskje de neste ti årene vil en gjensidig fordelaktig utveksling av data mellom nevrovitenskapsmenn og kunstig intelligensforskere begynne.
Ilya Khel
