I løpet av de siste 10 årene har vi takket være den såkalte deep learning-metoden fått de beste systemene for kunstig intelligens - for eksempel talegjenkjenninger på smarttelefoner eller den siste automatiske oversetteren fra Google. Dyp læring har faktisk blitt en ny trend i de allerede berømte nevrale nettverkene som har vært på moten og kommer ut i over 70 år. Nevrale nettverk ble først foreslått av Warren McCullough og Walter Pitts i 1994, to forskere ved University of Chicago. I 1952 gikk de på jobb ved Massachusetts Institute of Technology for å legge grunnlaget for det første institutt for kognisjon.
Nevrale nettverk var en av hovedlinjene i forskning innen både nevrovitenskap og informatikk fram til 1969, da de ifølge legenden ble drept av MIT-matematikere Marvin Minsky og Seymour Papert, som et år senere ble medhoder for MITs nye kunstige intelligenslaboratorium.
Denne metoden opplevde en gjenopplivning på 1980-tallet, bleknet svakt i skyggene i det første tiåret av det nye århundret, og kom tilbake med fanfare i det andre, på toppen av den utrolige utviklingen av grafikkbrikker og deres prosessorkraft.
"Det er en oppfatning at ideer i vitenskap er som epidemier av virus," sier Tomaso Poggio, professor i kognisjon og hjernevitenskap ved MIT.”Det er sannsynligvis fem eller seks viktigste stammer av influensavirus, og en av dem kommer tilbake med en misunnelsesverdig 25-års rate. Folk blir smittet, får immunitet og blir ikke syke de neste 25 årene. Så dukker det opp en ny generasjon, klar til å bli smittet med den samme virusstammen. I vitenskapen blir folk forelsket i en idé, den driver alle gale, så slår de den i hjel og skaffer seg immunitet mot den - de blir lei av den. Ideer bør ha en lignende frekvens."
Vektige spørsmål
Nevrale nettverk er en metode for maskinlæring der en datamaskin lærer å utføre visse oppgaver ved å analysere treningseksempler. Vanligvis er disse eksemplene merket manuelt på forhånd. Et objektgjenkjenningssystem, for eksempel, kan suge opp tusenvis av merkede bilder av biler, hus, kaffekopper og så videre, og deretter kunne finne visuelle mønstre i de bildene som konsekvent korrelerer med bestemte tagger.
Et nevralt nettverk blir ofte sammenlignet med den menneskelige hjernen, som også har slike nettverk, bestående av tusenvis eller millioner enkle behandlingsnoder, som er tett sammenkoblet. De fleste moderne nevrale nettverk er organisert i lag med noder, og data flyter gjennom dem i bare en retning. En individuell node kan assosieres med flere noder i laget under den, fra hvilken den mottar data, og flere noder i laget over som den overfører data til.
Salgsfremmende video:
Noden tildeler et nummer til hver av disse innkommende lenker - "vekt". Når nettverket er aktivt, mottar noden forskjellige datasett - forskjellige tall - for hver av disse tilkoblingene og multipliserer med riktig vekt. Deretter legger han opp resultatene for å danne et enkelt nummer. Hvis dette tallet ligger under terskelen, overfører ikke noden data til neste lag. Hvis tallet overskrider terskelen, våkner noden "ved å sende nummeret - summen av de vektede inndatadataene" til alle utgående tilkoblinger.
Når et nevralt nettverk er opplært, settes alle vekter og terskler i utgangspunktet i tilfeldig rekkefølge. Treningsdataene føres inn i det nedre laget - inngangssjiktet - og passerer gjennom påfølgende lag, multipliserer og legger til på en kompleks måte, til de endelig ankommer, allerede transformert, til utgangssjiktet. Under trening justeres vekter og terskler kontinuerlig til treningsdata med de samme merkelappene gir lignende konklusjoner.
Sinn og maskiner
Nevrale nettverk beskrevet av McCullough og Pitts i 1944 hadde både terskler og vekter, men var ikke organisert i lag, og forskere spesifiserte ikke noen spesifikk læringsmekanisme. Men McCullough og Pitts viste at et nevralt nettverk i prinsippet kunne beregne hvilken som helst funksjon, som enhver digital datamaskin. Resultatet var mer fra nevrovitenskap enn datavitenskap: det måtte antas at den menneskelige hjernen kunne sees på som en dataenhet.
Nevrale nettverk er fortsatt et verdifullt verktøy for nevrobiologisk forskning. For eksempel gjengitt individuelle lag i nettverket eller regler for justering av vekter og terskler de observerte funksjonene ved menneskelig nevroanomomi og kognitive funksjoner, og påvirket derfor hvordan hjernen behandler informasjon.
Det første trenbare nevrale nettverket, Perceptron (eller Perceptron), ble demonstrert av Cornell University-psykolog Frank Rosenblatt i 1957. Perceptrons design liknet et moderne nevralt nettverk, bortsett fra at det hadde et enkelt lag med justerbare vekter og terskler klemt mellom inngangs- og utgangssjiktet.
"Perceptrons" ble aktivt undersøkt innen psykologi og informatikk fram til 1959, da Minsky og Papert ga ut en bok som heter "Perceptrons", som viste at det var upraktisk med tanke på å gjøre ganske ordinære beregninger på perceptroner.
"Selvfølgelig forsvinner alle begrensningene på en måte hvis du gjør maskinene litt mer komplekse," for eksempel i to lag, "sier Poggio. Men den gangen hadde boka en kjølig effekt på nevralt nettverksforskning.
"Disse tingene er verdt å vurdere i en historisk sammenheng," sier Poggio. “Beviset er bygget for programmering på språk som Lisp. Ikke lenge før det brukte folk rolig analoge datamaskiner. Det var ikke helt klart på det tidspunktet hva programmering ville føre til. Jeg tror de overdro det litt, men som alltid kan du ikke dele alt opp i svart og hvitt. Hvis du tenker på det som en konkurranse mellom analog databehandling og digital databehandling, kjempet de for det som trengtes."
periodisitet
På 1980-tallet hadde forskere imidlertid utviklet algoritmer for å endre nevrale nettverksvekter og terskler som var effektive nok for nettverk med mer enn ett lag, og fjernet mange av begrensningene identifisert av Minsky og Papert. Dette området har opplevd en renessanse.
Men fra et rimelig synspunkt manglet noe i nevrale nettverk. En lang nok treningsøkt kan føre til en revisjon av nettverksinnstillingene til den begynner å klassifisere dataene på en nyttig måte, men hva betyr disse innstillingene? Hvilke funksjoner i bildet ser objektgjenkjenningen på, og hvordan stikker de sammen for å danne de visuelle signaturene til biler, hus og kopper kaffe? En studie av vekten av individuelle forbindelser vil ikke svare på dette spørsmålet.
De siste årene har datavitere begynt å komme med geniale metoder for å bestemme de analytiske strategiene som er tatt i bruk av nevrale nettverk. Men på 1980-tallet var strategiene til disse nettverkene uforståelige. Derfor ble nevrale nettverk ved århundreskiftet erstattet av vektormaskiner, en alternativ tilnærming til maskinlæring basert på ren og elegant matematikk.
Den nylige økningen i interesse for nevrale nettverk - den dype læringsrevolusjonen - skyldes spillindustrien. Den komplekse grafikken og det raske tempoet i moderne videospill krever maskinvare som kan følge med trenden, noe som resulterer i en GPU (grafikkbehandlingsenhet) med tusenvis av relativt enkle prosessorkjerner på en enkelt brikke. Forskere innså snart at GPU-arkitektur var perfekt for nevrale nettverk.
Moderne GPU-er gjorde det mulig å bygge nettverk fra 1960- og to- og trelagsnett på 1980-tallet til buketter på 10-, 15- og til og med 50-lags nettverk i dag. Dette er hva ordet "dyp" er ansvarlig for i "dyp læring." Til dybden i nettverket. Dyp læring er for tiden ansvarlig for de mest effektive systemene i nesten alle områder av kunstig intelligensforskning.
Under panseret
Nettverksopacitet bekymrer teoretikere fortsatt, men det er fremgang på denne fronten. Poggio leder et forskningsprogram om de teoretiske grunnlagene for intelligens. Nylig ga Poggio og kollegene ut en teoretisk studie av nevrale nettverk i tre deler.
Den første delen, som ble publisert forrige måned i International Journal of Automation and Computing, tar for seg utvalget av beregninger som deep learning-nettverk kan gjøre, og når dype nettverk drar nytte av grunne nettverk. Del to og tre, som ble utgitt som forelesninger, tar for seg utfordringene med global optimalisering, det vil si å sikre at nettverket finner de innstillingene som passer best til treningsdataene, og når nettverket forstår så godt detaljene i treningsdataene. som ikke kan generalisere andre manifestasjoner av de samme kategoriene.
Det er fremdeles mange teoretiske spørsmål fremover, svarene som må gis. Men det er håp om at nevrale nettverk endelig vil være i stand til å bryte syklusen av generasjoner som kaster dem ut i varme og noen ganger kalde.
ILYA KHEL
