Den største leksjonen å lære fra 70 år med AI-forskning er at generelle metoder som bruker beregning til slutt er de mest effektive - og med stor margin. Den endelige grunnen til dette er Moore's Law. Eller rettere sagt, dets generalisering: den fortsatte, eksponentielle reduksjonen i kostnadene for databehandlingsprosessorer. Denne "bitre leksjonen" ble delt av Richard Sutton, en kanadisk datamaskinforsker. Videre - fra første person.
Hvorfor har kunstig intelligensforskning stått stille i 70 år?
Mest kunstig intelligensforskning er utført som om beregningene tilgjengelig for agenten var vedvarende (og i dette tilfellet ville bruk av menneskelig kunnskap være en av de eneste måtene å forbedre ytelsen). Men over tid - mye mer enn et typisk forskningsprosjekt trenger - blir uunngåelig mye mer beregning tilgjengelig. På jakt etter forbedringer som kan hjelpe på kort sikt, prøver forskere å maksimere menneskelig kunnskap på dette området, men det eneste som betyr noe på lang sikt er den økende bruken av databehandling. Disse to aspektene skal ikke være i strid med hverandre, men i praksis gjør de det. Tiden brukt på den ene av dem er ikke lik den tiden den andre bruker. Det er psykologiske forpliktelser å investere i en eller annen tilnærming. Og den menneskelige kunnskapstilnærmingen har en tendens til å komplisere metoder på en slik måte at de blir mindre egnet til å dra nytte av generelle metoder som bruker beregning.
Det har vært mange eksempler på at AI-forskere sent har forstått denne bitre leksjonen. Det vil være lærerikt å vurdere noen av de mest fremtredende eksemplene.
I datasjakk var metodene som beseiret verdensmester Kasparov i 1997, basert på massiv, dyp søk. På det tidspunktet ble de sett av forferdelse av de fleste datamaskinsjakkforskere som brukte metoder basert på menneskelig forståelse av den spesifikke strukturen til sjakk. Når en enklere, søkebasert tilnærming med spesialisert maskinvare og programvare viste seg å være mye mer effektiv, innrømmet ikke forskere som bygger på den menneskelige forståelsen av sjakk, nederlag. De sa: Denne gangen kan brute-force-tilnærmingen ha vunnet, men det vil ikke bli en overordnet strategi, og folk spiller absolutt ikke sjakk på den måten. Disse forskerne ønsket menneskebaserte metoder for å vinne, og var veldig skuffet da de ikke gjorde det.
Salgsfremmende video:
Et lignende bilde av forskningsutviklingen ble sett i datamaskinbruk, bare med en forsinkelse på ytterligere 20 år. Opprinnelig ble det gjort store anstrengelser for å unngå å søke med menneskelig kunnskap eller gameplay, men alle disse anstrengelsene var unødvendige eller enda verre når søket ble brukt effektivt og i stor skala. Det var også viktig å bruke læring i prosessen med uavhengig lek for å lære verdifunksjonen (som tilfellet var i mange andre spill og til og med i sjakk, bare læring spilte ikke en stor rolle i programmet i 1997, som slo verdensmesteren for første gang). Å lære å leke med seg selv, lære som en helhet, er som et søk som lar deg bruke enorme matriser med beregninger. Søk og læring er to av de viktigste klassene teknikker som involverer enorme mengder beregning i AI-forskning. Gå på datamaskinSom i datamaskinsjakk, var forskernes første innsats rettet mot å bruke menneskelig forståelse (slik at det ble mindre søk), og mye mer suksess ble oppnådd bare mye senere gjennom bruk av søk og læring.
På området talegjenkjenning ble det arrangert en DARPA-sponset konkurranse på 1970-tallet. Deltakerne presenterte forskjellige metoder som utnyttet menneskelig kunnskap - kunnskap om ord eller fonemer, den menneskelige vokalveien, og så videre. På den andre siden av barrikadene var det nyere metoder, statistiske i karakter og utførelse av mer beregning, basert på Hidden Markov Models (HMM). Igjen vant statistiske metoder over kunnskapsbaserte metoder. Dette førte til store endringer i all naturlig språkbehandling som gradvis ble introdusert gjennom flere tiår, til slutt statistikk og beregning begynte å dominere feltet. Den nylige økningen av dyp læring i talegjenkjenning er det aller siste trinnet i denne konsistente retningen. Dyp læring er enda mindre avhengig av menneskelig kunnskap og bruker enda mer beregning, sammen med trening på enorme sett med prøver, og produserer fantastiske talegjenkjenningssystemer.
Richard Sutton, kanadisk dataforsker.
Som i spill har forskere alltid prøvd å lage systemer som vil fungere som de forestilte seg i hodet - de prøvde å legge denne kunnskapen inn i systemene sine - men det hele kom veldig uproduktiv ut, forskere kastet bare tid mens - på grunn av Moore's Law - flere og mer massive beregninger ble tilgjengelige og fant gode applikasjoner.
Et lignende bilde var innen dataansyn. De første metodene ble oppfattet som et søk etter visse konturer, generaliserte sylindre eller ved å bruke funksjonene til SIFT (skala-invariant transformasjon av funksjoner). Men i dag ble alt dette kastet i ovnen. Moderne nevrale nettverk med dyp læring bruker bare begrepet konvolusjon og visse invarianter og yter mye bedre.
Dette er en flott leksjon.
Uansett hvor vi ser, fortsetter vi å gjøre de samme feilene overalt. For å se dette og håndtere dette effektivt, må du forstå hvorfor disse feilene er så attraktive. Vi må lære den bitre leksjonen om å bygge hvordan vi tenker ut fra hvordan vi tror ikke vil fungere i det lange løp. En bitter leksjon basert på historisk observasjon viser at: 1) AI-forskere har ofte prøvd å bygge kunnskap inn i agentene sine; 2) det hjalp alltid på kort sikt og brakte forskere tilfredshet; 3) men på lang sikt kom alt til stillhet og hindret videre fremgang; 4) Forstyrrende fremgang kom uunngåelig med den motsatte tilnærmingen, basert på skalering av beregning gjennom søk og læring. Suksess hadde en bitter smak og ble ofte ikke helt opptatt.fordi det er suksessen med databehandling, ikke suksessen med menneskesentrerte tilnærminger.
En ting å lære av denne bitre leksjonen er den enorme kraften til generelle metoder, metoder som fortsetter å skalere med veksten i beregningen selv når den tilgjengelige beregningen blir veldig stor. To metoder som ser ut til å skalere vilkårlig på denne måten er søk og læring.
Den andre tingen å lære av denne bitre leksjonen er at det sanne innholdet i sinnet er ekstremt og unødvendig sammensatt; vi bør slutte å prøve å finne enkle måter å gi mening om innholdet i sinnet, på samme måte som enkle måter å gi rom for rom, objekter, flere agenter eller symmetrier. De er alle del av en vilkårlig kompleks ekstern verden. Vi bør ikke prøve å bygge videre på dem, fordi deres kompleksitet er uendelig; vi bør bygge på metametoder som kan finne og fange denne vilkårlige kompleksiteten. Disse metodene kan finne gode tilnærminger, men søket etter dem skal utføres med våre metoder, ikke av oss. Vi trenger AI-agenter som kan oppdage på samme måte som vi kan, og ikke inneholder det vi har oppdaget. Å bygge videre på funnene våre kompliserer bare prosessen med å oppdage og søke.
Ilya Khel
