Googles divisjon for kunstig intelligens kunngjorde opprettelsen av en ny metode for å trene nevrale nettverk, og kombinerer bruk av avanserte algoritmer og gamle videospill. Gamle Atari videospill brukes som læringsmiljø.
Utviklerne av DeepMind (husker at disse menneskene opprettet det nevrale AlphaGo-nettverket, som gjentatte ganger har beseiret de beste spillerne i det logiske spillet go) mener at maskiner kan lære på samme måte som mennesker. Ved å bruke DMLab-30 treningssystem, basert på Quake III skytespill og Atari arkadespill (57 forskjellige spill brukes), har ingeniører utviklet en ny IMPALA (Importance Weighted Actor-Learner Architectures) maskinlæringsalgoritme. Den lar enkeltdeler lære å utføre flere oppgaver samtidig, og deretter utveksle kunnskap seg imellom.
På mange måter var det nye systemet basert på det tidligere Asynchronous Actor-Critic Agents (A3C) arkitektursystemet, der individuelle agenter undersøker miljøet, deretter er prosessen satt på pause og de utveksler kunnskap med den sentrale komponenten, "studenten". Når det gjelder IMPALA, kan det ha flere agenter, og selve læringsprosessen foregår på en litt annen måte. I den sender agenter informasjon til to "studenter" på en gang, som da også utveksler data med hverandre. I tillegg, hvis i A3C beregningen av gradienten til tapsfunksjonen (med andre ord, avviket mellom de forutsagte og oppnådde parameterverdiene) gjøres av agentene selv, som sender informasjon til den sentrale kjernen, så i IMPALA-systemet, blir denne oppgaven gjort av "studentene".
Et eksempel på en person som spiller gjennom spillet:
Slik gjør IMPALA-systemet den samme oppgaven:
En av hovedutfordringene i å utvikle AI er tid og behovet for høy datakraft. Selv når de er autonome, trenger maskiner regler som de kan følge i sine egne eksperimenter og finne måter å løse problemer på. Siden vi ikke bare kan bygge roboter og la dem lære, bruker utviklere simuleringer og dyp læringsteknikker.
For at moderne nevrale nettverk skal lære noe, må de behandle en enorm mengde informasjon, i dette tilfellet, milliarder rammer. Og jo raskere de gjør det, jo mindre tid tar det å lære.
Salgsfremmende video:
Med nok prosessorer, sier DeepMind at IMPALA oppnår 250 000 bilder per sekund, eller 21 milliarder bilder per dag. Dette er en absolutt registrering for oppgaver av denne typen, ifølge The Next Web. Utviklerne kommenterer selv at AI-systemet deres takler oppgaven bedre enn lignende maskiner og personer.
I fremtiden kan lignende AI-algoritmer brukes i robotikk. Ved å optimalisere maskinlæringssystemer vil roboter tilpasse seg miljøet raskere og jobbe mer effektivt.
Nikolay Khizhnyak
