Utviklerne av det revolusjonerende selvlærende kunstige intelligenssystem AlphaGo Zero har kunngjort opprettelsen av en ny versjon av denne maskinen, som uavhengig kan lære å spille et hvilket som helst brettspill og slå en person. Beskrivelsen ble presentert i tidsskriftet Science.
Deepths of Mind
AlphaGo AI-systemet ble utviklet av David Silver og kolleger i slutten av 2014, og arbeidet ble "testet" på europamester Fan Hui, som tapte alle fem kampene til maskinen. I mars 2016 beseiret AlphaGo Go-verdensmesteren Lee Sedol i en serie på fem kamper, bare den ene endte i en menneskelig seier.
Silver og kollegene hans var i stand til å oppnå disse suksessene ved å bygge sin AI på grunnlag av ikke ett, men to nevrale nettverk samtidig - spesielle algoritmer som etterligner arbeidet med kjeder av nevroner i den menneskelige hjerne. En av dem er ansvarlig for å evaluere den nåværende stillingen i styret, og den andre bruker analyseresultatene utarbeidet av det første nettverket for å velge neste trinn.
Det neste logiske trinnet i utviklingen av AlphaGo var eliminering av den største ulempen med alle eksisterende nevrale nettverk og kunstig intelligenssystemer - behovet for å lære dem hva de skulle gjøre ved å bruke enorme dataarkiver manuelt behandlet av en person, eller med direkte deltakelse fra en person, slik det skjedde i de første stadiene utvikling av AlphaGo.
Silver og teamet hans løste dette problemet ved å lage et grunnleggende nytt nevralt nettverk basert på de såkalte forsterkningsinnlæringsalgoritmene. Dette nevrale nettverket, i motsetning til sin stjernelige forgjenger, som opprinnelig ble trent i spill med frivillige og hadde noen innebygde primitive spillstrategier, begynte arbeidet som en absolutt nybegynner med null kunnskapsbase.
Med andre ord, hun kjente bare reglene for Go-spillet, de opprinnelige forholdene og seierforholdene, og da lærte datamaskinen uavhengig av å spille denne gamle kinesiske strategien, lekte med seg selv og handle etter prøving og feiling. Den eneste begrensningen i arbeidet hennes var maksimal tid til å tenke på flyttingen - det var omtrent 0,4 sekunder.
Salgsfremmende video:
Etter hvert slikt spill analyserte AI-systemet alle sine trekk og husket de som brakte en av dens "halvdeler" nærmere seieren, og inngikk i en slags "svarteliste" de trinnene som helt ærlig tapte. Ved hjelp av disse dataene bygde nevrale nettverket seg opp igjen og nådde gradvis nivået som den første versjonen av AlphaGo nådde før serien med spill med Lee Sedol.
Overgangen til selvlærende algoritmer tillot ikke bare AlphaGo Zero å overgå forgjengerens nivå og slå den med en score på 100-0, men forbedret også mange andre aspekter av arbeidet sitt. Spesielt tok treningsprosessen bare tre dager og omtrent fem millioner spill, noe som var en størrelsesorden mindre enn forespørslene fra den første versjonen av AI.
Veien til dyktighet
Den vellykkede gjennomføringen av eksperimenter med AlphaGo Zero førte til at Silver og teamet hans vurderte om et lignende nevralt nettverk kunne brukes til å vinne mesterens krone i andre typer strategi- og brettspill.
For å gjøre dette bygde forskerne enda et nytt element inn i AlphaGo Zero - heuristiske algoritmer for tilfeldig søk etter løsninger, samt kode som tok hensyn til eksistensen av uavgjort i noen spill. I tillegg forbedret den nye versjonen av alpha strukturen kontinuerlig, i stedet for å oppdateres i trinn som forgjengeren.
Disse relativt enkle endringene, som videre eksperimenter viste, økte hastigheten på selvlæring av dette kunstige intelligenssystemet betydelig, og gjorde det til en universell maskin som var i stand til å spille alle slags brettstrategier.
Forskere har testet arbeidet med tre typer spill - go, vanlig sjakk og deres japanske variasjon, shogi. I alle tre tilfeller nådde Silvers nye hjernebarn nivået som en stormester i mindre enn en million spill, og oppnådde nærmest menneskelig selektivitet i valget av mulige trekk på bare 9-12 timers trening for sjakk og 13 dager på tur.
Tidligere slo hun de mest sofistikerte dataprogrammene som spiller disse spillene - Stockfishs algoritme ga opp den fjerde timen med AlphaZero-trening, mens Elmo, den nåværende mesteren i shogi, bare varte i to timer. Til slutt begynte den første versjonen av AlphaGo å gi etter for sitt "barnebarn" med omtrent 30 timer etter trening.
De neste "ofrene" fra AlphaZero, som forskere bemerket, kan være "ekte" dataspill, som Starcraft II og Dota 2. Å ta mesterskapet i slike esportsdisipliner, etter deres mening, vil åpne veien for selvlærende AI å trenge inn i mindre formaliserte områder av vitenskap og kultur. og teknologi.
