På USAs vestkyst prøver verdens mest verdifulle selskaper å gjøre kunstig intelligens smartere. Google og Facebook skryter av eksperimenter med milliarder av bilder og tusenvis av høyytelsesprosessorer. Men sent i fjor overgikk et prosjekt i østlige Tennessee rolig omfanget av ethvert bedrifts AI-laboratorium. Og den ble drevet av den amerikanske regjeringen.
Amerikanske regjerings superdatamaskiner bryter rekorder
Det rekordstore prosjektet involverte verdens mektigste superdatamaskin, Summit, ved Oak Ridge National Laboratory. Denne bilen vant kronen i juni i fjor, og returnerte tittelen til USA fem år senere da Kina toppet listen. Som en del av et klimaforskningsprosjekt lanserte en gigantisk datamaskin et maskinlæringseksperiment som var raskere enn noen gang før.
Toppmøtet, som dekker et område som tilsvarer to tennisbaner, brukte mer enn 27 000 kraftige GPU-er i dette prosjektet. Han brukte kraften deres til å trene dyp læringsalgoritmer, selve teknologien som understøtter avansert kunstig intelligens. I dyp læring utfører algoritmer øvelser med en milliard milliarder operasjoner per sekund, kjent i superdatasirkler som en exaflop.
"Dyp læring har aldri oppnådd dette prestasjonsnivået før," sier Prabhat, leder for forskningsteamet ved National Energy Research Center ved Lawrence Berkeley National Laboratory. Teamet hans samarbeidet med forskere ved toppmøtets hovedkvarter, Oak Ridge National Laboratory.
Som du kanskje antar, fokuserte AI-opplæringen til verdens mektigste datamaskin på en av verdens største utfordringer - klimaendringer. Tekniske selskaper trener algoritmer for å gjenkjenne ansikter eller veiskilt; regjeringsforskere har trent dem til å gjenkjenne værmønstre som sykloner fra klimamodeller som komprimerer hundreårsprognoser om jordas atmosfære i tre timer. (Det er imidlertid uklart hvor mye energi prosjektet krevde og hvor mye karbon som ble sluppet ut i luften i denne prosessen).
Salgsfremmende video:
Toppmøteeksperimentet har implikasjoner for fremtiden for kunstig intelligens og klimatologi. Prosjektet demonstrerer det vitenskapelige potensialet i å tilpasse dyp læring til superdatamaskiner som tradisjonelt simulerer fysiske og kjemiske prosesser som atomeksplosjoner, sorte hull eller nye materialer. Den viser også at maskinlæring kan dra nytte av mer datakraft - hvis du kan finne den - og gi gjennombrudd i fremtiden.
"Vi visste ikke at det kunne gjøres på denne skalaen før vi gjorde det," sier Rajat Monga, CTO hos Google. Han og andre Googlers hjalp prosjektet ved å tilpasse selskapets open source TensorFlow maskinlæringsprogramvare for Summits gigantiske skala.
Mye av arbeidet med skalering av dyp læring har blitt gjort i datasentrene til internettbedrifter, der servere jobber sammen om problemer og skiller dem fordi de er relativt usammenhengende i stedet for samlet i en gigantisk datamaskin. Superdatamaskiner som Summit har en annen arkitektur, med spesialiserte høyhastighetsforbindelser som knytter tusenvis av prosessorer til et enkelt system som kan fungere som en helhet. Inntil nylig har det vært relativt lite arbeid med å tilpasse maskinlæring til å jobbe med denne typen maskinvare.
Monga sier at arbeid med å tilpasse TensorFlow til toppmøteskalaen også vil støtte Googles innsats for å utvide de interne systemene for kunstig intelligens. Nvidia-ingeniører deltok også i dette prosjektet, og sørget for at titusenvis av Nvidia GPUer i denne maskinen fungerer uten problemer.
Å finne måter å utnytte mer datakraft i dype læringsalgoritmer har bidratt til den nåværende utviklingen av teknologi. Den samme teknologien som Siri bruker for stemmegjenkjenning og Waymo-biler for å lese veiskilt ble nyttig i 2012 etter at forskere tilpasset den til å kjøre på Nvidia GPU-er.
I en analyse publisert i mai i fjor, anslått forskere ved OpenAI, et forskningsinstitutt i San Francisco grunnlagt av Elon Musk, at datamengden i de største offentlige maskinlæringseksperimentene er doblet omtrent hver 3.43 måned siden 2012; Dette vil representere en 11 ganger økning i løpet av et år. Denne progresjonen hjalp alfabetet med å slå mesterne i utfordrende brett- og videospill, og forbedret også nøyaktigheten til Googles oversetter.
Google og andre selskaper lager for tiden nye typer AI-aktiverte brikker for å fortsette denne trenden. Google sier at pods med tusenvis av AI-brikkene i tett avstand - dupliserte tensorprosessorer, eller TPUer - kan gi 100 petaflops prosessorkraft, en tiendedel av hastigheten nådd ved toppmøtet.
Toppmøtets bidrag til klimavitenskap viser hvordan gigantisk AI kan forbedre vår forståelse av fremtidige værforhold. Når forskere genererer århundregamle værvarsler, blir det vanskelig å lese den resulterende prognosen. «Se for deg at du har en YouTube-film som har kjørt i 100 år. Det er ingen måte å manuelt finne alle katter og hunder i denne filmen, sier Prabhat. Vanligvis brukes programvare for å automatisere denne prosessen, men den er ikke perfekt. Toppresultatene viste at maskinlæring kan gjøre dette mye bedre, noe som skal bidra til å forutsi uvær som flom.
I følge Michael Pritchard, professor ved University of California, Irvine, er å lansere dyp læring på superdatamaskiner en relativt ny idé som kom på et praktisk tidspunkt for klimaforskere. Nedgangen i avansementet til tradisjonelle prosessorer har ført til at ingeniører har utstyrt superdatamaskiner med et økende antall grafikkbrikker for å forbedre ytelsen mer konsekvent. "Tiden har kommet når du ikke lenger kan øke prosessorkraften på vanlig måte," sier Pritchard.
Dette skiftet brakte tradisjonell modellering til stillhet, og måtte derfor tilpasse seg. Det åpner også døren for å utnytte kraften i dyp læring, som naturlig gir seg til grafikkbrikker. Kanskje får vi et tydeligere bilde av fremtiden til klimaet vårt.
Ilya Khel