Cerebras Systems, et ungt selskap for kunstig intelligens, er klar til å vise verden Cerebras WSE (Cerebras Wafer Scale Engine) - den største, kraftigste og smarteste halvlederbrikken i historien.
Cerebras WSE har 1,2 billioner transistorer, grunnleggende elektroniske brytere, som er byggesteinene til silisiumflis. Til sammenligning hadde Intels første 4004-prosessor, utgitt i 1971, 2300 transistorer, mens den nyeste Advanced Micro Devices-prosessoren har 32 milliarder transistorer. Problemet her handler imidlertid ikke i det hele tatt om antall transistorer.
De fleste av sjetongene i verden er faktisk et sett sjetonger laget på basis av en 12-tommers silisiumskive - de er produsert i spesielle fabrikker i enorme partier. Men Cerebras Systems-brikken er 400 000 kjerner koblet på en plate. Tilkoblingene er designet for å operere i høye hastigheter, og det er grunnen til at en billion transistorer fungerer som en. Men det er ikke alt.
Til dags dato er verdens største brikke laget av Samsung - strukturen er bygget på 2 billioner transistorer. Samsung-brikken er imidlertid bare et enormt minnekort, og Cerebras-brikken er det mest komplekse nevrale nettverket som er spesielt laget for å trene kunstig intelligens. Cerebras-brikken har 400 000 kjerner på 42 225 kvadratmeter. Det er 56,7 ganger større enn Nvidias største GPU med bare 21,1 milliarder transistorer.
En annen funksjon ved Cerebras WSE er at brikken er designet for å bli dirigert rundt defekte områder.
Det er ikke mulig å perfeksjonere hele silisiumskiven under produksjon av brikker, slik at produksjonsprosessen skaper områder som er ubrukelige. Nvidia, Intel og andre brikkeprodusenter omgå problemet ganske enkelt: De skjærer de "riktige" brikkene i produksjonsskiven og kaster bort resten. Men dette kan ikke gjøres hvis hver brikke i silisiumskiven er en del av en felles krets. Derfor måtte Cerebras bygge inn overflødige kretsløp slik at i tilfelle et sammenbrudd eller utbrenthet av en av dem, ville resten ta over funksjonene. Det vil si at Cerebras-brikken er et miniatyrinternett med egne servere og arbeidsstasjoner. Og alle disse stasjonene er designet for å tjene en kunstig intelligens.
Bedrifter som utvikler sin egen AI er i dag de viktigste forbrukerne av chip-teknologi, og kjøper deler i enorme mengder. Og størrelsen på sjetongene som er brukt er kritisk viktig i AI-treningsprosessen.
Salgsfremmende video:
Google, Facebook, OpenAI, Tencent, Baidu og mange andre hevder at en grunnleggende begrensning av moderne AI er at det tar for lang tid å trene modeller. For eksempel bruker Nvidias superdatamaskin, som består av flere titalls moderne GPU-er, flere uker på å finpusse koden - det vil si å lære seg nøytronettverket.
Løsningen på problemet vil være å øke antall brikker i datamaskinen, men når mer enn åtte brikker er montert, øker ikke datamaskinens ytelse lenger, men avtar, siden det hoper seg opp feil under utveksling av informasjon.
Utviklerne beskriver selv prosjektet sitt på følgende måte:”Den vanskeligste delen for AI er databevegelse. Å trene et nevralt nettverk krever at tusenvis av operasjoner utføres parallelt til enhver tid, og brikkene må hele tiden kommunisere når de utfører disse parallelle operasjonene. Men datamaskiner med flere IC-er bryter sammen og prøver å overføre data mellom IC-er over langsomme ledninger som knytter dem sammen på en PCB. Du trengte noe som kunne flytte data med hastigheten på selve brikken. Løsningen var å ta den største platen du kan finne og kutte den største brikken ut av den."
Minne er en nøkkelkomponent i hvilken som helst dataarkitektur. Minne nærmere datamaskinenhetene gir raskere beregninger, lavere ventetid og bedre energieffektivitet når du flytter data. Imidlertid er matrisen størrelse begrenset, og mesteparten av minnet på datamaskinen er utenfor matrisen. Cerebras Systems omgås dette problemet ved å gi hver kjerne tilgang til 18 gigabyte internminne. Som et resultat har Cerebras Wafer Scale Engine 3000 ganger mer ombordminne enn den mest avanserte grafikkprosessoren, samtidig som båndbredden er 10.000 ganger mer.
De første prøvene av den nye brikken vil bli solgt i september, mens Cerebras Systems, etter å ha brutt alle eksisterende regler for dataindustrien, også brøt prinsippet om å skille produksjonen av dataenheter og brikker. Cerebras Wafer Scale Engine vil bli markedsført som en enkelt, selskapets utviklet enhet integrert i et komplekst vannkjølingsnettverk, ettersom brikken genererer ekstrem varme og bruker 15 kilowatt i et så lite område.
Cerebras Systems 'grunnlegger og fungerende administrerende direktør sier: “Cerebras WSE er designet fra grunnen av for å jobbe med AI, og inneholder grunnleggende nyvinninger som endelig bryter den tiårige gamle stagnasjonen av dagens moderne teknologi. Som et resultat gir Cerebras WSE ytelsesgevinster hundre eller tusenvis av ganger i forhold til moderne modulære løsninger. Og alt dette med latterlig strømforbruk og lite plass."
Redaksjonell kommentar
De første AI-testene basert på Cerebras WSE viser at oppgavene som den øverste AI fra Nvidia løser i flere uker og måneder, Cerebras WSE løser i løpet av et minutt, noe som er som sagt grunn til glede. Konspirasjonsteoretikerne har imidlertid liten glede i denne forbindelse.
Vi husker alle (i alle fall den eldre generasjonen av leserne våre) datamaskinbommen til den "knallharde 90-tallsmodellen", da datamaskinens kraft i løpet av et par år hoppet av størrelsesordrer. Ikke før hadde en person, strålende av stolthet, kjøpt en datamaskin med 16 megabyte minne, da dette minnet etter kort tid flyttet til L2-cache.
Siden begynnelsen av 2000-tallet så imidlertid datamaskinindustrien ut til å ha stoppet: Hvis datamaskiner av 1990- og 2000-typene ikke var sammenlignbare, var det ingen spesiell forskjell mellom datamaskiner i 2000- og 2010-modellene - strømmen økte betydelig, men ikke etter størrelsesordener. Og nå er vi vitne til fødselen av den andre Intel 8086, og nå vil egenskapene til Cerebras WSE-linjen hoppe i samme tempo: alle problemer med urenheter og kjerneforbindelser er nå løst.
Vi kjenner ikke alle mulighetene til moderne AI fra ledende produsenter, men ifølge den generelle oppfatningen er disse produktene ennå ikke AI, og de er fremdeles langt fra et fullverdig tankeutstyr. Likevel tok Cerebras WSE ikke bare et skritt i riktig retning, men hoppet ti år, om ikke mer fremover, og nå er SkyNet allerede et ganske forutsigbart utsikter som kan realiseres i år i 2025.
I SkyNet, i motsetning til kjedelige homosapiens, kreves det heller ikke mye tid for videre utvikling: et nevralt nettverk trenger bare å begynne å tenke litt på egenhånd - og det modifiserer seg på et øyeblikk, hvoretter det starter en atomkrig eller noe sånt. Og det vil fortsatt være et veldig godt alternativ.
Når en flash-stasjon med en billion transistorer er laget av Samsung eller Nvidia, kan alt dette fremdeles forklares på en eller annen måte, siden minnelogikk-kretsene er relativt enkle og av samme type nesten i hele området. Men utviklingen av 400 000 kjerner som pløyer samtidig, og det er også noen duplikater, og noen serverstasjoner og helvete vet hva. Og du må også skrive kontrollprogrammer for dette, som har blitt skrevet i årevis. Da må programmene testes. Men hva ble de testet på hvis enheten først ble laget?
Med andre ord ser det ut som at "martianerne" igjen har åpnet søppelkassene for de lokale innfødte. Og det er stor tvil om at dette ble gjort for å glede spillere - mest sannsynlig er det en annen oppgave her. Og det ser ut for oss som følger.
I løpet av de siste tiårene stiller smarte mennesker seg stadig mer spørsmålet om opphavet til elektroniske teknologier, spørsmålet om universal chipization, som ikke er klart hvorfor det er behov for det, og så videre. For på en eller annen måte å lure hjernen deres, kom de på en eventyr om en "kvantecomputer", hvis prinsipper ikke forstås selv av personer som er utnevnt til de offisielle "utviklerne". Og forestill deg nå skrekken for den gjennomsnittlige meksikanske husmoren, hvis nye mobiltelefon ikke bare vil tenke bedre enn hun, men også bære ombord en slags "kvantecomputer". Det vil si at en slik tosk er uakseptabel for lokale innfødte - de vil begynne å bli gal i hopetall.
Derfor bestemte noen smarte “martiere” seg for å vise de bipedale aboriginene av planeten Jorden et enklere mirakel - prinsippene som de eldste fra NASA i det minste på en eller annen måte kan forklare. Og hvis de innfødte aksepterer historien, vil "marterne" vise folket andre magiske underverker. For eksempel vil de skyve denne Cerebras WSE i en mobiltelefon og selge den for hundre dollar. For kjøpere av fasjonable dingser vil dette selvfølgelig være veldig kult og bra, men folk vil tenke litt smartere med en gang: hva er det da i serverrommene til forskjellige seriøse organisasjoner, for eksempel NSA, FBI og CIA? Hva er mulighetene for å kontrollere befolkningens tanker og oppførsel?
