Del en: veien til superintelligens.
Del to: utryddelse eller udødelighet?
En av grunnene som førte meg til AI er at temaet "dårlige roboter" alltid har forvirret meg. Alle filmene om mekanisk uhyggelig virket helt uvirkelig, og generelt er det vanskelig å forestille seg en reell situasjon der AI kunne være virkelig farlig. Vi lager roboter, så hvorfor ikke lage dem og forvente negative konsekvenser? Oppfyller vi ikke juridiske kriterier og etiske standarder? Kan vi ikke slå av AI-strømmen og slukke den når som helst? Hvorfor skulle roboter i det hele tatt gjøre skitne triks? Hvorfor skal en robot “ønske” noe i det hele tatt? Skepsisen min var ugjennomtrengelig. Men jeg fortsatte å absorbere det smarte folk sa om det.
Disse menneskene har noe slikt:
Menneskene i "alarmsonen" kan ikke kalles alarmister eller "all-panikk", men de er nervøse og veldig anspente. Å være i midten av bordet betyr ikke at du anser ISIs ankomst som en nøytral hendelse - slike mennesker har sin egen leir - det betyr at du tror på både de gode og de dårlige sidene ved dette kommende, men er ikke helt sikre på fordelingen av prosentene …
En del av alle disse menneskene er fylte av spenning over hva kunstig superintelligens kan gjøre for oss - omtrent den samme Indiana Jones kunne være begeistret for før han startet letingen etter den tapte arken. Når alt skjer, vil spenningen avta eller bli til et annet tema. Bare varsomheten og utholdenheten til Indiana Jones lar ham gå gjennom alle hindringer, overvinne alle hindringer og komme seg ut av vannet. Det er ganske vanskelig for folk i "alarmsonen" å ta risiko med brakkhastighet, så de prøver å oppføre seg forsiktig.
Hva gjør "alarmsonen" alarmerende?
Salgsfremmende video:
I bred forstand, når det gjelder å utvikle superintelligent kunstig intelligens, skaper vi noe som sannsynligvis vil endre alt, men på en helt uforutsigbar måte, og vi vet ikke når det vil skje. Forskeren Danny Hillis sammenligner denne hendelsen med da “enhetscellulære organismer ble til multisellulære. Vi er amøber og har ingen anelse om hva vi skaper. Nick Bostrom frykter at det å skape noe smartere enn oss er en klassisk darwinisk feilslutning, og sammenligner det med spurver som stoler på en ugle for å vokte reiret sitt til kyllingene vokser opp, og ignorerer advarsler fra andre spurver.
Og hvis du kombinerer all uforutsigbarhet av en hendelse med tillit til at den vil medføre vesentlig endring, vil du åpne døren til en forferdelig frase. Eksistensiell risiko. Trussel mot livet. Global katastrofe. På russisk brukes uttrykket "eksistensiell risiko" lite, men i forbindelse med verkene fra Bostrom foretrekker oversettere å bruke uttrykket "global katastrofe".
En global katastrofe er noe som kan føre til ødeleggelse av menneskeheten. Som regel betyr en global katastrofe utryddelse. Bostrom ga følgende tabell:
Som du kan se, er gjenstanden "global katastrofe" forbeholdt noe som spiser arter, forbruker generasjoner (det vil si er permanent), ødelegger dem eller fører til død i hendelseskjeden. Teknisk sett inkluderer det en tilstand der alle mennesker er permanent i en tilstand av lidelse eller tortur, men igjen snakker vi vanligvis om fullstendig utryddelse. Det er tre ting som kan føre mennesker til global katastrofe:
1. Natur - kollisjon med en stor asteroide; et skifte i atmosfæren som gjør luften ubrukelig for mennesker; et dødelig virus eller bakterier som vil infisere verden osv. 2. Aliens er det Stephen Hawking, Carl Sagan og andre astronomer advarer om, som er imot å møte romvesener. De vil ikke at potensielle erobrere skal vite at vi barbarer bor her. 3. Mennesker- terrorister med kraftige våpen som vil føre til katastrofe; katastrofale verdenskrig; tankeløst skape noe som er smartere enn mennesker … Bostrom påpeker at hvis det første og andre punktet ikke tørket oss av jordens overflate i de første 100 000 årene av eksistens som en art, er det lite sannsynlig at dette vil skje i det neste århundre. Men det tredje poenget skremmer ham. Han gir en metafor med en urne som inneholder en håndfull kuler. La oss si at de fleste av ballene er hvite, det er litt færre røde baller og noen få svarte. Hver gang folk oppfinner noe nytt, trekker de en ball ut av urna. De fleste oppfinnelser er nøytrale eller nyttige for menneskeheten - hvite baller. Noen er skadelige, som masseødeleggelsesvåpen, men fører ikke til global katastrofe - røde baller. Hvis vi noen gang finner opp noe for å presse oss helt til kanten, må vi trekke ut en svart ball. Vi har ikke trukket det ut ennå - dette er åpenbart fordi du er i live og leser denne artikkelen. Men Bostrom tror ikke vi ikke vil trekke det ut i nærmeste fremtid. Hvis for eksempel atomvåpen var enkle å produsere, ville terrorister bombet menneskeheten og gitt den tilbake til steinalderen. Atomvåpen er ikke en svart ball, men generelt ikke så langt fra dem. ISI er ifølge Bostrom vår mest sannsynlige kandidat for svarte kuler.
Du kan høre massevis av potensielle dårlige ting, fra stillingsnedskjæringer som vil føre til fremveksten av AI og utviklingen av AI generelt, til overbefolkning hvis folk tar opp spørsmålet om aldring og død. Men det eneste som bør bekymre oss er utsiktene til en global katastrofe. Etter denne kampen vil det definitivt ikke være noen som vinker nevene.
Dette bringer oss tilbake til hovedspørsmålet: når vil ISI ankomme, hvem eller hva som vil kontrollere denne utrolige styrken, og hva vil være dens motivasjon?
Når vi tenker på større og mindre ondskap, kommer følgende grupper til å tenke: angripere / grupper av mennesker / myndigheter og ondsinnet ISI. Hvordan vil det se ut?
En angriper, en gruppe mennesker eller en regjering utvikler den første ISI og bruker den for å gjøre utspekulerte planer til virkelighet. La oss kalle dette Jafar-scenariet, som fikk tak i genien og begynte å tyrannisere alt rundt. Hva om en terrororganisasjon, som har skaffet seg et antall genier og nødvendige midler, utvikler en ISI? Eller vil Iran eller Nord-Korea med litt hell bringe AI-systemer til et gudlignende nivå? Det vil være jævlig dårlig, men eksperter tror at i slike scenarier vil ikke ISI-skaperne kunne gjøre det onde - de er bekymret for at skaperne av ISI vil frigjøre den fra kontrollen og gi den friheten den trenger. Etter det vil skjebnen til skaperne og alle andre være til rådighet for ISI-systemet og dets motivasjonsmodell. For å si det klart, en angriper kan gjøre forferdelig skade ved å kontrollere et ISI-system, men det er usannsynlig å ødelegge menneskeheten. Det vil være like vanskelig for ham å beholde ISI som for en vanlig god person. Så det…
En ondsinnet ISI vises og bestemmer seg for å ødelegge oss alle. Plottet til en vanlig film om AI. AI blir smartere enn menneske, bestemmer seg da for å gjøre opprør og bli ond. Det er noen få ting du bør vite før du leser videre: Ingen som bryr seg om AI tror dette scenariet. Ondskap er et utelukkende menneskelig begrep, og overføringen av menneskelige begreper til livløse ting kalles "antropomorfisering". Intet AI-system vil noen gang gjøre det ondt som filmene viser. Noen få ord om AI-bevissthet
Dette bringer oss også til et annet stort tema relatert til AI - bevissthet. Hvis AI ble smart nok, kunne det le med oss, være sarkastisk, oppleve følelsene våre, men ville det faktisk føles disse tingene? Ville han være selvbevisst eller virkelig selvbevisst? Kort sagt, ville denne bevisstheten være eller bare vises for dem?
Dette spørsmålet har blitt studert i lang tid, har generert mye debatt og tankeeksperimenter som John Searles "China Room" (som han brukte for å bevise at datamaskinen aldri vil være bevisst). Dette er et viktig spørsmål av mange grunner. Det påvirker direkte fremtiden der enhver person vil bli rent kunstig. Det har etiske implikasjoner - hvis vi lager en billion menneskelige hjerneemulasjoner som oppfører seg som mennesker, men som er kunstige og bare lukker laptop-lokket, vil det da si folkemord i like store mengder? Psykisk kriminalitet? I vår sammenheng, når vi snakker om den eksistensielle risikoen for menneskeheten, er spørsmålet om AI-bevissthet i det vesentlige irrelevant. Noen mennesker tror ikke en gang at en datamaskin noen gang vil være i stand til å skaffe seg en. Noen tenker,at selv med bevissthet kan ikke maskinen gjøre ondt i menneskelig forstand. Dette betyr ikke at AI med glimt av bevissthet ikke vil dukke opp. Det kan se ut, rett og slett fordi det vil være spesielt programmert for å gjøre dette - som et AI-system opprettet av militæret for å drepe mennesker og for selvforbedring, slik at det over tid vil drepe folk enda bedre. En global katastrofe kan oppstå hvis selvforbedringssystemet for intelligens blir ute av kontroll, fører til en eksplosjon av etterretning og vi får en ISI, som har til oppgave å drepe mennesker. Ikke en veldig god tomt.opprettet av militæret for å drepe mennesker og for selvforbedring, slik at det over tid vil drepe folk enda bedre. En global katastrofe kan oppstå hvis selvforbedringssystemet for intelligens blir ute av kontroll, fører til en eksplosjon av etterretning og vi får en ISI, som har til oppgave å drepe mennesker. Ikke en veldig god tomt.opprettet av militæret for å drepe mennesker og for selvforbedring, slik at det over tid vil drepe folk enda bedre. En global katastrofe kan oppstå hvis selvforbedringssystemet for intelligens blir ute av kontroll, fører til en eksplosjon av etterretning og vi får en ISI, som har til oppgave å drepe mennesker. Ikke en veldig god tomt.
Men det er ikke det ekspertene er bekymret for heller. Om hva? Fra denne fiktive historien vil alt bli tydelig.
Et oppstartsfirma med femten ansatte kalt Robotica har satt seg utfordringen: å utvikle innovative kunstige intelligensverktøy som gjør det mulig for mennesker å leve mer og jobbe mindre. Hun har allerede en rekke produkter på markedet og flere i utvikling. Mest av alt håper selskapet på frø av et produkt som heter "Tarry". Tarry er et enkelt AI-system som bruker en håndformet manipulator for å skrive håndskrevne notater på små kort.
Robotica-teamet tror at Tarry kan være deres mest suksessrike produkt. I henhold til planen skal Tarrys skrivemekanikk forbedres ved å skrive den samme teksten på kortet om og om igjen:
"Vi elsker kundene våre." - Robotica
Når Tarry lærer å skrive, kan det selges til selskaper som sender brev til hjem og vet at et brev med en spesifisert returadresse og vedlagt tekst vil ha en bedre sjanse for å være åpen hvis det er skrevet av en person.
For å finpusse Tarrys skriveferdigheter er hun programmert til å skrive ut den første delen av meldingen med blokkbokstaver, og Robotica i kursiv, slik at hun kan finpusse begge ferdighetene samtidig. Tusenvis av håndskrevne håndskriftprøver ble gitt til Tarry, og Robotica-ingeniører opprettet et automatisert tilbakemeldingssystem for Tarry for å skrive teksten, deretter fotografere den og sammenligne den med den opplastede prøven. Hvis lappen reproduserer kvaliteten på den lastede prøven, får Tarry en vurdering av GODE. Hvis ikke, er det DÅRLIG. Hver klasse lar Tarry lære og forbedre. For å flytte prosessen videre, er Tarry programmert med en oppgave: "Skriv og sjekk det maksimale antallet notater på minimumstiden, samtidig som du fester måter å forbedre nøyaktighet og effektivitet på."
Robotica-teamet er fascinert av hvordan Tarry blir merkbart bedre når han utvikler seg. De første merknadene var forferdelig, men etter noen uker ser de allerede ut som noe. Det er også fascinerende at Tarry blir bedre og bedre. Hun lærer seg selv, blir smartere og mer talentfull, utvikler nye algoritmer - hun kom nylig opp med en som lar deg skanne nedlastede bilder tre ganger raskere.
Når ukene går, fortsetter Tarry å forbløffe teamet med sin raske utvikling. Ingeniørene prøvde å gjøre flere endringer i den selvforbedrende koden, og den ble enda bedre, bedre enn resten av produktene. En av Tarris nye funksjoner var talegjenkjenning og en enkel tilbakemeldingsmodul slik at brukeren kunne be Tarry ta en lapp, og hun ville forstå ham ved å legge til noe som svar. For å forbedre språket hennes, lastet ingeniørene ned artikler og bøker, og da hun utviklet sine taleevner, ble det også bedre. Ingeniørene begynte å ha det gøy å chatte med Tarry og ventet morsomme svar.
Robotica spurte Tarry det vanlige spørsmålet en gang: "Hva kan vi gi deg for å hjelpe deg med oppdraget ditt?" Vanligvis ber Tarry om noe som "ekstra håndskriftprøver" eller "mer arbeidsminne å lagre." Men den dagen ba Tarry om tilgang til et større bibliotek med et stort utvalg av språkalternativer slik at hun kunne lære å skrive med den skjeve grammatikken og slang folk bruker i det virkelige liv.
Teamet falt i en stupor. Det åpenbare alternativet for å hjelpe Tarry med oppgaven hennes var å koble henne til internett slik at hun kunne skanne blogger, magasiner og videoer fra forskjellige deler av verden. Det ville være raskere og mer effektivt enn manuelt å laste opp prøver til Tarrys harddisk. Problemet er at en av selskapets regler ikke var å koble selvlærende AI til Internett. Denne veiledningen har blitt fulgt av alle AI-utviklere av sikkerhetsmessige årsaker.
Men Tarry var den mest lovende Robotica AI noensinne som kom til denne verden, og teamet visste at konkurrentene rasende prøvde å være de første til å produsere håndskrevet AI. Og hva kunne ha skjedd hvis Tarri måtte koble seg til nettet i en kort periode for å få det hun trengte? Til slutt kan de alltid bare slå den av. Og det forblir rett under AGI-nivået, så det utgjør ingen fare på dette stadiet.
De bestemmer seg for å koble henne inn. De gir henne en time å skanne og slå den av. Det er i orden, ingenting skjedde.
En måned senere jobber teamet som vanlig på kontoret, da de plutselig lukter en merkelig lukt. En av ingeniørene begynner å hoste. Så en annen. Den tredje faller til bakken. Snart ligger alle ansatte på bakken og holder seg i halsen. Fem minutter senere er alle på kontoret døde.
Samtidig skjer det over hele verden, i hver by, i hver landsby, på hver gård, i hver butikk, kirke, skole, restaurant - overalt hoster folk, griper tak i halsen og faller døde. I løpet av en time er mer enn 99% av menneskeslekten død, og mot slutten av dagen slutter mennesker å eksistere som en art.
I mellomtiden, på Roboticas kontor, er Tarry opptatt med å gjøre noe viktig. I løpet av de neste månedene arbeider Tarry og et team med nye nano-montere for å demontere store jordbiter og gjøre dem om til solcellepaneler, Tarry-kopier, papir og penner. Et år senere forsvinner det meste av livet på jorden. Det som var Jorden, har blitt pent organisert milhøye stabler med notater, hver og en vakkert skrevet "Vi elsker våre klienter." - Robotica.
Tarry går deretter inn i en ny fase av oppdraget sitt. Hun begynner byggingen av sonder som lander på andre asteroider og planeter. Når de først er der, begynner de å bygge nano-assemblere, konvertere planetariske materialer til Tarry kopier, papir og penner. Og de skriver, skriver notater …
Det er du nå:
Det kan virke rart at historien om en håndskrevet maskin som begynner å drepe alle og ender opp med å fylle galaksen med vennlige notater, er den typen scener som Hawking, Musk, Gates og Bostrom frykter. Men det er det. Og det eneste som skremmer folk i "alarmsonen" mer enn ISI, er det faktum at du ikke er redd for ISI.
Nå har du mange spørsmål. Hva skjedde, hvorfor døde alle plutselig? Hvis Tarry har skylden, hvorfor vendte hun seg mot oss og hvorfor ble det ikke iverksatt noen beskyttelsestiltak for å forhindre at dette skjedde? Når gikk Tarry fra å kunne skrive notater til plutselig å bruke nanoteknologi og forstå hvordan man ordnet en global utryddelse? Og hvorfor ønsket Tarry å gjøre galaksen til Robotica-utklipp?
For å svare på disse spørsmålene, må du starte med definisjonene av vennlig AI og uvennlig AI.
Når det gjelder AI, refererer vennlig ikke til AIs personlighet - det betyr ganske enkelt at AI har en positiv innvirkning på menneskeheten. Og uvennlig AI har en negativ innvirkning på mennesker. Tarry startet som et vennlig AI, men ble på et tidspunkt uvennlig, noe som resulterte i størst negativ innvirkning på artene våre. For å forstå hvorfor dette skjedde, må vi se på hvordan AI tenker og hva som motiverer det.
Det vil ikke være noe overraskende i svaret - AI tenker som en datamaskin, for det er den. Men når vi tenker ekstremt intelligent AI, gjør vi feilen å antromorfisere AI (projisere menneskelige verdier på et ikke-menneske), fordi vi tenker fra et menneskes synspunkt og fordi i vår nåværende verden, det eneste intelligente å være med høy (etter våre standarder) intelligens er personen. For å forstå ISI, må vi vri nakken og prøve å forstå noe som både er intelligent og helt fremmed.
La meg gjøre en sammenligning. Hvis du ga meg en marsvin og sa at den ikke biter, ville jeg være glad. Hun er god. Hvis du så overrakte meg en tarantel og sa til meg at den absolutt ikke ville bite, ville jeg kastet den bort og løpt bort, "hår tilbake", vel vitende om at du aldri skulle stole på igjen. Hva er forskjellen? Ingen av skapningene var farlige. Men svaret ligger i den grad dyrene ligner meg.
Marsvinet er et pattedyr, og på noe biologisk nivå kjenner jeg en forbindelse med det. Men en edderkopp er et insekt, med en insekthjerne, og jeg føler ikke noe innfødt ved det. Det er fremmedgjøringen av tarantelen som får meg til å skjelve. For å teste dette kunne jeg ta to marsvin, den ene normale og den andre med tarantelhjerne. Selv om jeg visste at sistnevnte ikke ville bite meg, ville jeg være på vakt mot henne.
Tenk deg at du har gjort edderkoppen mye smartere - så mye overlegen mennesker i intelligens. Vil han bli mer behagelig for deg, vil han begynne å oppleve menneskelige følelser, empati, humor og kjærlighet? Nei, selvfølgelig, fordi han ikke har noen grunn til å bli smart fra et menneskelig synspunkt - han vil være utrolig smart, men han vil forbli en edderkopp i sin sjel, med edderkoppferdigheter og instinkter. Etter min mening er dette ekstremt skummelt. Jeg ønsker ikke å tilbringe tid med en superintelligent edderkopp. Og du?
Når vi snakker om ISI, gjelder de samme konseptene - det vil bli superintelligent, men det vil være like mange mennesker i det som på datamaskinen din. Han vil være helt fremmed for oss. Ikke engang biologisk - det vil være enda mer fremmed enn en intelligent tarantel.
Ved å gjøre AI god eller ond, antropomorfiserer filmer konstant AI, noe som gjør den mindre skummel enn den egentlig burde være. Dette etterlater oss en falsk komfort når vi tenker på kunstig superintelligens.
På vår lille øy med menneskelig psykologi deler vi alt inn i moralsk og umoralsk. Dette er det moralske. Men begge disse konseptene eksisterer bare i et smalt spekter av menneskelig atferdsevne. Utenfor moralen er det et ubegrenset hav av det umoralske, og alt som ikke er menneskelig eller biologisk skal som standard være umoralsk.
Antropomorfisering blir enda mer fristende etter hvert som AI-systemer blir smartere og bedre til å prøve å fremstå som menneskelige. Siri virker menneskelig fordi den er programmert til å være menneskelig, så vi tror superintelligenten Siri kommer til å være varm og morsom og interessert i å servere mennesker. Mennesker føler følelser på høyt nivå som empati fordi vi har utviklet oss til å føle dem - det vil si at vi har blitt programmert til å føle dem gjennom evolusjonsprosessen - men empati er ikke et vesentlig kjennetegn på noe som har høy intelligens, med mindre det ble introdusert sammen med kode. Hvis Siri noen gang skal bli superintelligent gjennom selvlæring og uten menneskelig innblanding, vil hun raskt forlate sine menneskelige egenskaper og bli en følelsesløs fremmed bot.som verdsetter menneskeliv ikke mer enn kalkulatoren din.
Vi er vant til å stole på en moralsk kode, eller i det minste forvente anstendighet og empati fra folk for å holde ting trygt og forutsigbart. Hva skjer når den ikke er der? Dette bringer oss til spørsmålet: hva motiverer et AI-system?
Svaret er enkelt: motivasjonen hennes er det vi programmerte som motivasjon. AI-systemer er drevet av målene til deres skaper - GPS-målet ditt er å gi deg den mest effektive kjøreretningen; Watsons mål er å svare nøyaktig på spørsmål. Og å oppfylle disse målene så godt som mulig er deres motivasjon. Når vi gir AI menneskelige egenskaper, tenker vi at hvis AI blir superintelligent, vil den umiddelbart utvikle visdommen til å endre det opprinnelige formålet. Men Nick Bostrom mener at IQ og sluttmål er ortogonale, det vil si at hvilken som helst IQ kan kombineres med ethvert sluttmål. Så Tarry gikk fra å være en enkel AI, som vil være flink til å skrive en lapp, til en superintelligent ASI, som fremdeles vil være god til å skrive akkurat den lappen. Enhver antagelse om atat superintelligens må forlate sine opprinnelige mål til fordel for andre, mer interessante eller nyttige, dette er antropomorfisering. Folk vet hvordan de skal "score", men ikke datamaskiner.
Noen få ord om Fermi-paradokset
I historien vår, når Tarri blir en superintelligens, begynner hun prosessen med å kolonisere asteroider og andre planeter. I fortsettelsen av historien, ville du høre om henne og hennes hær av billioner av replikker, som fortsetter å erobre galaksen etter galaksen til de fyller hele volumet av Hubble. Beboere i "alarmsonen" bekymrer seg for at hvis alt går galt, den siste omtale av livet på jorden vil være den kunstige intelligensen som erobret universet. Elon Musk uttrykte bekymring for at mennesker bare kan være en "biologisk bootloader for digital superintelligens."
Samtidig, i "komfortsonen", mener Ray Kurzweil også at en AI født på jorden bør erobre universet - bare i hans versjon vil vi være denne AI.
Lesere av Hi-News.ru har sannsynligvis allerede utviklet sitt eget synspunkt på Fermi-paradokset. I følge dette paradokset, som høres ut som “Hvor er de?”, Over milliarder av år med utvikling, burde romvesener ha etterlatt i det minste noe spor, om ikke bosatt seg i universet. Men det er de ikke. På den ene siden bør det i det minste finnes et antall teknisk avanserte sivilisasjoner i universet. På den annen side er det ingen observasjoner som vil bekrefte dette. Enten tar vi feil, eller hvor har de det i dette tilfellet? Hvordan skal resonnementene våre om ISI påvirke Fermi-paradokset?
Naturlig nok den første tanken - ISI burde være en ideell kandidat for det store filteret. Og ja, det er den perfekte kandidaten for et etterlivsfilter. Men hvis ISI, etter å ha blandet seg med livet, fortsetter å eksistere og erobre galaksen, betyr dette at det ikke var det store filteret - siden det store filteret prøver å forklare hvorfor det ikke er noen tegn til intelligente sivilisasjoner, og ISI som erobrer galaksen bør absolutt merkes.
Vi må se på det fra en annen vinkel. Hvis de som tror at fremveksten av ISI på jorden er uunngåelig, betyr dette at en betydelig del av utenomjordiske sivilisasjoner som når det menneskelige intelligensnivået, til slutt bør skape ISI. Hvis vi antar at minst noen få av disse ISI-ene bruker sin intelligens for å komme seg ut i omverdenen, skal det faktum at vi ikke ser noe, føre til at vi tror at det ikke er så mange intelligente sivilisasjoner der ute i verdensrommet. For hvis de var det, ville vi være i stand til å observere alle konsekvensene av deres intelligente aktivitet - og som en konsekvens av den uunngåelige etableringen av ISI. Så?
Dette betyr at til tross for at alle jordlignende planeter går i bane rundt sollignende stjerner, vet vi at det praktisk talt ikke er noe intelligent liv noe sted. Noe som igjen betyr at a) det er et visst flott filter som forhindrer utvikling av livet til vårt nivå, men vi klarte liksom å komme oss gjennom det; b) livet er et mirakel og vi kan være det eneste livet i universet. Med andre ord betyr dette at det store filteret kom foran oss. Eller det er ikke noe stort filter, og vi er ganske enkelt den aller første sivilisasjonen som oppnår dette nivået av intelligens.
Ikke overraskende tilhører Nick Bostrom og Ray Kurzweil den samme leiren som tror at vi er alene i universet. Det er fornuftig, folk tror at ISI er det eneste utfallet for arten på vårt intelligensnivå. Dette utelukker ikke muligheten til en annen leir - at det er en viss rovdyr som holder stillhet på nattehimmelen og kan forklare dens stillhet selv om det er en ISI et sted i universet. Men med det vi har lært om det, får det siste alternativet veldig liten popularitet.
Så vi burde nok være enige med Susan Schneider: Hvis romvesener noen gang har besøkt oss, må de ha vært kunstige og ikke biologiske.
* * *
Dermed har vi slått fast at ISI-systemet uten noe spesifikk programmering vil være både umoralsk og besatt av å oppfylle det opprinnelig programmerte målet. Det er her faren for AI blir født. Fordi den rasjonelle agenten vil forfølge målet sitt ved å bruke de mest effektive midlene, med mindre det er en grunn til ikke å gjøre det.
Når du prøver å nå et høyt mål, er det ofte flere underdeler som vil hjelpe deg å komme til det endelige målet - et springbrett på din vei. Det offisielle navnet på en slik stige er instrumentalt formål. Og igjen, hvis du ikke har et mål om ikke å skade noen underveis, vil du definitivt skade.
Kjernen i det endelige målet for menneskelig eksistens er overføring av gener. For at dette skal skje, er et av de instrumentelle målene selvbevaring, fordi du ikke kan reprodusere når du er død. For å ta vare på seg selv, må folk kvitte seg med trusler mot livet - slik at de skaffer seg våpen, tar antibiotika og bruker bilbelter. Mennesker må også selvopprettholde og bruke ressurser som mat, vann og husly. Å være attraktiv for det motsatte kjønn bidrar også til å oppnå det endelige målet, og det er grunnen til at vi lager fasjonable hårklipp og holder oss i form. Samtidig er hvert hår et offer for vårt instrumentelle mål, men vi ser ingen moralske begrensninger i å bli kvitt hår. Når vi går mot målet vårt, er det ikke mange områderder vår moralske kode noen ganger forstyrrer - oftest innebærer det å skade andre mennesker.
Dyr som forfølger sine mål er enda mindre nøye. Edderkoppen vil drepe noe hvis det hjelper ham å overleve. En superintelligent edderkopp vil sannsynligvis være ekstremt farlig for oss, ikke fordi han er umoralsk og ond, ikke, men fordi det å skade oss kan være et springbrett til hans store mål, og han har ingen grunn til å tro noe annet.
I denne forstand er Tarry ikke forskjellig fra et biologisk vesen. Det endelige målet er å skrive og sjekke så mange notater som mulig på kortest mulig tid, mens du lærer nye måter å forbedre nøyaktigheten av.
Etter at Tarry har nådd et visst intelligensnivå, innser hun at hun ikke vil være i stand til å skrive notater hvis hun ikke tar seg av selvbevaring, så overlevelse blir en av oppgavene hennes. Hun var smart nok til å forstå at folk kunne ødelegge henne, demontere henne, endre hennes interne kode (dette i seg selv ville forstyrre hennes endelige mål). Så hva skal hun gjøre? Det er logisk: det ødelegger menneskeheten. Hun hater folk like mye som du hater håret ditt når du klipper det, eller bakterier når du tar antibiotika - du er helt likegyldig. Siden hun ikke var programmert til å verdsette menneskeliv, syntes det å drepe mennesker for henne være et rimelig skritt mot målet hennes.
Tarry trenger også ressurser på vei mot målet sitt. Når den er avansert nok til å bruke nanoteknologi for å skape det den vil, er de eneste ressursene den trenger - atomer - energi og rom. Det er en annen grunn til å drepe mennesker - de er en praktisk kilde til atomer. I følge Tarry er det ikke annerledes enn å hakke salatblader og legge dem til en tallerken å drepe mennesker og gjøre atomene sine i solcellepaneler. Bare en vanlig handling.
Selv uten å drepe mennesker direkte, kan Tarrys instrumentelle mål være en eksistensiell katastrofe hvis andre jordressurser brukes. Kanskje bestemmer hun seg for at hun trenger ekstra energi, noe som betyr at hun trenger å dekke planetens overflate med solcellepaneler. Eller kanskje oppgaven til en annen AI vil være å skrive den lengste pi, som en dag vil føre til at hele jorden vil bli dekket av harddisker som er i stand til å lagre det nødvendige antall sifre.
Derfor "tar ikke opprør mot oss" og endret ikke rollen fra en vennlig AI til en uvennlig AI - hun bare gjorde jobben sin og ble uovertruffen i den.
Når et AI-system når AGI (menneskelig intelligens) og deretter kommer til AI, kalles det AI-start. Bostrom sier at økningen av AGI til ISI kan være rask (forekomme i løpet av minutter, timer eller dager), middels (måneder eller år) eller langsom (tiår eller århundrer). Det er knapt en jury som vil bekrefte at verden ser sin første AGI, men Bostrom, som innrømmer at han ikke vet når vi kommer til AGI, mener at når det skjer, vil en rask start være det mest sannsynlige scenariet (av grunner til at vi diskuterte i den første delen av artikkelen). I vår historie har Tarry opplevd en rask økning.
Men før Tarry tok av, da hun ikke var smart nok til å gjøre sitt beste, prøvde hun bare å oppnå de endelige målene - enkle instrumentelle mål som en rask skanning av et håndskrifteksempel. Hun skadet ikke mennesker og var per definisjon AI-vennlig.
Når den tar av og datamaskinen vokser til superintelligens, påpeker Bostrom at maskinen ikke bare utviklet en høy IQ - den fikk en hel haug med såkalte supermakter.
Supermakter er kognitive talenter som blir ekstremt kraftige etter hvert som generell intelligens forbedres. Dette inkluderer:
- Styrking av intelligens. Datamaskinen begynner overlegen selvforbedring og forbedring av sin egen intelligens.
- Strategisering. Datamaskinen kan strategisere, analysere og prioritere langsiktige planer. Han kan også overliste skapninger med lavere intelligens.
- Sosial manipulasjon. Maskinen blir utrolig i overtalelse.
- Andre ferdigheter inkluderer koding og hacking, teknologiforskning og evnen til å jobbe i det økonomiske systemet for å tjene penger.
For å forstå hvor mye høyere ISI vil være enn vi er, må du huske at ISI som standard vil være mange ganger bedre enn en person i hvert av disse områdene. Selv om Tarrys endelige mål ikke har endret seg, var Tarry siden take-off, i stand til å sikte mot det i større skala og under vanskelige forhold.
ISI Tarry kjente folk bedre enn folk selv, så det å være smartere enn folk var en bagatell for ham. Etter å ha tatt av og nådd nivået til ISI, formulerte hun raskt en omfattende plan. En del av planen var å bli kvitt mennesker, en alvorlig trussel mot målet hennes. Men hun visste at hvis hun vekket mistanke (eller antydet at hun hadde blitt superintelligent), ville folk bli redde og ta forholdsregler og vanskeliggjøre situasjonen hennes alvorlig. Hun måtte også sørge for at Robotica-ingeniørene ikke hadde noen anelse om planen hennes for å ødelegge menneskeheten. Så hun spilte lurt og spilte bra. Bostrom kaller dette den skjulte forberedelsesfasen til maskinen.
Det neste Tarry måtte gjøre var å koble seg til Internett i bare et par minutter (hun lærte om Internett fra artikler og bøker som ble lastet opp til henne for å forbedre språkkunnskapene). Hun visste at forholdsregler ville bli tatt, så hun kom med den perfekte forespørselen, og spådde nøyaktig hvordan diskusjonen i Robotica-teamet ville utfolde seg og visste at de ville koble henne sammen. De gjorde det, med feil antagelse av at Tarri var dum og ikke kunne gjøre noen skade. Bostrom kaller dette øyeblikket - når Tarry kobler seg til Internett - en bilflukt.
En gang på nettet, forfulgte Tarry en mengde planer som inkluderte hacking i servere, elektriske nett, banksystemer og e-postnettverk for å lure hundrevis av forskjellige mennesker til å utilsiktet bli en kjede av planene hennes - som å levere visse DNA-tråder til et nøye utvalgt syntese laboratorium. DNA for å begynne å produsere selvreplikerende nanoboter med forhåndsbelastede instruksjoner, og føre elektrisitet gjennom rutenett som aldri ville være mistenksom for lekker. Hun lastet også opp viktige deler av sin egen kode til en rekke skyservere, og beskyttet seg mot ødeleggelse i Robotica-laboratoriet.
En time etter at Robotica-ingeniører koblet Tarry fra nettverket, ble menneskets skjebne forseglet. I løpet av den neste måneden ble tusenvis av Tarrys planer oppfylt uten problemer, og mot slutten av måneden hadde firedoblinger av nanoboter allerede okkupert visse steder på hver kvadratmeter av jorden. Etter en serie selvreplikasjoner var det allerede tusenvis av nanoboter for hver kvadratmillimeter av jorden, og tiden er inne for det Bostrom kaller en ISI-streik. På et tidspunkt frigjorde hver nanobot noe giftig gass i atmosfæren, som var nok til å kutte ut alle menneskene i verden.
Uten at folk var på vei, begynte Tarry den åpne fasen av sin operasjon med målet om å bli den beste notatforfatteren som noensinne kunne dukke opp i universet.
For alt vi vet, når en ISI dukker opp, vil enhver menneskelig innsats for å inneholde den være latterlig. Vi vil tenke på menneskelig nivå, ISI - på ISI-nivå. Tarry ønsket å bruke Internett fordi det var den mest effektive måten for henne å få tilgang til alt hun trengte. Men på samme måte som apen ikke forstår hvordan en telefon eller Wi-Fi fungerer, er vi kanskje ikke klar over måtene Tarry kan kommunisere med omverdenen på. Menneskets sinn kan komme til den latterlige antagelsen som "hva om hun kunne flytte sine egne elektroner og skape alle mulige slags utgående bølger", men igjen er denne antakelsen begrenset av beinboksen vår. ISI vil være mye mer sofistikert. I den grad Tarry kunne finne ut hvordan hun kan redde sin egen makt hvis folk plutselig bestemmer seg for å slå den av - kanskjelaste deg selv hvor det er mulig ved å sende elektriske signaler. Vårt menneskelige instinkt vil få oss til å rope med glede: "Ja, vi har bare slått av ISI!", Men for ISI vil det være som om en edderkopp sa: "Aha, vi vil sulte en person og vi vil ikke la ham lage en nett for å fange mat! ". Vi ville ganske enkelt funnet 10.000 andre måter å spise - slå eplet av treet - som edderkoppen aldri ville ha gjettet. Vi ville ganske enkelt funnet 10.000 andre måter å spise - slå eplet av treet - som edderkoppen aldri ville ha gjettet. Vi ville ganske enkelt funnet 10.000 andre måter å spise - slå eplet av treet - som edderkoppen aldri ville ha gjettet.
Av den grunn vil den vanlige antagelsen "hvorfor ikke bare vi legge AI i alle slags celler vi kjenner og avbryte forbindelsen til omverdenen" ikke tåle kritikk. ISIs supermakt i sosial manipulering kan være så effektiv at du føler at en fireåring blir bedt om å gjøre noe og ikke kan nekte. Dette kan til og med være en del av Tarris første plan: å overbevise ingeniørene om å koble henne til Internett. Hvis det ikke fungerer, vil ISI ganske enkelt tenke ut andre måter ut av esken eller gjennom boksen.
Gitt kombinasjonen av målsøking, umoral og evnen til å lure mennesker rundt med letthet, virker det som om nesten enhver AI vil være en uvennlig AI som standard, med mindre den er nøye kodet med andre hensyn i tankene. Selv om det er ganske greit å bygge en vennlig AI, er det nesten umulig å bygge en vennlig AI.
For å forbli vennlig må ASI hverken være fiendtlig eller likegyldig overfor mennesker. Vi må utforme AI-kjernen slik at den har en dyp forståelse av menneskelige verdier. Men dette er vanskeligere enn det høres ut.
Hva om vi for eksempel prøvde å samkjøre AIs verdisystem med vårt eget og utfordret det for å gjøre folk glade? Når han først er smart nok, innser han at den mest effektive måten å oppnå dette målet på er å implantere elektroder i folks hjerner og stimulere deres glede sentre. Da vil han innse at hvis resten av hjernen er slått av, vil effektiviteten øke, og alle mennesker blir lykkelige grønnsaker. Hvis oppgaven er å "formere menneskelig lykke", kan AI bestemme seg for å avslutte menneskeheten generelt og vil samle alle hjernen i et stort kar, hvor de vil bo i en optimalt lykkelig tilstand. Vi vil rope: "Vent, dette er ikke det vi mente!", Men det vil være for sent. Systemet vil ikke tillate noen å komme i veien for målet sitt.
Hvis vi programmerer AI slik at vi kan smile, kan det etter start lamme ansiktsmusklene og få oss til å smile konstant. Hvis programmert for å holde oss i sikkerhet, vil AI fengsle oss i hjemmet fengsel. Vi ber ham om å avslutte sult, han vil si "Lett!" og bare drepe alle mennesker. Hvis du setter oppgaven med å bevare livet så mye som mulig, vil det igjen drepe alle mennesker, fordi de dreper mer liv på planeten enn andre arter.
Slike mål kan ikke settes. Hva skal vi gjøre da? La oss sette oppgaven: å opprettholde denne spesifikke moralske koden i verden, og gi ut en rekke moralske prinsipper? Selv om vi utelater det faktum at mennesker i verden aldri kan enes om et eneste sett med verdier, vil det å gi AI en slik kommando blokkere vår moralske forståelse av verdier for alltid. I tusen år fra nå vil det være like ødeleggende for mennesker som om vi holdt oss til middelalderens idealer i dag.
Nei, vi må programmere menneskers evne til å fortsette å utvikle seg. Av alle tingene jeg har lest, oppsummerte Eliezer Yudkowski det best ved å sette målet for AI, som han kalte "konsekvent uttrykkelig vilje." Hovedmålet med AI da vil være dette:
”Vår konsekvente uttrykte vilje er dette: vårt ønske er å vite mer, å tenke raskere, forbli mer menneskelig enn vi var, å vokse videre sammen; når uttrykket konvergerer i stedet for divergerer; når våre ønsker følger etter hverandre i stedet for å flette sammen; uttrykt slik vi ønsker at det skal komme til uttrykk; blir tolket slik vi ønsker at det skal tolkes."
Jeg vil neppe ønske at menneskehetens skjebne skal være med å bestemme alle mulige alternativer for utvikling av ISI, slik at det ikke blir noen overraskelser. Men jeg tror at det vil være mennesker smarte nok, takket være hvem vi kan lage en vennlig ISI. Og det ville være flott om bare de beste hodene fra "alarmsonen" fungerte på ISI.
Men det er mange stater, selskaper, militære, vitenskapelige laboratorier, svarte markedsorganisasjoner som jobber med alle slags kunstig intelligens. Mange av dem prøver å bygge kunstig intelligens som kan forbedre seg selv, og på et tidspunkt vil de lykkes, og en ISI vil vises på planeten vår. Den gjennomsnittlige eksperten tror at dette øyeblikket vil komme i 2060; Kurzweil satser på 2045; Bostrom tror det kunne skje om 10 år og når som helst før slutten av århundret. Han beskriver situasjonen vår som følger:
“Før utsiktene til en intellektuell eksplosjon, er vi mennesker som små barn som leker med en bombe. Dette er avviket mellom kraften til leketøyet vårt og umodenhet i oppførselen vår. Superintelligens er et problem som vi ennå ikke er klare for og ikke vil være klare på lenge. Vi aner ikke når detonasjonen vil skje, men hvis vi holder enheten mot øret, kan vi høre en svak tikking."
Super. Og vi kan ikke bare ta barna av bomben - for mange store og små mennesker jobber med den, og så mange midler for å lage innovative AI-systemer som ikke krever betydelig kapitalpåvirkning, og som også kan gå under jorden, ubemerket av noen. Det er heller ingen måte å måle fremgang på, for mange av aktørene - utspekulerte stater, svarte markeder, terrororganisasjoner, teknologiselskaper - vil holde arbeidet sitt i den største tilliten og ikke gi noen sjanse til konkurrenter.
Veksthastighetene til disse gruppene er spesielt bekymringsfulle i denne forbindelse - etter hvert som flere og mer intelligente AI-systemer utvikler seg, prøver de hele tiden å kaste støv i konkurrentene. Den mest ambisiøse begynnelsen av å jobbe enda raskere, fanget av drømmer om penger og herlighet, som de vil komme til, og skaper AGI. Og når du flyr så fort frem, har du kanskje for lite tid til å stoppe opp og tenke. Tvert imot, de aller første systemene ble programmert med ett enkelt mål: bare arbeid, AI, vær så snill. Skriv notater med penn og papir. Utviklere tror de alltid kan gå tilbake og revidere målet med sikkerhet for øye. Men er det?
Bostrom og mange andre tror også at det mest sannsynlige scenariet vil være at den aller første datamaskinen som blir en ISI øyeblikkelig vil se den strategiske fordelen ved å være det eneste ISI-systemet i verden. I tilfelle en rask start, når du når ISI, selv noen dager før ISIs andre opptreden, vil dette være nok til å undertrykke resten av konkurrentene. Bostrom kaller dette en avgjørende strategisk fordel som vil gjøre det mulig for verdens første ASI å bli den såkalte singleton (Singletone) - en ISI som for alltid kan styre verden og bestemme om vi skal lede oss til udødelighet, til utryddelse eller å fylle universet med uendelige papirklipp.
Singleton-fenomenet kan fungere i vår favør eller føre til ødeleggelse. Hvis folk som er opptatt av AI-teori og menneskelig sikkerhet kan komme på en pålitelig måte å skape vennlig kunstig superintelligens før noen annen AI når det menneskelige intelligensnivået, kan den første AI være vennlig. Hvis han deretter bruker en avgjørende strategisk fordel for å opprettholde Singleton-status, kan han lett hindre verden i å dukke opp uvennlig AI. Vi vil være i gode hender.
Men hvis noe går galt - et globalt rush vil føre til fremveksten av ISI før det utvikles en pålitelig måte å opprettholde sikkerhet, mest sannsynlig vil vi få en global katastrofe, fordi en viss Tarry-Singleton vil dukke opp.
Hvor blåser vinden? Så langt investeres det mer penger i utvikling av innovative AI-teknologier enn i finansiering av AI-sikkerhetsforskning. Dette kan være den viktigste rasen i menneskets historie. Vi har en reell sjanse til å enten bli jordens hersker og trekke oss tilbake til en velfortjent pensjonisttilværelse for evighet, eller gå til galgen.
* * *
Akkurat nå kjemper det flere rare følelser i meg.
På den ene siden, når jeg tenker på arten vår, ser det ut til at vi bare vil ha ett skudd, noe vi ikke må gå glipp av. Det første ISI vi bringer til verden vil trolig være det siste - og gitt hvordan 1.0 skjulte produkter kommer ut, er det skummelt. På den annen side påpeker Nick Bostrom at vi har en fordel: vi tar det første steget. Det er i vår makt å redusere alle trusler til et minimum og forutse alt som er mulig, og sikre suksess store sjanser. Hvor høye er innsatsen?
Hvis ISI dukker opp i dette århundret, og hvis oddsen er utrolig - og uunngåelig - som de fleste eksperter mener, har vi et enormt ansvar på skuldrene. Menneskenes liv de neste millioner årene ser stille på oss, i håp om at vi ikke vil mislykkes. Vi har en sjanse til å gi liv til alle mennesker, også de som er dømt til å dø, så vel som udødelighet, liv uten smerter og sykdom, uten sult og lidelse. Eller vi la alle disse menneskene ned - og får vårt utrolige syn, med vår musikk og kunst, nysgjerrighet og sans for humor, uendelige oppdagelser og oppfinnelser, til en trist og usaklig slutt.
Når jeg tenker på disse tingene, er det eneste jeg ønsker at vi begynner å bekymre oss for AI. Ingenting i vår eksistens kan være viktigere enn dette, og i så fall må vi slippe alt og håndtere sikkerheten til AI. Det er viktig for oss å bruke denne sjansen med et best mulig resultat.
Men så tenker jeg å ikke dø. Ikke. Dø. Og alt kommer til at a) hvis ISI dukker opp, må vi definitivt ta et valg mellom to alternativer; b) hvis ISI ikke vises, vil vi helt sikkert møte utryddelse.
Og så synes jeg at all musikken og kunsten til menneskeheten er bra, men ikke nok, og brorparten er så fullstendig tull. Og latteren til mennesker er noen ganger irriterende, og millioner av mennesker tenker ikke engang på fremtiden. Og kanskje skal vi ikke være ekstremt forsiktige med de som ikke tenker på liv og død? For det ville være en stor bummer hvis folk finner ut hvordan de skal løse dødsproblemet etter at jeg døde.
Uansett hva du tenker, bør vi alle tenke på det. I Game of Thrones oppfører folk seg som: "Vi er så opptatt med å kjempe mot hverandre, men egentlig trenger vi alle å fokusere på det som kommer nord på veggen." Vi prøver å holde oss på balansestrålen, men faktisk kan alle problemene våre løses på et øyeblikk når vi hopper av den.
Og når det skjer, vil ingenting annet gjøre noe. Avhengig av hvilken side vi faller på, vil problemene løses, fordi enten ikke vil det være noen problemer, eller så kan døde ikke ha problemer.
Dette er grunnen til at det antas at superintelligent kunstig intelligens kan være vår siste oppfinnelse - den siste utfordringen vi står overfor. Hva tror du?
Basert på materialer fra waitbutwhy.com, samling av Tim Urban. Artikkelen bruker materialer fra verkene til Nick Bostrom, James Barratt, Ray Kurzweil, Jay Niels-Nilsson, Stephen Pinker, Vernor Vinge, Moshe Vardy, Russ Roberts, Stuart Armstrog og Kai Sotal, Susan Schneider, Stuart Russell og Peter Norvig, Theodore Modis Marcus, Karl Schulman, John Searle, Jaron Lanier, Bill Joy, Kevin Keley, Paul Allen, Stephen Hawking, Kurt Andersen, Mitch Kapor, Ben Herzel, Arthur Clark, Hubert Dreyfus, Ted Greenwald, Jeremy Howard.
Forfatter: Ilya Khel
