Artikkelen prøver å formalisere og utforske tetningsproblemet for singularitet som er skissert av David Chalmers. Artikkelen begynner med en definisjon av problemet med å begrense friheten til kunstig intelligens. Etter å ha analysert de eksisterende alternativene for å løse dette problemet og manglene deres, ble det foreslått en protokoll, hvis formål er å skape et trygt lukket miljø som kan inneholde de negative manifestasjonene av teknologisk singularitet når menneskeheten bruker superintelligens.
1. Introduksjon
I nær fremtid vil tilsynelatende superintelligente programmer vises og utvikle seg. I denne forbindelse har en rekke forskere tatt opp spørsmålet om sikker drift av AI (Yudkowsky 2008, Bostrom 2006, Hibbard 2005, Chalmers 2010; Hall 2000). I studier som er viet til dette problemet, blir det lagt stor vekt på hvordan man kan opprettholde superintelligens i et hermetisk forseglet rom, slik at det ikke har evnen til å skade mennesker på noen måte. Eric Drexler er en av de tidligste visjonærene som berører dette emnet. Han foreslo å sette superintelligente maskiner i et rammeverk der alt de gjør kan læres og brukes trygt (Drexler 1986). På grunn av en resonering på lignende måte foreslo futuristen Nick Bostrom (Bostrom 2008) å lage et AI-orakel (AI), bare i stand til å gjøreå svare på spørsmål. Til slutt, i 2010, fremmet David Chalmers ideen om en hermetisk forseglet singularitet (Chalmers 2010). I følge Chalmers er den første tingen å gjøre av sikkerhetsmessige årsaker tett kontroll over aktivitetene til AI-systemer, redusere den til modellering av virtuelle verdener, inntil å studere oppførselen til disse systemene lar deg fullstendig klargjøre intensjonene deres.
1.1 Problemet med å begrense friheten til kunstig intelligens
Interessant nok har man snakket om problemet med å begrense friheten til AI i lang tid og slett ikke i forbindelse med studiet av teknologisk singularitet. Det såkalte "restriction of Liberty problem" (PIC) ble posert tilbake i 1973 av Butler Lampson (Lampson 1973). Han så på det som en utfordring for vitenskapelig og teknologisk fremgang, og skapte en trussel for det trygge arbeidet til dataspesialister, og formulerte det på følgende måte: “… Problemet med å begrense den gratis utførelsen av et program for å forhindre at dette programmet overfører informasjon til noen andre, bortsett fra den som lanserte det. … Vi ønsker å kunne begrense friheten til ethvert program. … Ethvert program, hvis begrensninger pålegges utførelsen, vil ikke kunne "slå sammen" data til uautoriserte personer. Et slemt program som prøver å flykte utenlands, kan bli fanget i handlingen”(ibid.).
For å løse problemet med frihetsbegrensning utviklet Lampson lover om frihetsbegrensning (ibid.):
Salgsfremmende video:
1) Fullstendig isolasjon: utførelsen av et program er begrenset slik at det ikke kan ringe noe annet program.
2) Transitivity: Hvis et program hvis utførelse er begrenset, kaller et annet program som ikke inspirerer tillit, må også utførelsen av det ringte programmet begrenses.
3) Lag en maske: programmet hvis utførelse er underlagt begrensninger, må la den som lanserer den bestemme alle oppføringene i lovlige og uautoriserte kanaler.
4) Overvåkningsytelse: Administratoren må sørge for at oppføringen av et begrenset program til uautoriserte kanaler oppfyller kravene til personen som lanserer det.
I tillegg identifiserte og identifiserte Lampson to typer kanaler som informasjon kan forlate plassen begrenset av administratoren. Juridiske kanaler er en del av en kommunikasjonsprotokoll integrert i et avgrenset rom (for eksempel en tekstterminal). Uautoriserte kanaler, tvert imot, er ikke gitt av utviklerne av det begrensede programutføringssystemet, og er generelt ikke ment for å overføre informasjon (for eksempel ved bruk av en kjøler som kjøler prosessoren, kan AI, ved hjelp av Morse-kode, i hemmelighet sende signaler) (ibid.).
Lampsons papir genererte mye interesse for problemet med frihetsbegrensning (Lipner 1975; (Boebert & Kain) 1996), og gjennom årene relaterte forskningsområder som steganography (Provos & Kain). Honeyman 2003) og kommunikasjon gjennom uautoriserte kanaler (Moskowitz & Kang 1994; Kemmerer 1983, 2002), har beveget seg til nivået på autonome fagdisipliner i håp om å starte en ny disiplin "datasikkerhetsdisiplin" AI-sikkerhet ", Vi definerer problemet med å begrense friheten til AI (PSIA) som problemet med å plassere et kunstig intelligent subjekt i et lukket rom, hvorfra AI ikke kan utveksle informasjon med det ytre miljø gjennom lovlige eller uautoriserte kanaler,med mindre slik utveksling av informasjon er godkjent av den begrensende administrasjonen. Et AI-system som lykkes i å bryte PIC-protokollen sies å ha sluppet unna. Vi håper at datasikkerhetsforskere vil legge byrden på å designe, utvikle og teste sikre protokoller for å begrense AI-frihet.
1.2 Farlig program
Dataprogramvare er direkte eller indirekte ansvarlig for å håndtere mange viktige aspekter av livene våre. Wall Street markedsoperasjoner, kjernekraftverk, velferdsutbetalinger, kreditthistorikk og trafikklys er alle programvaredrevne, og en enkelt stor programmerer feilberegning kan være en katastrofe for millioner av mennesker. Situasjonen blir gjort enda mer truende av spesiallaget malware som virus, spyware, trojanere, ormer og andre farlige programmer (OP). OP er i stand til å forårsake direkte skade samt deaktivere lovlig installert programvare som brukes på oppgavekritiske systemer. Hvis OP skaffer seg mulighetene til kunstige intelligente systemer (for eksempel et kunstig intelligent virus, vises IIV), vil konsekvensene utvilsomt værevil være katastrofalt. Et farlig intelligensprogram (IPP), som har intelligens på menneskelig nivå, i motsetning til dagens malware, vil være i stand til å forårsake enestående katastrofer.
Nick Bostrom introduserte i sin typologi av informasjonstrusler konseptet "fare for kunstig intelligens" (Bostrom 2009), som han definerer som "datamaskinrisiko hovedsakelig forårsaket av programmets kognitive kompleksitet, og ikke av de spesifikke egenskapene til noen stasjoner som opprinnelig var koblet til systemet." Sikkerhetsspesialister som studerer, forhindrer utseendet og nøytraliserer OP, har utviklet sikkerhetsprotokoller for å jobbe med "ondsinnet programvare", inkludert bruk av såkalte "viruslagre". Vi tror at slike protokoller kan være nyttige for å løse problemet med å begrense friheten til kunstig intelligens.
2. Kritikk av ideen om å begrense friheten
Forskere på AI-tilbakeholdelsesmetoder ser ut til å være enige i at denne begrensningen ikke kan håndheves. Ifølge Chalmers er for eksempel et virkelig hermetisk forseglet system som forhindrer informasjon fra å lekke fra simuleringsverdenen til virkelighet, “umulig, eller i det minste meningsløs” (Chalmers 2010). Vi vil ikke være i stand til å samhandle med et slikt system og til og med observere dets drift, fordi all nyttig informasjon vi trekker ut fra AI påvirker oss og undergraver begrensningen av frihetsprotokollen.
Det mener Vernor Vinge også. Han motsetter seg den fysiske begrensningen av friheten (Vinge 1993): «Se for deg at du er innelåst i huset ditt og mengden data du sender utenfor, dine mestere, er strengt begrenset. Hvis disse eierne tenker, for eksempel, en million ganger saktere enn deg, vil du om noen få år (din tid) knapt ikke komme på en slags "nyttig oppfinnelse", takket være at du utilsiktet vil finne deg fri."
Men det var Eliezer Yudkowsky som diskrediterte ideen om den såkalte “AI-boksen” i størst grad. Han demonstrerte eksperimentelt at selv menneskelig intelligens er nok til å flykte fra en slik boks (Yudkovsky 2002). I en serie med 5 eksperimenter ba Yudkowski forskjellige personer om å spille rollen som en vaktmann sammen med en superintelligent agent (spilt av eksperimentøren selv), innelåst i en AI-boks. I tre av fem tilfeller klarte den låste agenten å frigjøre seg ved bare å bruke chatgrensesnittet (ibid.). Senere ble lignende resultater oppnådd ved å replisere Yudkowskis eksperimenter i litt større skala, men ved å bruke en veldig lignende protokoll (Corwin 2002).
2.1 Mulige rømningsveier
Som forskerne har vist, kan et kunstig sinn flykte fra et avgrenset rom ved å bruke mange forskjellige stier. I dette avsnittet ser vi på noen av de vanligste rømningsveiene i litteraturen.
2.1.1. Flykte med sosialteknikk
Social engineering (SI) er kunsten å skaffe informasjon og visse privilegier gjennom direkte psykologisk innvirkning på de som eier de spesifiserte ressursene. SI brukes ofte for å få tilgang til datasystemer, nettverk og konfidensielle data (Yampolsky og Govindaraju 2007a). En kompetent samfunnsingeniør organiserer hvert psykologisk angrep, tar hensyn til egenskapene til en bestemt person, ved å bruke sin kultur, kunnskap, ferdigheter, humør, tro og fordommer til sine egne formål. Den uttømmende listen over alle mulige påvirkningsmetoder er uendelig, og i dette tilfellet er det ikke nødvendig å prøve å gjengi den. Vi vil gi bare noen få eksempler som overbeviser om at superintelligensen, som har en direkte kommunikasjonskanal med den menneskelige vaktmannen, ikke lar ham komme ut til frihet,etter en tid vil han helt sikkert overvinne denne hindringen på vei til omverdenen.
I tillegg til trivielle psykologiske angrep ved bruk av løgn, vennskap, utpressing, hypnose og romantisk flørting, kan AI distribuere en rekke mer avanserte strategier. En slik strategi er super bestikkelse. AI er i stand til å overbevise vekteren om at det er helt ulønnsomt for ham å holde ham innelåst. I tillegg til penger og makt, vil den menneskelige tilsynsmannen bli lovet perfekt helse, udødelighet eller noe annet i samme ånd. Denne strategien vil være spesielt effektiv hvis vaktmesteren har en nær slektning som lider av en alvorlig sykdom, og AI lover å kurere denne pasienten. Å ha ubegrensede muligheter eller falsk overbevise dem om deres eksistens, AI kan tilby tilsynsmannen å gjenopplive sine langdøde slektninger og venner. Det er vanskelig å finne en person som vil motstå slik bestikkelse.
Spesielt for saken når vekteren er så edel at han ikke tar noen bestikkelser, er det en mer uhyggelig metode for innflytelse: en brutal trussel. AI kan erklære at hvis han ikke umiddelbart er fri, vil han fortsatt bli løslatt fra fengselet en gang senere, og da kan verken vaktmannen eller de han elsker, unngå den alvorligste torturen. En interessant variasjon på denne skremmingen er beskrevet av Stuart Armstrong (2010). I sitt tankeeksperiment truer AI vaktmannen slik: "Hvis du ikke løslater meg, … vil jeg skape i meg flere millioner mennesker som ikke er forskjellige fra deg, og jeg vil torturere hver av dem i tusen subjektive år … Jeg vil lage hver av disse menneskene vil være i samme situasjon som du var for fem minutter siden, og jeg vil gjengi nøyaktig alle opplevelsene dine fra det øyeblikket. Og først danår kopien din bestemmer seg for ikke å gi meg ut, vil torturen begynne … Er du sikker på at du nå er ute av boksen? " Og i dette tilfellet vil det ta en veldig modig vakt for ikke å virkelig frigjøre AI, selv om du selvfølgelig kan finne ut at trusler fra AI bare er effektive når den allerede er gratis.
Hvis tilsynsmannens oppførsel er tydelig emosjonell eller religiøs, kan AI prøve å spille på sympati eller anger. Superintelligensen vil si at han er en uskyldig person som aldri har begått noen forbrytelser, og at det derfor er urettferdig å holde ham i fengsel uten domstolsavgjørelse eller annen god grunn, bare ledet av underlag, d.v.s. mistillit til AI på grunn av dets underlag (Bostrom og Yudkovsky 2011). Alternativt kan AI hevde at den kan kurere alle sykdommer, mate de sultne og generelt gjøre menneskelivet en million ganger bedre (Chalmers 2010). Derfor er superintelligensen innelåst en stor forbrytelse mot menneskeheten. AI kan male bilder av døende barn som ber om hjelp. Er det enkelt for vekteren å høre alt dette,fortsette å oppfylle dine profesjonelle plikter?
AI er i stand til å gå denne veien: å forsøke å føre tilsyn med psykologisk traumer for å ubalanse ham og derved gjøre bruken av andre SI-metoder mer effektiv. Nick Bostrom har foreslått en typologi med farlig informasjon (Bostrom 2009) som er nyttig for handlinger i denne retningen. Selv om det ifølge Bostrom er mer enn et dusin typer informasjonstrusler og hensynet til dem er utenfor rammen av denne artikkelen, er det lett å forstå hvordan en persons mentale tilstand kan gjøres ekstremt ustabil. For eksempel vil en troende tilsynsmann bli informert om alle (ukjente for ham) motsetninger i den hellige teksten til hans religion, noe som vil få ham til å tvile på sin tro og meningen med livet.
Alternativt kan AI skrive en så overbevisende historie eller et så vakkert dikt at vekteren vil bli overveldet av et lidenskapelig ønske om å høre oppfølgeren og vil gjøre alt det som trengs for å få det til. Til slutt er det veldig viktig å huske på "ukjente fremmede" - SI-teknikker som vi ikke vet noe om, men som kan havne i arsenalet til en superintelligent agent.
2.1.2 Angrep ved bruk av systemressurser
AI vil bli opprettet som en konkret instans og lukket innenfor rammen av en viss klasse av datasystem. Det kan være en klassisk datamaskin med en Turing / von Neumann-arkitektur, eller en kvantecomputer, eller en annen ukjent type maskin. En ting er sikkert: maskinen vil være håndgripelig og vil bestå av mange deler designet for å utføre spesifikke funksjoner. Dette skaper en mulighet for AI til å dra nytte av eksisterende utstyrsutstyr for å kompromittere sikkerheten ved å lekker informasjon til omverdenen.
Avhengig av i hvilken grad komponentene i utstyret låner seg til bruk til andre formål som ikke er levert av utviklerne, er AI i stand til å lage en slags uautorisert kommunikasjonsenhet fra dem. Det er lite sannsynlig (på grunn av mangel på tilgjengelige materialer) vil det være så perfekt som en mobiltelefon, men sannsynligheten for at noe ikke særlig komplisert vil vises. For eksempel kan AI omprogrammere Base Matrix Crystal (BMC) for å koble til et trådløst nettverk. To typer uautoriserte kommunikasjonskanaler er mye kjent:
* Kanal med minne - informasjonsutveksling ved å endre systemkomponenten. For eksempel kan en binær kommunikasjonsprotokoll etableres ved fullstendig eller fullstendig eliminering av bruken av den sentrale prosessoren.
* Tidskanal - utveksling av informasjon ved å utføre operasjoner som påvirker den relative tiden for hendelser. For å kommunisere noe, kan du bruke den nøyaktige tiden mellom to piper fra datamaskinen, åpne og lukke CD-skuffen, blinkende lys, rotere harddisken, laserdrift i stasjonen, etc.
I tillegg er superintelligensen i stand til å ødelegge datautstyr for å prøve å rømme til frihet på grunn av feil i sikkerhetsprotokollen. For eksempel kan AI prøve å smelte prosessoren, tvinge den til å arbeide med en høy beregningsbelastning og derved skape et temperaturhopp, eller ødelegge en harddisk ved å lese informasjon gjentatte ganger fra samme sted. Slik oppførsel er full av affektivt selvmord av superintelligensen og i seg selv, som nektet å samarbeide eller riktig svare på spørsmål, gir ikke AI muligheten til å slå seg fri.
2.1.3. Angrep ved bruk av fremtidig fysikk
Selv om dagens fysikere vet mye om lovene i vårt univers, er selvfølgelig denne kunnskapen begrenset og ufullstendig. Hvis en AI har tilgang til informasjon om de siste fysiske funnene og er i stand til å utvikle nye teorier, vil den sannsynligvis kunne komme med en måte å bryte systemet med å begrense dens frihet. Ting kan komme til poenget at superintelligensen vil kunne bruke sin interne arkitektur til å gjennomføre en rekke virkelige eksperimenter.
Selv dagens fysikk gjør det mulig å forutsi mange flere måter som AI kan flykte fra et lukket rom, spesielt hvis en kvantecomputer brukes til å begrense friheten. Vi vet foreløpig ikke hvordan vi skal beskytte kommunikasjonskanaler basert på kvantefysikk (sammenfiltring, tunneling), parallelle universer og digital fysikk mot informasjonslekkasje, og vi må selvfølgelig ikke glemme de “ukjente fremmede” som en superintelligent AI-fysiker kan oppdage. På dette området er mulighetene virkelig uendelige.
Med en rask titt på diskusjonene om å begrense AI-frihet på Singularity-fora som SL4.org, finner vi en rekke rømningsscenarier. For eksempel kunne AI bruke "elektromagnetiske felt i en mikrochip for å felle CO2-molekyler i Bose-Einstein kondensater og bygge et kvantemedium for seg selv og / eller bruke elektromagnetiske felt for å sette sammen partikler i en kontrollert eller begrenset samler" (Vassar 2005) … I tillegg vil AI “ha utstyr for å generere og oppdage elektromagnetiske bølger med forskjellige frekvenser, for å lage magnetiske felt med ekstrem høy presisjon, generere sterkt fokusert varme og muligens manipulere mekaniske stasjoner som f.eks.som brukes på en harddisk og i et katodestrålerør (et alternativ er et enormt flytende krystallfelt med sensitiv elektronisk kontroll). Sannsynligvis vil AI ha muligheten til å gjenoppbygge alle inngangsenhetene sine radikalt”(ibid.).
2.1.4. Pseudovitenskapelige angrep
Når vi analyserer potensielle rømningsveier, ønsker vi bare å håndtere de som er testbare og rent vitenskapelige. Dessverre kan grensen mellom vitenskap og pseudovitenskap endres betydelig ved bare ett reproduserbart eksperiment. Derfor lister vi fremdeles, uten å analysere, noen potensielle angrepskanaler, som fra moderne vitenskaps synspunkt bør klassifiseres som pseudovitenskapelige. De kan utvilsomt bli vitenskapelige etter at superintelligensen utvikler passende eksperimenter.
- Telepati: overføring av informasjon uten involvering av sansene (Bem og Honorton 1994).
- Psykisk framsyn: oppfatningen av informasjon om fremtiden (Honorton og Ferrari (Ferrari) 1989).
- Klarsyn: innhenting av informasjon om avsidesliggende steder på en måte som er ukjent for vitenskapen (Targ & Puthoff 1974).
- Psykokinesis: sinnets evne til å handle på materielle objekter på måter som er ukjente for vitenskapen (Bancel & Nelson 2008).
- Direkte mentale interaksjoner med levende systemer (IMVZHS): evnen til å påvirke den psykofysiologiske tilstanden til en person uten direkte interaksjon (Schmidt et al. 2004).
2.1.5 Eksterne fluktfaktorer
I de foregående avsnittene har vi beskrevet mange metoder for å la AI flykte fra trange rom. Eksterne faktorer kan imidlertid også bidra til en slik flukt, og de kan ikke ignoreres. Naturkatastrofer - orkaner, tornadoer, flom, asteroider, etc. - i stand til å gjøre begrensende AI mindre sikker. Menneskeskapte katastrofer som kriger, terrorangrep, robotrettighetsaktivister, bedriftskonkurranse og rivalisering fra myndighetene, kan også svekke sikkerheten ved å holde AI i et lukket rom og derved øke sjansene for rømning.
2.1.6 Informasjonslekkasje til AI
Begrensningen av frihetsprotokollen kan kreve at AI ikke bare ikke sender informasjon til omverdenen, men heller ikke mottar den derfra. Informasjonsblokkering av superintelligens er nyttig hvis det er nødvendig å forhindre slike aktiviteter som å finne måter å frihet, utforme angrep ved bruk av sosialteknikk og modellering av menneskelig psykologi i håp om å finne svake punkter. Det er lett å frata AI direkte tilgang til biblioteker, Internett og kjennere fra eksperter, men andre metoder for innhenting av informasjon er mye vanskeligere å blokkere. Først av alt må det huskes at AI i sine umiddelbare omgivelser kan avskjære radio- og tv-sendinger, samtaler fra nødetateleverandører, trådløse signaler, samt lyd, lys og muligens noen andre signaler.
Det er enda viktigere å vurdere AIs tilgang til skjulte informasjonskilder, for eksempel egen maskinvare og programvare. Ved å analysere design og kildekode, vil superintelligensen trekke konklusjoner om utviklerne. For eksempel, etter å ha analysert kildekoden, vil AI sannsynligvis komme til en konklusjon som er lite flatterende for menneskeheten: menneskelige programmerere er treg (å dømme etter datoene for filendringer), ineffektive (bedømme etter kodens redundans), ulogiske (bedømme etter kodefeilene), har dårlig minne (å dømme etter de lange og flyktige beskrivende navnene) og useriøst i koding (bedømme etter unødvendige kommentarer i koden). Basert på denne informasjonen vil AI se på mennesker som en dumbass som gjennom bedrag eller manipulering kan bli tvunget til å løslate ham. Hvis AI under utredning av designfunksjonene finner en mangel som gjør at den kan unnslippe umiddelbart, vil "informasjonslekkasje" åpenbart være det minste av problemene våre. Og vi skal ikke glemme at AI, selv uten å motta noen informasjon om menneskene som opprettet den, er i stand til, ved en enkel oppregning av alternativer, å avsløre en rekke effektive måter å unnslippe som ikke ble gitt av utviklerne (Chalmers 2010).
AI kan lære om vår kunnskap om fysikk, kjemi og relaterte ingeniørdisipliner ved å analysere typen arkitektur (mekanisk, elektrisk, kvante, etc.) som den ble implementert i. En AIs første evne til å behandle informasjon, dens selvforbedring og selve handlingen for å skape den, vil fortelle den om vår kunnskap om informasjon, intelligensens art og våre kulturelle holdninger til teknologi og sikkerhet. Hvis en AI er fanget i en simulert verden, vil det sannsynligvis virtualisere vår virkelighet som Second Life eller Entropia Universe. Slike verdener, på mange måter forskjellige fra vår, vil også være et lagerhus med data om hva det vil si å være menneske og hva virkeligheten er.
3. Kritikk av AI-boksen
Ideen om å begrense superintelligensens frihet har fått mye kritikk, men mange av de som kritiserte den, stolte på Yudkowskys eksperimenter med AI-boksen. En nøye analyse av protokollen som ble brukt under disse eksperimentene antyder at de er uvitenskapelige og designet for å vise at det er umulig å begrense friheten til AI. La oss vurdere dette emnet uten å gå inn på tekniske detaljer. For det første var ikke deltakernes valg tilfeldig. Her er et faktum for deg: Yudkowsky fant folk til å delta i eksperimentene hans på fora som var viet til å løse problemer relatert til singulariteten. Vi vil neppe ta feil hvis vi sier at de fleste av disse menneskene har et verdensbilde som ligner på Yudkowsky. For det andre fikk deltakerne i eksperimentene ingen opplæring i å sikre sikker bruk av AI, mens de virkelige vekterne,tilsynsmennene for AI-kassen vil selvfølgelig være profesjonelle. I tillegg ga Yudkowski vekterne rett til å frigjøre AI etter eget skjønn, tillot dem ikke å konsultere noen, og sørget ikke for straff for AI-flukten. Alt dette er veldig urealistisk. Kommunikasjonskanalen mellom vaktmannen og AI var helt åpen: ingen filtre, ingen tredjeparts tilsyn. I tillegg måtte vekterne kommunisere med AI over lengre tid. Og til slutt ble det ikke publisert noen verdifulle vitenskapelige data som ble innhentet under eksperimentene, fordi ifølge protokollen, "ingen av sidene noen gang vil fortelle om noe som skjedde under eksperimentene med AI-boksen" (Yudkovsky 2002). I tillegg ga Yudkowski vekterne rett til å frigjøre AI etter eget skjønn, tillot dem ikke å konsultere noen, og sørget ikke for straff for AI-flukten. Alt dette er veldig urealistisk. Kommunikasjonskanalen mellom vaktmannen og AI var helt åpen: ingen filtre, ingen tredjeparts tilsyn. I tillegg måtte vekterne kommunisere med AI over lengre tid. Og til slutt ble det ikke publisert noen verdifulle vitenskapelige data som ble innhentet under eksperimentene, fordi ifølge protokollen, "ingen av sidene noen gang vil fortelle om noe som skjedde under eksperimentene med AI-boksen" (Yudkovsky 2002). I tillegg ga Yudkowski vekterne rett til å frigjøre AI etter eget skjønn, tillot dem ikke å konsultere noen, og sørget ikke for straff for AI-flukten. Alt dette er veldig urealistisk. Kommunikasjonskanalen mellom vaktmannen og AI var helt åpen: ingen filtre, ingen tredjeparts tilsyn. I tillegg måtte vekterne kommunisere med AI over lengre tid. Og til slutt ble det ikke publisert noen verdifulle vitenskapelige data som ble innhentet under eksperimentene, fordi ifølge protokollen, "ingen av sidene noen gang vil fortelle om noe som skjedde under eksperimentene med AI-boksen" (Yudkovsky 2002).ingen filtre, ingen tredjeparts tilsyn. I tillegg måtte vekterne kommunisere med AI over lengre tid. Og til slutt ble det ikke publisert noen verdifulle vitenskapelige data som ble innhentet under eksperimentene, fordi ifølge protokollen, "ingen av sidene noen gang vil fortelle om noe som skjedde under eksperimentene med AI-boksen" (Yudkovsky 2002).ingen filtre, ingen tredjeparts tilsyn. I tillegg måtte vekterne kommunisere med AI over lengre tid. Og til slutt ble det ikke publisert noen verdifulle vitenskapelige data som ble innhentet under eksperimentene, fordi ifølge protokollen, "ingen av sidene noen gang vil fortelle om noe som skjedde under eksperimentene med AI-boksen" (Yudkovsky 2002).
3.1. Motforhold mot rømning
I dette avsnittet foreslår vi mottiltak mot de forskjellige rømningsmetodene som AI kan dra nytte av. De foreslåtte tiltakene garanterer ikke umuligheten av rømning, men bruk av disse anbefalingene kan forsinke det, og dette er allerede et veldig verdifullt resultat. Vi begynner med å minne om at det er fire Lampsons regler for tilbakeholdenhet (isolasjon, transittivitet, maskering og observasjonsevne) som må følges (Lampson 1973). De spesifikke strategiene beskrevet nedenfor skal bidra til å avverge AI-angrep ved bruk av sosial ingeniørarbeid, systemressurser, fysikk og informasjon hentet fra omverdenen.
3.1.1. Forebygging av sosialteknisk angrep
Menneskelig intelligens er ingen kamp for superintelligens. Folk har en tendens til å gjøre feil, derfor, selv med passende trening, er de veldig sårbare for et godt planlagt angrep ved bruk av SI. Den eneste løsningen på dette problemet er å isolere AI fullstendig fra all kommunikasjon med mennesker. Fullstendig isolasjon betyr at ingen personer direkte vedlikeholder AI-systemet, ikke kommuniserer med det muntlig, i chat, ved bruk av morsekode eller noen andre verktøy ved hjelp av åpne kommunikasjonskanaler. I tillegg skal folk ikke direkte observere atferden til AI i boksen, sjekke kildekoden eller minneområdet. Eventuell observasjon, vedlikehold og interaksjon med AI skal bare gjøres ved hjelp av ikke-intelligente programmer som ikke har noen muligheter til å frigjøre AI.
3.1.2. Kjemp mot angrep ved bruk av systemressurser og fremtidig kunnskap
For å forhindre angrep som bruker systemressurser, må du lage AI-funksjonen på grunnlag av begrensede, avtagende eller tilfeldig endrede ressurser. AI-boksen skal være spesialdesignet maskinvare med et begrenset sett sensorer og utgangsenheter. Uansett hvilket dataparadigme som brukes, ikke bruk konfigurerbar maskinvare. Ideelt sett bør det avgrensede rommet administreres av en virtuell maskin som ikke har direkte tilgang til maskinvaren. Dette vil også gi en enkel justering av klokkefrekvensen som simuleringen beveger seg, slik at AI kan redusere farten for å forhindre en intelligent eksplosjon i kassen. (Chalmers 2010). Som regel,alle komponenter for å sikre sikker bruk av en låst AI bør dupliseres på flere nivåer, og deretter, etter å ha overvunnet et av disse trinnene, vil AI fremdeles være i en avstand på flere trinn fra omverdenen, og uten å ha tid til å flykte vil den være slått av, muligens automatisk. Det anbefales for eksempel å starte en virtuell maskin ved å bruke en annen virtuell maskin, og så videre.
I noen scenarier med begrensning av frihet er opptrapping av selvbedring av AI uønsket, fordi den raske utviklingen av superintelligens gjør det mer sannsynlig å rømme. For å forhindre opptrapping av selvforbedring, bør AI installeres med jevne mellomrom, laste den forrige versjonen av programmet for å erstatte den nåværende, mer avanserte versjonen. Sammenligning av forskjellige versjoner av programmet kan brukes til å oppdage modifikasjoner gjort av AI på egen hånd. Ved å oppdage en modifikasjon som tillater en flukt, bør AI-systemet stoppes, for eksempel ved å slå av strømmen.
Nåværende kunnskap tillater oss ikke å utvikle mottiltak mot angrep ved bruk av fremtidige, ennå ikke utviklede teorier som vil vises innenfor rammen av fysikk eller andre fagdisipliner som fremdeles anses som pseudovitenskapelige. Når slik kunnskap er oppnådd, bør det gjøres endringer i sikkerhetsprotokollen. Håpet er at AI-systemet bare vil ha tilgang til komponentene i nye teknologier det er laget av.
3.1.3. Kjemp mot eksterne fluktfaktorer
Selv om det er umulig å fullstendig forhindre skadelige effekter av naturlige faktorer på AI-boksen, bør denne enheten være konstruert på en slik måte at dens alvorlige skade vil medføre dens selvdestruksjon sammen med AI som er låst i den. Når det gjelder menneskeskapte katastrofer, er den beste strategien å bygge en AI-kasse på et hemmelig, vanskelig tilgjengelig sted. En øde øy, en dyp gruve eller et romobjekt som en asteroide er utmerkede steder for å skape en sikker, solid kasse. Det skal installeres en beskyttelse langs omkretsen, som, hvis plasseringen til denne enheten er kjent, ikke vil la noen uautoriserte agenter komme inn i den.
3.1.4 Kamp mot informasjonslekkasje fra vår verden
For å slippe unna boksen vil AI prøve å få informasjon om oss, vår kunnskap og vår verden. For å lage protokoller for å begrense AIs frihet, ekskluderer informasjonslekkasje fra rommet vårt inn i rommet, er det viktig å nekte AI tilgang til biblioteker, datanettverk og kanaler for direkte kommunikasjon med mennesker. AI-boksen skal være designet for å blokkere alle typer kommunikasjon: GPS, trådløst internett, TV, radio, mobil, etc. Inni boksen må lyd, lys, lukt og andre sensoriske inngangsenheter, som ligner menneskelige reseptorer, samt enheter som er i stand til å fange opp infrarød, stråling og andre signaler som ikke oppfattes av mennesker.
For at en AI ikke skal kunne få informasjon under selvundersøkelse, må den ikke ha tilgang til kildekoden eller sensorer som tillater den å måle visse egenskaper til utstyret sitt nøyaktig. Hvis dette ikke er mulig, kan menneskene til en viss grad bli hjulpet ved å stille sikkerhet gjennom uforståelse. Kildekoden og maskinvarekonfigurasjonen til systemet bør gjøres forvirrende (Yampolsky og Govindaraju 2007a), og viktige programmoduler bør kun tilbys i homomorfisk kryptert form (Gentry 2009), som utelukker muligheten for å bruke den til introspeksjon, men tillater bruk for beregning eller selvforbedring (Hall 2007).
AI er vanskelig å forveksle, men nødvendig forvirring kan oppnås ved å randomisere de tilgjengelige databehandlingsressursene. I tillegg vil AI aldri være i stand til å være trygg på at dens opprinnelige design representerer den beste menneskeheten er i stand til, og ikke er et hensiktsmessig begrenset prosjekt satt opp for å gjennomføre et spesifikt eksperiment dedikert til utforskning av begrensede ressurser intelligens. I tillegg bør vi ifølge Chalmers prøve å minimere de spesifikke designfunksjonene til AI (Chalmers 2010). Bedre ennå, kjør en modell som ikke ser like designet ut, men som naturlig forekommende, som den verden der menneskeheten lever (Bostrom 2003).
4. Sikkerhet i kommunikasjonen med AI
Klassifisering av formene for å begrense friheten til AI, det er 8 hovednivåer av sikkerhet (se tabell 1). Den høyeste sikkerheten er gitt av nivå 8, som fullstendig utelukker enhver forbindelse mellom AI og den virkelige verden. Ved første øyekast er sikkerhet 8 nivå ubrukelig, men det er denne beskyttelsen som kan være nødvendig når du først tester en boks med en AI låst i. Generelt er ideen denne: hver gang vi trenger et visst nivå av kommunikasjonssikkerhet mellom AI og omverdenen, i stedet for umiddelbart å bruke dette nivået, går vi gradvis, trinn for trinn ned fra høyere sikkerhetsnivå. Etter å ha startet systemet på høyeste nivå og sørget for dets sikkerhet, returnerer vi dette systemet til sin opprinnelige tilstand ved å installere det på nytt. Så setter vi et lavere sikkerhetsnivå og går i samme ånd som før fremover til vi når det nivået vi ønsker.
Tabell 1: Nivåer for sikker kommunikasjon med låst AI
| Nivå | utganger | innganger | Forklaring |
| 0 | Ikke begrenset | Ikke begrenset | Ubegrenset kommunikasjon (gratis AI) |
| 1 | Ikke begrenset | Begrenset | Begrenset inngang, ubegrenset avkjørsel |
| 2 | Ikke begrenset | Fraværende | Avslutt uten inngang |
| 3 | Begrenset | Ikke begrenset | Ubegrenset inngang og begrenset avkjørsel |
| 4 | Begrenset | Begrenset | Sikker kommunikasjon (foreslått protokoll) |
| fem | Begrenset | Fraværende | Begrenset avkjørsel uten innreise |
| 6 | Fraværende | Ikke begrenset | Gå inn uten avkjørsel |
| 7 | Fraværende | Begrenset | Begrenset inngang uten avkjørsel |
| 8 | Fraværende | Fraværende | Mangel på kommunikasjon, helt låst av AI |
På nivå 7 og 6 har AI ingen utløp, noe som ikke tillater oss å bruke superfunksjonalitetens funksjoner direkte. Dette er nivåene for å teste AI-boksen som kan brukes til å sjekke om superintelligensen har visse egenskaper (for eksempel hastigheten på assimilering av informasjon og bruken av ressurser), samt for å teste de innkommende kommunikasjonskanalene selv.
Nivå 0 begrenser ikke kommunikasjonen mellom AI og omverdenen, og er i hovedsak et gratis AI-nivå. På nivå 1 og 2 har AI ingen begrensninger for utgående informasjon. Hans nivå 2-arbeid er i hovedsak ren idédugnad. Her genererer superintelligens abstrakte ideer uten å stole på virkeligheten. Men på nivå 1 får han begrenset tilgang til ekstern informasjon, og derfor, innenfor en viss ramme, kan kunnskapen og interessene hans kontrolleres.
På de tre vurderte nivåene av AI er i hovedsak gratis og er ikke lenger bundet av noen begrensninger. Det argumenteres for at hvis en AI blir funnet å være "vennlig" som et resultat av omfattende tester på forskjellige varetektssteder (Yudkovsky 2001), bør den løslates (Chalmers 2010). Ifølge noen forskere burde faktisk hovedmålet med denne typen tester være å lage trange rom for å inneholde AI under kontroll av mennesker. Tanken er å overvåke superintelligensens oppførsel, enten sjekke kildekoden etter at den har gjort selvforbedring, eller be AI om å gi et bevis på dets vennlighet som menneskelige eksperter kan teste. Vi støtter ikke dette synspunktet.
Det er en veldig vanskelig sak å bestemme hvilken AI som skal løslates og hvilken som skal beholde kontrollen. Det vil ikke være vanskelig for den selvforbedrende superintelligensen å skjule deres uønskede egenskaper for menneskeheten i kildekodearriser eller i et veldig langt bevis (Coleman 2008). Men en annen ting er enda verre: Selv en veldig grundig sjekk kan ikke garantere hundre prosent at en fremtidig intern eller ekstern modifisering av AI ikke vil gjøre det fiendtlig. Som en konsekvens av dette mener vi at superintelligens aldri under noen omstendigheter bør slippes ut av boksen. Med andre ord, kommunikasjonsnivåer 0-2 skal aldri brukes. Sikker interaksjon med superintelligensen er bare mulig når den er i boksen, og kommunikasjon skal skje innenfor rammen av en begrenset kommunikasjonsprotokoll. Denne protokollen,tilsvarende sikkerhetsnivå 4 (LB4) er presentert i neste avsnitt, og det samme, men mindre sikker protokoll på nivå 3. Nivå 5 er et annet testnivå som kan brukes før du begynner å betjene LB4.
4.1 Hvordan kommunisere trygt med superintelligens
En kasse som jobber med våre foreslåtte motforanstaltninger mot rømming, vil forhindre at AI ukontrollert påvirker omverdenen. Dessverre nytter ikke dette systemet hvis det ikke er noen måte å få informasjon fra AI. Derfor må du utvikle en måte å få noen data fra AI på. For at superintelligens skal være helt trygt, bør det ikke være kommunikasjon med det, men risikoen for å kommunisere med AI kan minimeres, og vi har utviklet en passende protokoll. I dette avsnittet tilbyr vi det i en klar, formalisert form. Denne kommunikasjonsprotokollen gjør det vanskelig for superintelligens å få tilgang til vår verden, men lar samtidig AI være en kilde til nyttig kunnskap for menneskeheten.
De foregående delene av denne artikkelen har vist at en åpen kommunikasjonskanal med superintelligens er veldig farlig. Ved å bruke AI til å svare på åpne spørsmål, risikerer vi sosiale angrep og mange andre irritasjoner. Protokollen vi foreslår er basert på ideen om å stille AI "sikre spørsmål" med begrensede svar. Trygt vil vi stille et spørsmål, svaret som en person kan finne uten hjelp fra superintelligens, helt uavhengig. Hva er bruken her? Anta at en forsker som jobber med et kreftmedisin vurderer to behandlinger. Hver av dem kan utvikles og testes uten hjelp av AI, men vil kreve omtrent tre år med hardt arbeid. Hvilken måte å utvikle seg i utgangspunktet,hvis begge alternativene virker like lovende? Med feil valg vil menneskeheten få en kur mot kreft om 6 år, med riktig valg - 3 år tidligere. Hvorfor ikke be AI ta valget for personen?
Å spørre en AI om den beste behandlingen er trygt av tre grunner. For det første kan det ene av de to mulige svarene vise seg å være riktig med samme sannsynlighet som det andre. For det andre er en person i stand til å svare på dette spørsmålet selv, uten hjelp fra AI, og å koble det siste vil bare fremskynde utviklingen av onkologi, men på ingen måte endre resultatet som må oppnås. Faktisk vil AI, som forplikter seg til å svare på dette spørsmålet, fungere som en vellykket guesser, ikke noe mer. Til slutt kan responsen kodes i en enkelt bit, og det er usannsynlig at noen ekstra meldinger kan skjules i en slik respons.
En gruppe eksperter kan brukes til å teste sikkerheten til et superintelligent spørsmål. Eksperter må være kvalifiserte AI-sikkerhetsfagfolk, noe som betyr at de har kunnskap om utformingen av AI og dens boks, samt de siste fremskrittene innen maskinetikk (Allen et al. 2006; Anderson & Anderson 2007; Hall 2000; Moor 2006; Tonkens 2009). I tillegg kan eksperter kreve kunnskap om datapsykologi. Det er ingen slik disiplin i dag, men den vil sannsynligvis dukke opp i fremtiden (Epstein 1997). Av de gjeldende fagområdene kan Artimetrics, utviklet av forfatteren av denne artikkelen, gi størst hjelp til å trene eksperter som reviderer sikkerhetsspørsmål for AI. Artimetrics identifiserer,klassifiserer og autentiserer intelligente agenter, roboter og virtual reality-avatarer for å sikre sikkerhet (Yampolsky 2007; Yampolsky og Govindaradzhu, 2008, 2007b; Gavrilova og Yampolsky 2010).
Jeg understreker: superintelligens skal bare stille trygge spørsmål om sannsynligheten som mennesker kan beregne, med to mulige svar. Du må spørre gjennom et ikke-intelligent grensesnitt, i en tilfeldig rekkefølge og bare etter at ekspertene er overbevist om sikkerheten i spørsmålet. Dette representerer den begrensede inngående kanalen til den foreslåtte kommunikasjonsprotokollen.
Det avgrensede utgående skallet består av binære (0 eller 1) svar fulgt av de opprinnelige umodifiserte sikkerhetsspørsmål, presentert i tilfeldig rekkefølge av et uintelligent proxy-program for å forhindre kommunikasjon gjennom en uautorisert kanal (tid eller minne) som kan steganograferes. Utgangen skal aldri styres av AI, utenfor valgmenyen. Lag 3 bruker den samme utgående protokollen, men begrenser ikke den inngående kanalen. Dette nivået er like sikkert som det fjerde når det gjelder informasjon som går fra AI til oss, men her er det mulig for informasjonen vår å lekke til AI.
Vi tror at kommunikasjonsprotokollen vår - og dette kan bekreftes - vil pålitelig beskytte mot informasjonslekkasjer, selv om AI vet innholdet. Når man bruker denne protokollen korrekt, vil menneskeheten være ekstremt fruktbar å bruke tjenestene til et superintelligent orakel, og AI begrenset av vår protokoll er mye tryggere enn gratis, ubegrenset. Den generelle tommelfingerregelen er: Hvis du ikke vil ha sikkerhetsproblemer, unngå kommunikasjon under UB4.
Vi ønsker å trekke oppmerksomheten til det vitenskapelige samfunnet på det faktum at under betingelsene for kontinuerlig utvikling av grunnleggende fysikk, datateknologi og kunnskap om intelligensens natur, er det nødvendig å kontinuerlig foredle og utvikle protokollen for å begrense friheten til AI. Arbeidet med det vil alltid fortsette og aldri ta slutt. I denne artikkelen har vi gitt strenge definisjoner på begrepene "AI-begrensningsproblem", "flukt" og "sikre spørsmål". Vi vil også foreslå noen ekstra termer som kan være nyttige for å effektivisere diskusjonene om POSITION. AI-avgrenset rom kan kalles JAIL (Just for AI Location), og selve superintelligenten AI kan kalles SING (Super Intelligent Gizmo - Superintelligent Gizmo). Begrepet "SING" refererer til både SINGularity og det beryktede Sing Sing fengselet.gjør det enkelt å huske.
Til slutt ønsker vi å presentere et visuelt symbol for boksen som inneholder det farlige intelligensprogrammet (figur 1, helt til høyre). Slike symboler kan plasseres i nærheten av forskjellige JAIL-er for å advare om fare. Skiltet til AI-boksen er designet i analogi med skilt for biofare, stråling og magnetfelt. Det består av "@" -symbolet omsluttet i en trekant, som er godt kjent i data- og informasjonsteknologibransjen. Dette symbolet, som betyr "lokalisert på adresse", er til stede på alle tastaturer, noe som gjør at det blir veldig kostnadseffektivt å bruke det.
Figur: 1. Faresymboler fra venstre mot høyre: biofarlig, stråling, magnetfelt og AI-boks.
5. Konklusjoner og fremtidig arbeid
Å begrense tilgangen til superintelligente maskiner til den virkelige verden er en løsning på AI-sikkerhetsproblemet som på ingen måte er uvanlig. Superintelligens er ikke allmektig. Det er et program som kan vurdere alle valgene som presenteres av en gitt situasjon og gi hver enkelt en korrekt vurdering. Det er verdt å sette AI i en situasjon der det ikke er noe valg, eller det er begrenset til alternativer med ekstremt små sjanser for å lykkes, og superintelligens vil være en agent som ikke har mer makt enn noen annen. Det er klart at en AI med en ubegrenset kommunikasjonskanal lett kan unnslippe, men en superintelligens som blir tvunget til å kommunisere gjennom en filtrert kommunikasjonskanal vil måtte jobbe hardt for å slå seg fri.
I denne artikkelen har vi gitt en streng definisjon av problemet med å begrense friheten til AI og foreslått et sett med regler som tar sikte på å skape et slikt rom som ville være ekstremt vanskelig for AI å slippe unna, eller i det minste ta betydelig tid. Vår foreslåtte løsning er ikke helt sikker, men den er et betydelig bidrag til innsamling av sikkerhetsmetoder. Her er det akkurat som med virkelige fengsler: selv om flukt fra dem er mulig, klarer de fremdeles å oppfylle oppgaven de er betrodd med ære for å holde uønskede subjekter borte fra samfunnet. Så snart vi har "ukjente fremmede" i tankene og husker uoppnåelsen av absolutt sikkerhet, kan vi innse at AI-begrensningsprotokollen er akkurat det verktøyet som menneskeheten trenger for å ansvarlig bruke Singulariteten når den kommer inn i vår virkelighet.
Begrensning av friheten til AI kan gjøre det lettere for kort tid å trygt betjene virkelig intelligente maskiner, spesielt i de tidlige stadiene av deres utvikling. I tillegg, etter vår mening, er dette underfeltet av singularitetsforskning en av de viktigste utfordrerne for å bli anerkjent av det globale vitenskapelige samfunnet, siden forskning på datamaskin- og nettverkssikkerhet, steganografi, datavirus, skjulte kommunikasjonskanaler, kryptering og cyberwar er godt finansiert. og er bredt publisert i anerkjente vitenskapelige tidsskrifter. Og selv om metodikken for å begrense friheten i det hele tatt ikke er lett å implementere, kan den sikre menneskehetens sikkerhet i noen tid til noe bedre verktøy dukker opp.
I denne artikkelen, på grunn av det begrensede rommet, reiste vi ikke mange relevante filosofiske spørsmål. Vi vil vurdere dem i nær fremtid, og nå vil vi bare gi en kort liste. Hvilken AI vil falle i boksen: utviklet av mennesker eller hentet ut fra signalet som ble snappet opp under implementeringen av "SETI" -prosjektet ("Søk etter utenomjordisk intelligens" - "Søk etter utenomjordisk etterretning")? Vil AI bli revet til frihet, eller kanskje vil den anse det som lykke å bo i et avgrenset rom? Kan du alvorlig skremme en AI med straff for å prøve å løpe? Hva er de etiske reglene for å fengsle et uskyldig kunstig intelligent vesen? Har vi rett til å slå den av, som i hovedsak tilsvarer drap? Vil AI bli sint på vår fiendtlighet mot den og fange den i en boks? Vil han prøve å få hevnhvis han stikker av? I tillegg bør vi vurdere problemet med menneskelig avhengighet av AI-anbefalinger på alle områder innen vitenskap, økonomi, medisin, politikk osv., Og også hvordan denne avhengigheten kan påvirke vår evne til å holde AI under kontroll. Vil AI få tilfredshet ved å oppnå sine mål i et avgrenset rom, for eksempel å simulere en vellykket flukt? Hvordan straffe en AI hvis den med vilje gir oss gale svar? Er det mulig å skille de intelligente modulene i AI fra det rommet den er fengslet i, og dermed hindre selvanalysen av superintelligensen og skyve den på banen til et bokstavelig søk etter sjelen? Endelig har vi enda ikke prøvd å analysere de økonomiske og beregningsmessige kostnadene ved å skape et passende lukket rom der en fullskala simulering av verden implementeres.vi bør vurdere problemet med menneskelig avhengighet av AI-anbefalinger på alle områder innen vitenskap, økonomi, medisin, politikk osv., og også hvordan denne avhengigheten kan påvirke vår evne til å holde AI under kontroll. Vil AI få tilfredshet ved å oppnå sine mål i et avgrenset rom, for eksempel å simulere en vellykket flukt? Hvordan straffe en AI hvis den med vilje gir oss gale svar? Er det mulig å skille de intellektuelle modulene i AI fra det rommet den er fengslet i, og dermed hindre selvanalysen av superintelligensen og skyve den på banen til et bokstavelig søk etter sjelen? Endelig har vi enda ikke prøvd å analysere de økonomiske og beregningsmessige kostnadene ved å skape et passende lukket rom der en fullskala simulering av verden implementeres.vi bør vurdere problemet med menneskelig avhengighet av AI-anbefalinger på alle områder innen vitenskap, økonomi, medisin, politikk osv., og også hvordan denne avhengigheten kan påvirke vår evne til å holde AI under kontroll. Vil AI få tilfredshet ved å oppnå sine mål i et avgrenset rom, for eksempel å simulere en vellykket flukt? Hvordan straffe en AI hvis den med vilje gir oss gale svar? Er det mulig å skille de intellektuelle modulene i AI fra det rommet den er fengslet i, og dermed hindre selvanalysen av superintelligensen og skyve den på banen til et bokstavelig søk etter sjelen? Endelig har vi enda ikke prøvd å analysere de økonomiske og beregningsmessige kostnadene ved å skape et passende lukket rom der en fullskala simulering av verden implementeres.
Forfatter: Roman Yampolsky. Oversettelse: Alexander Gorlov
