Utenfor vinduet er 2022. Du kjører en selvkjørende bil, som vanlig, gjennom byen. Bilen nærmer seg et stoppskilt, som den har gått forbi mange ganger, men denne gangen stopper den ikke foran den. For deg er dette stoppskiltet som de andre. Men for en bil er den helt annerledes. Noen minutter tidligere, uten å advare noen, hadde angriperen limt inn en liten plate på skiltet, usynlig for det menneskelige øyet, men hvilken teknologi kan ikke unnlate å legge merke til. Det vil si at et lite klistremerke på skiltet gjorde stoppskiltet til noe helt annet enn stoppskiltet.
Alt dette kan virke utrolig. Men et voksende forskningsområde beviser at kunstig intelligens kan lures til noe som dette hvis det ser en liten detalj som er helt usynlig for mennesker. Når maskinlæringsalgoritmer i økende grad vises på veiene våre, økonomien, helsevesenet vårt, håper dataforskere å lære mer om hvordan de kan beskytte dem mot slike angrep - før noen virkelig prøver å lure dem.
"Dette er en økende bekymring i maskinlæringen og AI-samfunnet, spesielt ettersom disse algoritmene blir brukt mer og mer," sier Daniel Lode, adjunkt ved Institutt for informasjonsvitenskap ved University of Oregon. “Hvis spam passerer eller blokkeres av flere e-postmeldinger, er dette ikke verdens ende. Men hvis du stoler på et synssystem i en selvkjørende bil som forteller bilen hvordan du skal kjøre uten å krasje inn i noe, er innsatsen mye høyere.”
Enten maskinen går i stykker eller blir hacket, vil maskinlæringsalgoritmer som "ser" verden lide. Og så til bilen, pandaen ser ut som et gibbon, og skolebussen ser ut som en struts.
I et eksperiment viste forskere fra Frankrike og Sveits hvordan slike forstyrrelser kan føre til at en datamaskin feilte et ekorn for en grårev og en kaffekanne for en papegøye.
Hvordan er dette mulig? Tenk på hvordan barnet ditt lærer å gjenkjenne tall. Når man ser på symbolene en etter en, begynner barnet å merke noen vanlige kjennetegn: Noen er høyere og slankere, seksere og ni inneholder en stor sløyfe, og åtter inneholder to, og så videre. Når de ser nok eksempler, kan de raskt gjenkjenne nye tall som firere, åtter eller trillinger - selv om de takket være skrifttypen eller håndskriften ikke ser helt ut som andre firere, åtter eller trillinger de noen gang har hatt. sett før.
Maskinlæringsalgoritmer lærer å lese verden gjennom en noe lignende prosess. Forskere mater datamaskinen hundrevis eller tusenvis av (vanligvis merkede) eksempler på hva de ønsker å finne på datamaskinen. Når maskinen blar gjennom dataene - dette er et tall, dette er ikke, dette er et tall, dette er ikke - det begynner å legge merke til funksjonene som fører til svar. Snart kan hun se på bildet og si: "Det er fem!" med høy presisjon.
Salgsfremmende video:
Dermed kan både menneskebarn og datamaskiner lære å gjenkjenne et stort utvalg av objekter, fra antall til katter, fra båter til individuelle menneskelige ansikter.
Men i motsetning til et menneskebarn, vil ikke en datamaskin være oppmerksom på detaljer på høyt nivå - som kattens hårete ører eller den særegne vinkelformen til de fire. Han ser ikke hele bildet.
I stedet ser det på individuelle piksler i et bilde - og den raskeste måten å skille objekter på. Hvis det overveldende flertallet av enhetene har en svart piksel på et bestemt punkt og noen få hvite piksler på andre punkter, vil maskinen veldig raskt lære å bestemme dem med noen få piksler.
Nå tilbake til stoppskiltet. Ved å umerkelig korrigere pikslene i bildet - eksperter kaller denne forstyrrelsen "forstyrrelser" - kan du lure datamaskinen til å tro at det faktisk ikke er noe stoppskilt.
Lignende studier fra Evolutionary Artificial Intelligence Lab ved University of Wyoming og Cornell University har produsert ganske mange optiske illusjoner for kunstig intelligens. Disse psykedeliske bildene av abstrakte mønstre og farger ligner ikke noe på mennesker, men blir raskt gjenkjent av datamaskinen som slanger eller rifler. Dette antyder hvordan AI kan se på noe og ikke se objektet, eller se noe annet i stedet.
Denne svakheten er vanlig i alle typer maskinlæringsalgoritmer. "Man kan forvente at enhver algoritme har et hull i rustningen," sier Yevgeny Vorobeychik, assisterende professor i informatikk og databehandling ved Vanderbilt University. "Vi lever i en veldig kompleks flerdimensjonal verden, og algoritmer påvirker i sin natur bare en liten del av den."
Sparrow er "ekstremt trygg" på at hvis disse sårbarhetene eksisterer, vil noen finne ut hvordan de kan utnytte dem. Sannsynligvis har noen allerede gjort dette.
Vurder spamfiltre, automatiserte programmer som filtrerer bort vanskelige e-poster. Spammere kan prøve å komme seg rundt denne barrieren ved å endre stavemåten til ordene (i stedet for Viagra - vi @ gra) eller legge til en liste over "gode ord" som vanligvis finnes i normale bokstaver: som "aha", "meg", "glad". I mellomtiden kan spammere prøve å fjerne ord som ofte vises i spam, for eksempel "mobil" eller "vinn".
Hvor kan svindlere komme seg til en dag? En selvkjørende bil lurt av et stoppskilt-klistremerke er et klassisk scenario som ble gjennomtenkt av eksperter på området. Ytterligere data kan hjelpe pornografi til å gli gjennom sikre filtre. Andre kan prøve å øke antall sjekker. Hackere kan finpusse koden til ondsinnet programvare for å unngå lovhåndhevelse.
Angripere kan finne ut hvordan de kan lage manglende data hvis de får en kopi av en maskinlæringsalgoritme som de vil lure. Men det trenger ikke å være for å komme seg gjennom algoritmen. Man kan ganske enkelt bryte den med brute force ved å kaste litt forskjellige versjoner av e-post eller bilder på den til de passerer. Over tid kan det til og med brukes til en helt ny modell som vet hva de gode gutta leter etter og hvilke data de skal produsere for å lure dem.
"Folk har manipulert systemer for maskinlæring siden de ble introdusert for første gang," sier Patrick McDaniel, professor i informatikk og ingeniørvitenskap ved University of Pennsylvania. "Hvis folk bruker disse metodene, vet vi kanskje ikke engang om det."
Disse metodene kan ikke bare brukes av svindlere - folk kan gjemme seg for røntgenøyene til moderne teknologier.
"Hvis du er en slags politisk dissident under et undertrykkende regime og du vil gjennomføre hendelser uten kunnskap fra etterretningsbyråene, kan det hende du må unngå automatiske observasjonsmetoder basert på maskinlæring," sier Lode.
I et prosjekt som ble publisert i oktober, opprettet forskere ved Carnegie Mellon University et par briller som på subtil måte kan villede ansiktsgjenkjenningssystemet, noe som får en datamaskin til å ta feil av skuespilleren Reese Witherspoon for Russell Crowe. Det høres latterlig ut, men en slik teknologi kan komme til nytte for alle som er desperate etter å unngå sensur fra maktene.
Hva skal jeg gjøre med alt dette? "Den eneste måten å unngå dette helt på er å lage en perfekt modell som alltid vil være riktig," sier Lode. Selv om vi kunne lage kunstig intelligens som overgår mennesker på alle måter, kan verden fortsatt skli en gris på et uventet sted.
Maskinlæringsalgoritmer bedømmes vanligvis på nøyaktighet. Et program som gjenkjenner stoler 99% av tiden, vil være klart bedre enn et som gjenkjenner 6 stoler av 10. Men noen eksperter foreslår en annen måte å vurdere algoritmens evne til å takle et angrep: jo vanskeligere, jo bedre.
En annen løsning kan være at eksperter skal kunne sette tempoet for programmer. Lag dine egne eksempler på angrep i laboratoriet basert på evnen til kriminelle etter din mening, og vis dem deretter til maskinlæringsalgoritmen. Dette kan hjelpe det med å bli mer spenstig over tid - forutsatt selvfølgelig at testangrepene er av den typen som vil bli testet i den virkelige verden.
“Maskinlæringssystemer er et verktøy for å tenke. Vi må være intelligente og rasjonelle om hva vi gir dem og hva de forteller oss,”sa McDaniel. "Vi skal ikke behandle dem som perfekte sannhets orakler."
ILYA KHEL
