Compas-algoritmen, som har jobbet for det amerikanske politiet siden 1998, analyserte tiltalte data, og hjalp deretter, basert på mottatt informasjon, til å avgjøre for eksempel om kriminellen skulle løslates mot kausjon eller skulle settes i varetekt. Ved valg av et mål på tilbakeholdenhet tok systemet hensyn til alder, kjønn og merittliste på den kriminelle arenaen. I 20 år med "service" ble algoritmen evaluert av mer enn en million mennesker, men nylig ble den erklært inhabil, hvorpå den umiddelbart ble tilbakekalt.
Forskere fra Dartmouth College testet hvor nøyaktig systemet er og om det kan stole på. For å gjøre dette rekrutterte de frilansere, vanlige mennesker uten juridisk utdannelse, til å ta sine egne beslutninger basert på kort informasjon om mennesker, og gi fagene informasjon om kjønn, alder, kriminell historie og flere andre parametere.
Nøyaktigheten i prognosen til frilanserne som hadde en liten dossier, var nesten 70 prosent, mens programmet hang etter folk med fem prosent, mens de stolte på 137 biografipoeng. Analyse av algoritmens dommer viste at svarte fanger er mer sannsynlig å bli mistenkt av programmet.
"Feil i slike tilfeller kan være veldig dyre, så det er verdt å vurdere om denne algoritmen i det hele tatt skal brukes for å avgi domstoler," sier en av studieforfatterne.
Etter å ha studert algoritmens prinsipp, kom forskerne til den konklusjonen at jo yngre tiltalte og jo flere arrestasjoner han har bak seg, jo større er sannsynligheten for tilbakefall, derfor anerkjente AI-spesialister teknologien som upålitelig.
Viacheslav Larionov
