Amazons kunstige intelligens, designet for å sortere CV-søkere, rangerte menn høyere enn kvinner. Spesielt avviste han CV-er med ordet “feminin” og tilbød å ansette kandidater som brukte typiske maskuline verb i talen sin, selv om disse menneskene ikke hadde de nødvendige ferdighetene. Som et resultat måtte selskapet stenge prosjektet.
Kunstig HR-intelligens
Amazons eksperter på maskinlæring har funnet at den kunstige intelligensen som behandler gjenopptakelsen av kandidater til stillinger i selskapet diskriminerer kvinnelige arbeidssøkere, melder Reuters. Denne funksjonen ble ikke med vilje integrert i systemet - den var resultatet av maskinlæring.
En kunstig intelligens-basert CV-sorteringsmotor har vært under utvikling hos Amazon siden 2014 av et team på 12 personer i Edinburgh. Allerede i 2015 la selskapet merke til at det nye systemet ikke overholdt prinsippet om kjønnsnøytralitet ved evaluering av kandidater for programvareutviklingsstillinger og andre tekniske ledige stillinger.
Snart skjønte de grunnen: faktum er at systemet ble trent på gjenopptakene som selskapet har lagt inn de siste 10 årene. De fleste av disse CVene ble holdt av menn, noe som i stor grad gjenspeiler situasjonen i IT-bransjen. Som et resultat lærte Amazons kunstige intelligens at mannlige jobbsøkere er å foretrekke fremfor kvinner.
Språklig avvisning
Salgsfremmende video:
Som et resultat begynte kunstig intelligens å forkaste CV som inneholder ordet "kvinnelig" i slike uttrykk som "kaptein for kvinnesjakkklubben." Mekanismen nedklassifiserte også karakterene til nyutdannede ved to kvinnekolleger, men Reuters kilder oppga ikke navnene. Ved evaluering av gjenopptak ga kunstig intelligens dem mellom en og fem stjerner - veldig likt hvordan kjøpere vurderer produkter på Amazon.
Systemet ga også oppmerksomhet til andre ord. Utviklerne har laget 500 datamaskinmodeller for forskjellige stillingsansvar og geografiske lokasjoner. Hver modell ble opplært til å gjenkjenne omtrent 50 tusen signalord som var til stede i søkerens CV.
Det er bemerkelsesverdig at mekanismen ignorerte ord som angir ferdigheter som ofte er stavet i CVen til IT-spesialister, som evnen til å skrive forskjellige koder, osv. I stedet sporet systemet for eksempel typiske verb for mannlig tale i selvbeskrivelsen av kandidater, for eksempel "oppfylt" (henrettet) eller "tatt til fange", slik de regelmessig ble sett i gamle CV som maskinen lærte av. Med denne tilnærmingen var ikke diskriminering av kjønn det eneste problemet - mekanismen anbefalte ofte mennesker som ikke hadde de nødvendige ferdighetene for stillingen.
Prosjektets videre skjebne
Amazon har justert systemet slik at det ikke lenger svarer på signalord. Dette var imidlertid ikke en garanti for at mekanismen ikke ville finne en annen måte å identifisere CV som eies av kvinner. I begynnelsen av 2017 ble selskapet desillusjonert av prosjektet og oppløste teamet. Reuters-kilder sier at HR-spesialistene tok hensyn til systemets anbefalinger, men aldri stolte bare på dem.
En av kildene sier at prosjektet er stengt. En annen argumenterer for at det ble dannet et nytt team i Edinburgh for å fortsette å utvikle mekanismen, men denne gangen med fokus på egenkapital og inkludering. En annen kilde rapporterer at en sterkt modifisert versjon av motoren nå brukes til å utføre rutinearbeid, for eksempel å fjerne dupliserte gjenopptak fra databasen.