Kunstig intelligens utvikles aktivt i Russland og verden - inkludert emosjonell. Han er interessert i store selskaper og ambisiøse startups som introduserer ny utvikling innen detaljhandel, markedsføring, utdanning, bank og rekruttering. I følge Mordor Intelligence ble markedet for følelsesgjenkjenning verdsatt til 12 milliarder dollar i 2018 og vil vokse til 92 milliarder dollar i 2024.
Hva er emosjonell AI
Emotion AI (Emotion AI) er en AI som gjør det mulig for en datamaskin å gjenkjenne, tolke og svare på menneskelige følelser. Et kamera, mikrofon eller bærbar sensor leser en persons tilstand, og et nevralt nettverk behandler dataene for å bestemme en følelse.
Det er to hovedmåter å analysere følelser på:
- Kontakt. En person blir satt på en enhet som leser pulsen, kroppens elektriske impulser og andre fysiologiske indikatorer. Slike teknologier kan bestemme ikke bare følelser, men også stressnivået eller sannsynligheten for et epileptisk anfall.
- Contact. Følelser analyseres på grunnlag av video- og lydopptak. Datamaskinen lærer ansiktsuttrykk, gester, øyebevegelser, tale og tale.
For å trene et nevralt nettverk, samler dataforskere et utvalg av data og markerer manuelt endringen i en persons følelsesmessige tilstand. Programmet studerer mønstre og forstår hvilke tegn som hører til hvilke følelser.
Nevralt nettverk kan trenes på forskjellige data. Noen selskaper og laboratorier bruker videobånd, andre studerer stemme, og noen drar nytte av flere kilder. Men jo mer mangfoldige data, jo mer nøyaktig er resultatet.
Tenk på to hovedkilder:
Salgsfremmende video:
Bilder og stillbilder fra video
Bilder blir behandlet først for å gjøre det lettere for AI å jobbe med. Ansiktsegenskaper - øyenbryn, øyne, lepper og så videre - er merket med prikker. Det nevrale nettverket bestemmer punktenes plassering, sammenligner dem med tegn på følelser fra malen og konkluderer hvilken følelser som reflekteres - sinne, frykt, overraskelse, tristhet, glede eller ro.
Det er også en annen tilnærming. Markører av følelser blir umiddelbart bemerket i ansiktet - for eksempel et smil eller rynke øyenbrynene. Deretter ser det nevrale nettverket etter markører på bildet, analyserer deres kombinasjoner og bestemmer personens tilstand.
Studiet av følelsesmarkører begynte på 1900-tallet. Riktig nok, da ble de vurdert separat fra nevrale nettverk. Forskerne Paul Ekman og Wallace Friesen utviklet Facial Action Coding System (FACS) i 1978. Det bryter ansiktsuttrykk i individuelle muskelbevegelser, eller handlingsenheter. Forskeren studerer motoriske enheter og sammenligner dem med følelser.
Stemme og tale
Neuralnettverket trekker ut mange parametere for stemmen fra det akustiske signalet - for eksempel tone og rytme. Hun studerer deres tidsendring og bestemmer talerens tilstand.
Noen ganger brukes et spektrogram til trening - et bilde som viser styrken og frekvensen til et signal over tid. I tillegg analyserer AI vokabular for mer nøyaktige resultater.
Hvor brukes teknologien
Salg og reklame
Den mest åpenbare bruken av teknologi for følelsesgjenkjenning er i markedsføring. Med deres hjelp kan du bestemme hvordan en reklamevideo påvirker en person. For å gjøre dette, kan du for eksempel installere en struktur med et kamera som vil endre reklame avhengig av humør, kjønn og alder til folk som går forbi.
Et lignende design ble utviklet av oppstarterne Cloverleaf og Affectiva. De introduserte en elektronisk hyllepunktannonse kalt shelfPoint som samler inn data om kunders følelser. Nye teknologier er testet av Procter & Gamble, Walmart og andre store selskaper. I følge Cloverleaf økte salget 10-40%, mens kundens engasjement økte 3-5 ganger.
Et mer uvanlig alternativ er en robotkonsulent med kunstig intelligens. Han vil samhandle med klienter, lese følelser og påvirke dem. Og gi også tilpassede tilbud.
Tjenestroboten ble presentert av den russiske oppstarten Promobot. Den bruker et nevralt nettverk utviklet av Neurodata Lab, som bestemmer følelser fra flere kilder samtidig: opptak av et ansikt, stemme, bevegelser, så vel som puste- og pulsfrekvens.
Promobot selger robotene sine aktivt i utlandet. I 2018 signerte oppstarten en kontrakt med det amerikanske selskapet Intellitronix for 56,7 millioner dollar, og gikk i neste omtale om å levere enheter til Saudi-Arabia, Israel, Kuwait og Sverige - for dem vil selskapet motta 1,1 millioner dollar. Ifølge Promobot jobber i dag 492 roboter i 34 land rundt om i verden som guider, portier, konsulenter og promotører.
banker
Teknologier for følelsesgjenkjenning hjelper bankene å få tilbakemeldinger fra kunder uten undersøkelser og forbedre tjenesten. Videokameraer er installert i avdelingene, og algoritmer for opptak bestemmer besøkende tilfredshet. Nevrale nettverk kan også analysere stemmen og talen til klienten og operatøren under en samtale til kontaktsenteret.
I Russland har de prøvd å implementere emosjonell AI i lang tid: den ble testet på Sberbank allerede i 2015, og tre år senere lanserte Alfa-Bank sin pilot for å analysere følelser fra video. I tillegg til opptak fra overvåkningskameraer, brukes samtaleopptak. VTB startet et pilotprosjekt for å implementere emosjonell AI i 2019. Og Rosbank har sammen med Neurodata Lab allerede testet bestemmelsen av kundenes følelser ved tale og tale. Klienten ringte banken, og det nevrale nettverket analyserte tilstanden hans og betydningen av samtalen. I tillegg la AI merke til pauser i operatørens tale, stemmevolum og kommunikasjonstid. Dette tillot ikke bare å sjekke tilfredsheten med tjenesten, men også å overvåke arbeidet til kontaktsenteroperatørene.
Nå har Rosbank implementert sin egen løsning for følelsesgjenkjenning. I stedet for et akustisk signal, analyserer systemet teksten, mens nøyaktigheten forblir høy.
Taleteknologisenteret er også involvert i å gjenkjenne følelser i tale (Sberbank eier en majoritetsandel). Smart Logger-tjenesten analyserer stemmen og ordforrådet til kunder og operatører, taletid og pauser for å finne ut tilfredsheten med tjenesten.
Underholdningssfære
Følelsesgjenkjenningssystemer kan brukes til å måle publikums reaksjon på en film. Disney gjennomførte i 2017, i samarbeid med forskere, et eksperiment: installerte kameraer på en kino og koblet dybdelæringsalgoritmer for å vurdere følelsene til seerne. Systemet kunne forutsi folks reaksjoner ved å observere dem i bare noen få minutter. Under eksperimentet samlet vi et imponerende datasett: 68 markører fra hver av 3.179 seere. Totalt ble 16 millioner ansiktsbilder oppnådd.
For samme formål har YouTube-videoservering laget sin egen AI kalt YouFirst. Det gjør det mulig for videobloggere og bedrifter å teste innhold før de slippes til plattformen. Brukere klikker på en spesiell lenke, samtykker i å skyte en video og se videoen. På dette tidspunktet bestemmer nevrale nettverk deres reaksjoner og sender dataene til kanaleieren.
Blant russiske selskaper kan reaksjoner på videoer analyseres, for eksempel av Neurobotics. Selskapet har utviklet EmoDetect-programmet som gjenkjenner glede, tristhet, overraskelse, frykt, sinne, avsky og nøytralitet. Programmet studerer opptil 20 lokale ansiktsfunksjoner i fryserammer og en serie bilder. Systemet analyserer motorenheter og bruker FACS ansiktskodingsteknologi. Det er mulig å spille inn video fra et webkamera. EmoDetect API lar deg integrere produktet med eksterne applikasjoner.
Emosjonell AI begynner også å bli brukt i spillindustrien. Det hjelper med å personalisere spillet og legge til mer interaksjon med spilleren.
Det amerikanske emosjonelle AI-selskapet Affectiva var for eksempel med på å skape den psykologiske thrilleren Nevermind. Spenningen avhenger av spillerens tilstand: handlingen blir mørkere når han er under stress, og omvendt.
utdanning
Følelsesgjenkjenning gjelder også utdanning. Den kan brukes til å studere stemningen og oppmerksomheten til elevene i løpet av klassen.
Russiske utviklere har brukt emosjonell AI i Perm. Drivkraft for utvikling av teknologi var angrep fra elever på barneskoleelever og lærer. Rostelecom og oppstarten New Vision har utviklet programmet Smart and Safe School for å overvåke den emosjonelle tilstanden til barn. Dette vil bidra til å identifisere asosiale ungdommer før tragedie inntreffer.
Det var basert på Paul Ekman-systemet. Nevrale nettverk analyserte de minste muskelbevegelsene ved å bruke 150 poeng i ansiktet. En stor mengde data ble samlet inn i løpet av leksjonen: 5-6000 rammer for hver elev. Programmet studerte datasettet og beregnet den emosjonelle tilstanden til hvert barn. Ifølge skaperne var nøyaktigheten 72%.
HR
Emosjonell AI kan være nyttig i arbeid med ansatte. Det hjelper til med å bestemme ansattes tilstand, legge merke til hans tretthet eller misnøye i tide og til å omfordele oppgaver mer effektivt.
I tillegg hjelper teknologi med rekruttering. Ved hjelp av emosjonell AI kan du sjekke en kandidat på jobb eller fange løgn under et intervju.
Det amerikanske selskapet HireVue bruker kunstig intelligens for å evaluere kandidater. Søkeren gjennomgår et videointervju, og det nevrale nettverket bestemmer tilstanden hans ved hjelp av nøkkelord, stemmeintonasjon, bevegelser og ansiktsuttrykk. AI fremhever de egenskapene som er viktige for jobben og gir karakterer, og HR-sjefen velger de riktige kandidatene.
London-basert oppstart Human bruker video for å identifisere følelser og matche dem til karaktertrekk. Etter videointervjuet får rekrutterere en rapport som sier hvor ærlig, nysgjerrig, spent, entusiastisk eller selvsikker kandidaten var og hvordan han svarte på spørsmål.
Medisin
På dette området vil ikke bare ikke-kontakt, men også kontaktmetoder for å bestemme følelser være nyttige. De implementeres aktivt av utenlandske startups - for eksempel Affectiva og Brain Power. Selskapenes utvikling inkluderer AI-briller som hjelper barn og voksne med autisme å gjenkjenne andres følelser og utvikle sosiale ferdigheter.
Men nevrale nettverk kan hjelpe pasienter uten bærbare sensorer. Forskere ved Massachusetts Institute of Technology har opprettet et nevralt nettverk som oppdager depresjon ved å analysere en persons tale. Nøyaktigheten av resultatet var 77%. Og oppstart Beyond Verbal bruker AI for å analysere den psykiske helsen til pasienter. I dette tilfellet velger nevrale nettverk bare stemmebiomarkører fra lydopptaket.
Biler
Massachusetts Institute of Technology utvikler en AI kalt AutoEmotive som vil bestemme tilstanden til sjåføren og passasjerene. Han vil ikke bare overvåke stressnivået, men også prøve å redusere det - ved å spille myk musikk, justere temperaturen i hytta eller ta en mindre travel rute.
Begrensninger i emosjonell AI
Nevralt nettverk kan ikke ta hensyn til konteksten
AI har lært å identifisere grunnleggende menneskelige følelser og tilstander, men foreløpig takler den ikke bra med mer komplekse situasjoner. Forskere bemerker at ansiktsuttrykk ikke alltid viser nøyaktig hvordan en person virkelig føler. Smilet hans kan være skrått eller sarkastisk, og dette kan bare bestemmes av kontekst.
NtechLab-eksperter mener at det fremdeles er vanskelig å bestemme årsaken til denne eller den andre følelsen.
NtechLab understreker at det er nødvendig å gjenkjenne ikke bare ansiktsuttrykk, men også menneskelige bevegelser. Ulike data vil gjøre emosjonell AI mye mer effektiv. Daniil Kireev, en ledende forsker i VisionLabs produktutviklingsselskap for ansiktsgjenkjenning, er enig i dette. Etter hans mening øker nøyaktigheten til algoritmene med en stor mengde data.
”Det er feil, antallet avhenger av mange faktorer: kvaliteten på treningsprøven, det trente nevrale nettverket, dataene som det endelige systemet fungerer på. Ved å legge til informasjon fra forskjellige kilder - for eksempel tale - kan du forbedre kvaliteten på systemet. Samtidig er det viktig å forstå at vi i ansiktet heller bestemmer dets uttrykk enn den endelige følelsen. Algoritmen kan prøve å bestemme den simulerte følelsen, men for dette må utviklingen av teknologi ta et lite skritt fremover, sier Daniil Kireev.
Dårlig utstyr
Eksterne faktorer påvirker kvaliteten på algoritmene. For at nøyaktigheten til følelsesgjenkjenning skal være høy, må videokameraer og mikrofoner være av høy kvalitet. I tillegg påvirkes resultatet av belysning, plasseringen av kameraet. I følge Daniil Kireev kompliserer ukontrollerte forhold prosessen med å bestemme en persons tilstander.
For at emosjonell AI skal utvikle seg, trenger du maskinvare av høy kvalitet. Hvis du finner bra utstyr og setter det riktig, vil nøyaktigheten av resultatene være veldig høy. Og når det blir mer tilgjengelig og utbredt, vil følelsegjenkjenningsteknologier forbedres og implementeres mer aktivt.
“Systemets nøyaktighet avhenger av mange faktorer. Den viktigste er kvaliteten på stillbilder fra kameraet, som er gitt til systemet for gjenkjennelse. Kvaliteten på stillbilder er igjen påvirket av innstillingene og egenskapene til kameraet, matrisen, belysningen, plasseringen av enheten, antall ansikter i rammen. Med riktig konfigurasjon av maskinvaren og programvaren er det mulig å oppnå nøyaktigheten av den oppdagede følelsen opp til 90-95%,”bemerker Vitaly Vinogradov, produktansvarlig for skyvideoovervåkning og videoanalysetjeneste Ivideon.
Teknologiperspektiv
Nå i Russland får emosjonell AI bare fart. Startups utvikler teknologi og markedsfører produktene sine, og kundene tester dem med forsiktighet.
Men Gartner anslår at innen 2024 vil mer enn halvparten av nettannonsene bli laget ved hjelp av emosjonell AI. Datasyn, som brukes til å oppdage følelser, vil bli en av de viktigste teknologiene i løpet av de neste 3-5 årene. Og MarketsandMarkets spår at markedet for følelsesanalyse vil dobles innen 2024 - fra 2,2 milliarder dollar til 4,6 milliarder dollar.
I tillegg viser store selskaper interesse for følelsesgjenkjenning - for eksempel Procter & Gamble, Walmart, VTB, Rosbank, Sberbank og Alfa-Bank. Og innenlandske startups utvikler pilotprosjekter som vil bli ferdige løsninger for virksomheten i fremtiden.
Evgeniya Khrisanfova
