Opprettelse av algoritmer for å jobbe med bilder har alltid vært en ganske vanskelig, men lovende oppgave. Da jeg fortsatt skrev examenprosjektet mitt i 1999, var temaet "mønstergjenkjenning" veldig relevant i automatiske kontroll- og styringssystemer.
Det er det de kan gjøre i dag. Indiske utviklere har presentert et system som kan lage korte videoer fra uskarpe bilder. Algoritmen fungerer på grunnlag av innviklede og tilbakevendende nevrale nettverk og lar deg gjøre bevegelses artefakter i bilder til kort (opptil ti bilder) video.
Mer informasjon …
Når du ser på et uskarpt bilde, kan en person mentalt fullføre et bilde av hva som skjer. Å se et fotografi av en fugl med uklare vinger antyder for eksempel at uskarpheten i bildet skyldes gjenstander i bevegelsen av vingene under anskaffelsen. For datasynssystemer er denne oppgaven imidlertid vanskeligere, og de fleste av de kjente metodene er kun rettet mot å fjerne bevegelsesgjenstander og utjevne rammer.
Forskere ved Indian Institute of Technology, ledet av AN Rajagopalan, foreslo at et enkelt uskarpt bilde kunne brukes til å lage en hel kort video: det vil si gjenopprette den opprinnelige bevegelsen fra dens artefakter i bildet. For å gjøre dette utviklet de en algoritme basert på innviklede nevrale nettverk, som brukes aktivt for oppgaver relatert til automatisk bildegjenkjenning, samt tilbakevendende nevrale nettverk.
Modellen er trent på et stort antall videoer, som er delt inn i rammer. Etter det ser det nevrale nettverket etter en slik ramme, hvor gjenstandene som er mest samsvarer med gjenstandene i treningseksemplarammen. Etter det "gjenoppretter" dekoderens gjenstander for treningseksempler i bevegelse fanget på video. Dermed lagrer modellen data om mulige utvinnede bevegelser fra hver uskarpe ramme som er tilgjengelig i treningsprøven.
Salgsfremmende video:
Som et resultat av arbeidet produserer nevrale nettverk video, rekonstruert fra det uskarpe bildet, bestående av ti bilder. Den utviklede algoritmen vil ifølge skaperne kunne hjelpe i fremtiden med å forbedre ikke bare restaureringen av uskarpe bilder, men også videoene i seg selv.
Å fjerne bevegelsesgjenstander i individuelle rammer kan også forbedre videostreaming. Foreløpig brukes hovedsakelig algoritmer for å tilpasse bitraten avhengig av videohastigheten og bufferen for dette formålet.
Elizaveta Ivtushok
