Med utviklingen av nevrale nettverk og maskinlæringsteknologier utvides omfanget av bruken av dem. Hvis tidligere nevrale nettverk utelukkende ble brukt til å utføre komplekse matematiske, medisinske, fysiske, biologiske beregninger og prognoser, får nå disse teknologiene bred popularitet i et mer "dagligdags" miljø - innen underholdning. Tar de bare de første trinnene i denne retningen, er de allerede i stand til å demonstrere fantastiske og noen ganger til og med enestående resultater. I dag vil vi analysere noen få illustrerende eksempler.
Prosessering av video-remastering er så komplisert og tidkrevende at vi kanskje aldri har sett mange mesterverk fra verdensklassikere med et nytt, moderne, klart og saftig bilde. Imidlertid er verden full av smarte fans og entusiaster som er godt kjent med nye teknologier, og spesielt nevrale nettverk og maskinlæringsteknologier, som du kan oppnå fantastiske resultater selv hjemme. For eksempel bestemte YouTube-bruker Stefan Rumen med pseudonymet CaptRobau å demonstrere noen av mulighetene til nevrale nettverk i prosessering av videoer fra en gammel science fiction-serie.
Hans tidligere arbeid er Remako Mod, en "HD-nyinnspilling" av den klassiske og svært populære japanske RPG Final Fantasy VII som heter. For å gjøre dette brukte han AI-algoritmen AI Gigapixel, som han var i stand til å skalere bildet av det originale bildet med fire ganger, og konvertere det til HD-oppløsning uten vesentlige endringer i den originale kunstdesignen. Så mens du venter i et tiår til øyeblikket da den japanske utvikleren og utgiveren av dataspill Square Enix offisielt gir ut en remaster av kanskje en av de beste delene av denne spillserien, kan du prøve Stefan Rumens mod selv ved å laste den ned fra dette nettstedet.
Forresten, nylig har nevrale nettverksteknologier for remastering av gamle spill og brakt dem til et mer relevant og moderne utseende uten å endre det generelle originale konseptet blitt en real trend blant forskjellige modders. For ikke så lenge siden snakket vi for eksempel om ESRGAN (Enhanced Super Resolution Generative Adversarial Networks) -teknologi, som implementerer bildeskaleringsteknologier med en 2-8x økning i kvalitet. Algoritmen "mates" det originale bildet med en lav oppløsning, hvoretter det ikke bare øker den opprinnelige oppløsningen til sistnevnte, men forbedrer også bildekvaliteten, maleri på realistiske detaljer og gjør teksturer "mer naturlig".
Sammenligning av teksturkvalitet: til venstre er den originale tekstur fra Morrowind-spillet, til høyre - behandlet av det nevrale nettverket.
Et tegn fra Doom (venstre - ble, høyre - ble).
Bakgrunnsbehandling i Resident Evil 3.
Salgsfremmende video:
Det var som det måtte, i intervallene mellom omarbeidingen av "Den syvende finalen" bestemte Stefan Rumen seg for å ta opp et annet prosjekt - å bruke den samme maskinlæringsteknologien, men denne gangen for å behandle rammene i den klassiske science fiction-serien på 90-tallet. Rumen valgte Star Trek: Deep Space Nine som objektet for eksperimentene hans.
Skalering av et levende bilde av en TV-serie er veldig annerledes i kompleksitet enn å skalere et forhåndsgitt bilde av Final Fantasy VII, konstaterer forfatteren, så det endelige resultatet, selv om det ser merkbart bedre ut enn originalmaterialene i lav oppløsning, men dette bildet er fremdeles langt fra idealet om du kunne ha drømt siden de første Blu-ray-spillerne traff markedet. Noen ganger dukker det opp små "gjenstander" på skjermen. Men igjen, generelt sett, ser alt mer ut enn verdig. Men generelt, se selv.
For dette prosjektet brukte Rumen også AI Gigapixel-algoritmen, som ble opplært til å redigere bilder basert på virkelige fotografier. Forfatteren bemerker at det nye bildet ble oppnådd i 1080p og 4k, men siden Rumen ikke har en TV eller skjerm med innfødt 4K-oppløsning, kan han ikke vurdere 4K-versjonen tilstrekkelig.
Dessverre kan du ikke se hele serien i Full HD-kvalitet. Prosessen med å behandle alt kildematerialet ville tatt veldig lang tid, så Rumen brukte bare separate rammer fra forskjellige serier for demonstrasjonen. I følge ham tok han opp dette prosjektet av bare en grunn - for å vise at det virkelig er mulig. Etter hans mening vil et helt team av fagfolk som jobber i et stort TV-selskap og som disponerer mer egnet og kraftig datautstyr for slikt arbeid, kunne takle denne oppgaven mye bedre.
Å bruke nevrale nettverk for å forenkle arbeidet med å behandle gamle bilder fra videospill og filmer er ikke de eneste områdene der slike teknologier er i stand til å vise sine talenter. I den moderne verden, der panoramakameraer som er i stand til å produsere 360 grader, så vel som virtual reality-headset, blir stadig mer populære, har utviklere begynt å aktivt utforske potensialet i panoramafotografering.
En av de siste utviklingene i denne retningen er et nevralt nettverk som kan høre panoramiske statiske bilder. Den er forfatter av maskinlæringseksperter fra Massachusetts universiteter, Columbia universiteter og George Mason University.
Den opprettede algoritmen bestemmer type miljø og objekter i fotografiet, og velger og ordner deretter lyder fra den brukte databasen i samsvar med den romlige beregningen av avstanden til kildene i dette bildet. Takket være dette får panoramabildet en realistisk og romslig lyd som lar deg evaluere det presenterte bildet på en helt ny måte.
I følge utviklerne av dette nevrale nettverket, kan teknologien finne interesse blant utviklere av VR-innhold (filmer og spill). Det siste vil i dette tilfellet ikke behøve å legge over alle lydene manuelt på det panoramiske bildet manuelt, det nevrale nettverket vil kunne gjøre alt på egen hånd.
Nikolay Khizhnyak
