Professor Jinwoo Shin en professor Dongsu Han van de School of Electrical Engineering ontwikkelden neurale adaptieve contentbewuste internetvideolevering. Deze technologie is een nieuwe methode die adaptieve streaming via HTTP combineert, het videotransmissiesysteem van YouTube en Netflix, met een deep learning-model.

Deze technologie zal naar verwachting een internetomgeving creëren waar gebruikers kunnen genieten van het bekijken van 4K- en AV/VR-video's met hoogwaardige en high-definition (HD) video's, zelfs met zwakke internetverbindingen.

Dankzij videostreamingdiensten, internetvideo heeft een opmerkelijke groei doorgemaakt; hoe dan ook, gebruikers hebben vaak last van een lage videokwaliteit als gevolg van ongunstige netwerkomstandigheden. Momenteel, bestaande adaptieve streamingsystemen passen de kwaliteit van de video in realtime aan, tegemoet te komen aan de continu veranderende internetbandbreedte. Er wordt onderzoek gedaan naar verschillende algoritmen voor adaptieve streamingsystemen, maar er is een inherente beperking; dat is, video's van hoge kwaliteit kunnen niet worden gestreamd in slechte netwerkomgevingen, ongeacht welk algoritme wordt gebruikt.

Door superresolutie op te nemen in adaptieve streaming, het team overwon de limiet van bestaande contentdistributienetwerken, waarvan hun kwaliteit te veel afhankelijk is van de bandbreedte. Bij de conventionele methode, de server die de video levert, splitst een video vooraf in een bepaalde tijdsduur. Maar het nieuwe systeem dat door het team is geïntroduceerd, maakt het downloaden van neurale netwerksegmenten mogelijk. Om deze methode te vergemakkelijken, de videoserver moet voor elk videosegment diepe neurale netwerken bieden, evenals de grootte van Deep Neural Networks (DNN) volgens de specificaties van de computercapaciteit van de gebruiker.

De grootste neurale netwerkgrootte is twee megabyte, die aanzienlijk kleiner is dan video. Bij het downloaden van het neurale netwerk van de videospeler van de gebruiker, het is opgesplitst in verschillende segmenten. Zelfs de gedeeltelijke download is voldoende voor een enigszins uitgebreide superresolutie.

Tijdens het afspelen van de video, het systeem converteert de video van lage kwaliteit naar een versie van hoge kwaliteit door gebruik te maken van superresolutie op basis van diepe convolutie neurale netwerken (CNN). Het hele proces gebeurt in realtime, en gebruikers kunnen genieten van de high-definition video.

Zelfs met een 17 procent kleinere bandbreedte, het systeem kan de Quality of Experience bieden die gelijkwaardig is aan de nieuwste adaptieve streamingdienst. Bij een bepaalde internetbandbreedte, het kan een 43 procent hogere gemiddelde QoE bieden dan de nieuwste service.

Door gebruik te maken van een deep learning-methode kan dit systeem een ​​hoger compressieniveau bereiken dan de bestaande videocompressiemethoden. Hun technologie werd erkend als een internetvideosysteem van de volgende generatie dat superresolutie toepast op basis van een neuraal netwerk met diepe convolutie op online video's.

Professor Han zei:"Tot dusver, het is alleen geïmplementeerd op desktops, maar we zullen toepassingen verder ontwikkelen die ook op mobiele apparaten werken. Deze technologie is toegepast op dezelfde videotransmissiesystemen die worden gebruikt door streamingkanalen zoals YouTube en Netflix, en vertoont dus goede tekenen voor uitvoerbaarheid."