science >> Wetenschap >  >> Astronomie

AI schaalt Apollo-maanbeelden op naar 60 FPS

Credit:Dutchstoommachine

Hoe opwindend en opwindend het ook is om alle historische beelden van de Apollo-maanlandingen te bekijken, je moet toegeven, de kwaliteit is soms niet zo geweldig. Hoewel NASA heeft gewerkt aan het herstellen en verbeteren van enkele van de meest populaire Apollo-beelden, een deel ervan is nog steeds korrelig of wazig.

Maar nu, nieuwe ontwikkelingen op het gebied van kunstmatige intelligentie te hulp zijn gekomen, kijkers een bijna geheel nieuwe ervaring bieden bij het bekijken van historische Apollo-video's.

Een foto- en filmrestauratiespecialist die de naam DutchSteamMachine draagt, heeft wat AI-magie gebruikt om de originele Apollo-film te verbeteren, het creëren van opvallend heldere en levendige videoclips en afbeeldingen.

"Ik wilde echt een ervaring bieden op dit oude beeldmateriaal dat nog niet eerder is gezien, ', vertelde hij aan Universe Today.

Bekijk deze verbeterde beelden van een Apollo 16 maanrover-traverse met Charlie Duke en John Young, waarin het beeldmateriaal dat oorspronkelijk is opgenomen met 12 frames per seconde (fps) is verhoogd naar 60 fps:

Verbijsterend, Rechtsaf? En ik werd weggeblazen door het scherpe zicht op het maanoppervlak in dit verbeterde zicht op de landingsplaats van Apollo 15 bij Hadley Rille:

Credit:Dutchstoommachine

Of kijk hoe duidelijk Neil Armstrong zichtbaar is in deze verbeterde versie van de vaak geziene "eerste stap"-video van Apollo 11, gemaakt door een 16 mm-videocamera in de maanmodule:

Credit:Dutchstoommachine

De AI die DutchSteamMachine gebruikt heet Depth-Aware videoframe INterpolation, of kortweg DAIN. Deze AI is open source, gratis en wordt voortdurend ontwikkeld en verbeterd. Bewegingsinterpolatie of bewegingsgecompenseerde frame-interpolatie is een vorm van videoverwerking waarbij tussen bestaande animatieframes worden gegenereerd in een poging de video vloeiender te maken, om wazigheid te compenseren, enzovoort.

"Mensen hebben dezelfde AI-programma's gebruikt om oude filmopnamen uit de jaren 1900 weer tot leven te brengen, in hoge definitie en kleur, " zei hij. "Deze techniek leek geweldig om toe te passen op veel nieuwer beeldmateriaal."

Maar u kunt dit misschien niet thuis proberen. Er is een krachtige, high-end GPU met speciale koelventilatoren. DutchSteamMachine zei dat een video van slechts vijf minuten zes tot twintig uur in beslag kan nemen. Maar de resultaten spreken voor zich.

Hij legde uit hoe hij dit werk doet:"Eerst ging ik op zoek naar bronvideo's van de hoogste kwaliteit, die ik gelukkig vond als 720p-videobestanden met hoge bitrate, " zei hij. "Dus het kwaliteitsprobleem was opgelost. Het is belangrijk om met de hoogst mogelijke bron te beginnen en van daaruit te bewerken. Echter, de meeste opnamen waren nog steeds erg schokkerig. Dit komt omdat om film te sparen en gedurende lange tijd op te nemen, de meeste rover-opnames zijn gemaakt op 12, zes of zelfs één frame(s) per seconde. Hoewel mensen eerder hebben geprobeerd stabilisatie en/of typen frame-blending toe te passen om dit effect te vergemakkelijken, Ik ben er nooit echt tevreden over geweest."

DutchSteamMachine probeert de framerate van de originele beelden te bepalen, die meestal te vinden zijn in NASA-documenten of, zoals in het geval van de Apollo 16-beelden hierboven, de astronauten kondigen het aan wanneer ze de camera aanzetten.

"Helaas, soms, de framerate lijkt uit te zijn of te fluctueren, werkt niet altijd zoals bedoeld, " zei hij. "Dus de beste manier om de framerate te vinden, is te luisteren naar de oriëntatiepunten waar de astronauten het over hebben en de beelden daarop af te stemmen. Ik heb het bronbestand opgesplitst in afzonderlijke PNG-frames, voer ze samen met de invoerframerate (één, zes, 12 of 24) en de gewenste output framerate per interpolatiesnelheid (2x, 4x, 8x). De AI begint mijn GPU te gebruiken en kijkt naar twee echte, opeenvolgende frames. Met behulp van algoritmen, het analyseert bewegingen van objecten in de twee frames en geeft geheel nieuwe weer. Met een interpolatiesnelheid van bijvoorbeeld, 5x, het is in staat om vijf 'nep'-frames weer te geven van slechts twee echte frames. Als beeldmateriaal is opgenomen met 12 fps en de interpolatiesnelheid is ingesteld op 5x, de uiteindelijke framerate is 60, wat betekent dat met slechts 12 echte frames, het maakte 48 'nep'-frames. Beide worden vervolgens terug geëxporteerd naar een video en afgespeeld met 60 fps met zowel de echte als de nepframes. Ik pas kleurcorrectie toe, zoals vaak hebben de bronbestanden een blauwe of oranje tint. Ik synchroniseer de beelden met audio, en indien mogelijk, ook televisie en foto's die tegelijkertijd zijn gemaakt. Soms, twee 16 mm-camera's draaiden tegelijkertijd, zodat ik die naast elkaar kan afspelen."

Hier is een video die hij deelde van zijn studio en zijn gespecialiseerde apparatuur:

Credit:Dutchstoommachine

DutchSteamMachine doet dit werk in zijn vrije tijd, en plaatst het gratis op zijn YouTube-pagina. Zijn slogan is "Het verleden bewaren voor de toekomst, " en hij gebruikt dezelfde technieken ook om oude homevideo's te verbeteren, afbeeldingen en dia's.

"Het is geweldig om de reacties van mensen op mijn beelden te lezen, " zei hij. "Dus als mensen dingen posten als, 'Wauw! Dit is geweldig! Ik heb dit nog nooit eerder gezien!, 'Dit houdt me op de been'.

Als je het geweldige restauratie-/verbeteringswerk wilt steunen dat DutchSteamMachine doet voor de Apollo-beelden, hier is zijn Patreon-pagina. Door zijn werk te steunen, je krijgt extra's, vroege toegang en previews van aankomend werk, en een kans om vragen te stellen over het proces. En hij is van plan om het allemaal te laten komen.

"Ik ben van plan tonnen aan Apollo-beelden zoals deze te verbeteren, "zei hij. "Er zal continu veel meer ruimte en geschiedenisgerelateerd beeldmateriaal op mijn YT-kanaal worden gepubliceerd." Hij heeft ook een Flickr-pagina met meer verbeterde beelden.