Microsoft en Warner Bros. hebben samengewerkt om met succes de hele iconische "Superman"-film uit 1978 op te slaan en terug te halen op een stuk glas dat ongeveer zo groot is als een onderzetter, 75 bij 75 bij 2 millimeter dik.

Het was de eerste proof of concept-test voor Project Silica, een Microsoft Research-project dat recente ontdekkingen in ultrasnelle laseroptica en kunstmatige intelligentie gebruikt om gegevens op te slaan in kwartsglas. Een laser codeert gegevens in glas door lagen van driedimensionale roosters en vervormingen op nanoschaal op verschillende diepten en hoeken te creëren. Algoritmen voor machine learning lezen de gegevens terug door afbeeldingen en patronen te decoderen die worden gecreëerd als gepolariseerd licht door het glas schijnt.

Het harde silicaglas is bestand tegen koken in heet water, gebakken in een oven, magnetron, overstroomd, uitgekamd, gedemagnetiseerde en andere milieubedreigingen die onschatbare historische archieven of culturele schatten kunnen vernietigen als er iets misgaat.

Het vertegenwoordigt een investering van Microsoft Azure om opslagtechnologieën te ontwikkelen die speciaal zijn gebouwd voor cloudcomputingpatronen, in plaats van te vertrouwen op opslagmedia die zijn ontworpen om in computers of andere scenario's te werken. Het is slechts een van de vele manieren waarop Azure vertrouwt op de onderzoeksexpertise van Microsoft om uitdagingen op zowel de korte als de lange termijn op te lossen, van de onderwaterdatacentertests van Project Natick tot de FPGA-verwerkingskracht van Project Brainwave en het opkomende Optics for the Cloud-onderzoek.

"Het opslaan van de hele 'Superman'-film in glas en het met succes kunnen voorlezen is een belangrijke mijlpaal, " zei Mark Russinovich, Chief Technology Officer van Azure. "Ik zeg niet dat alle vragen volledig zijn beantwoord, maar het lijkt erop dat we nu in een fase zitten waarin we werken aan verfijning en experimenten, liever de vraag stellen 'kunnen we het?'"

Warner Bros., die Microsoft benaderde na kennis te hebben genomen van het onderzoek, is altijd op zoek naar nieuwe technologieën om zijn enorme activabibliotheek te beschermen:historische schatten zoals "Casablanca, "radioprogramma's uit de jaren 40, korte animatiefilms, digitaal opgenomen theaterfilms, tv-sitcoms, dagbladen van filmsets. Voor jaren, ze hadden gezocht naar een opslagtechnologie die honderden jaren mee kon gaan, bestand zijn tegen overstromingen of zonnevlammen en dat hoeft niet op een bepaalde temperatuur te worden gehouden of constant te worden ververst.

"Dat was altijd ons baken van hoop geweest voor wat we dachten dat op een dag mogelijk zou zijn, dus toen we hoorden dat Microsoft deze op glas gebaseerde technologie had ontwikkeld, we wilden het bewijzen, " zei Warner Bros. Chief Technology Officer Vicky Colf.

De kosten van langdurige opslag verlagen

De meeste mensen zien 'de cloud' als een manier om alles op te slaan, van duizenden familiefoto's tot miljoenen e-mails, zonder dat het ruimte inneemt op je telefoon of computer. Maar al die informatie wordt fysiek opgeslagen op hardware op een externe locatie, zodat je er vanaf meerdere apparaten toegang toe hebt.

De hoeveelheid gegevens die de mensheid nu wil opslaan - van medische dossiers tot grappige kattenvideo's tot afbeeldingen gemaakt door ruimtevaartuigen - explodeert terwijl de capaciteit van bestaande opslagtechnologieën afvlakt.

De opslagkosten op de lange termijn worden opgedreven door de noodzaak om gegevens herhaaldelijk over te zetten naar nieuwere media voordat de informatie verloren gaat. Harde schijven kunnen na drie tot vijf jaar verslijten. Magneetband gaat misschien maar vijf tot zeven mee. Bestandsformaten raken verouderd, en upgrades zijn duur. In de eigen digitale archieven bijvoorbeeld, Warner Bros. migreert proactief inhoud om de drie jaar om degradatieproblemen voor te blijven.

Glasopslag heeft het potentieel om een ​​goedkopere optie te worden, omdat u de gegevens maar één keer op het glas schrijft. Femtosecondelasers - die ultrakorte optische pulsen uitzenden en die vaak worden gebruikt bij LASIK-chirurgie - veranderen permanent de structuur van het glas, zodat de gegevens eeuwenlang kunnen worden bewaard.

Kwartsglas heeft ook geen energie-intensieve airconditioning nodig om materiaal op een constante temperatuur te houden of systemen die vocht uit de lucht verwijderen, die beide de ecologische voetafdruk van grootschalige gegevensopslag kunnen verkleinen.

"We proberen geen dingen te bouwen die je in je huis zet of films van afspeelt. We bouwen opslag die op cloudschaal werkt, " zei Ant Rowstron, partner plaatsvervangend laboratoriumdirecteur van Microsoft Research Cambridge in het Verenigd Koninkrijk, die samenwerkte met de Universiteit van Southampton om Project Silica te ontwikkelen.

"Een groot ding dat we wilden elimineren, is deze dure cyclus van het verplaatsen en herschrijven van gegevens naar de volgende generatie. We willen echt iets dat je op de plank kunt zetten voor 50 of 100 of 1, 000 jaar en vergeet het totdat je het nodig hebt, ' zei Rowstron.

Project Silica is bedoeld om zogenaamde 'koude' gegevens op te slaan - archiefgegevens die een enorme waarde kunnen hebben of die bedrijven moeten onderhouden - maar die niet vaak hoeven te worden geraadpleegd. Dat kunnen medische gegevens zijn die het hele leven van een patiënt moeten worden bewaard, gegevens over financiële regelgeving, juridische contracten, geologische informatie die betrekking heeft op energie-exploratie en bouwplannen die steden moeten vasthouden.

Warner Bros. was zeer geïnteresseerd in het helpen van Microsoft bij het testen van oplossingen die de kosten en inefficiënties in verband met het opslaan van gegevens over deze lange tijdshorizon zouden kunnen verlichten, zei Colf.

"Met de grootste contentbibliotheek in de media- en entertainmentindustrie door vele maatregelen, onze uitdagingen zijn uniek in hun omvang, maar ze zijn zeker niet uniek in termen van het probleem dat we proberen op te lossen, " ze zei.

Digitale gegevens omzetten in fysieke artefacten

Met een bijna 100-jarige geschiedenis in film en televisie, Warner Bros. bezit een van 's werelds diepste en belangrijkste entertainmentbibliotheken. Het opnieuw uitbrengen van oudere films in nieuwe formaten of voor een nieuw publiek is een belangrijk onderdeel van de business. Het is ook een enorme culturele verantwoordelijkheid om enkele van 's werelds meest geliefde verhalen voor altijd te bewaren, zei Colf.

"Stel je voor dat een titel als de 'Wizard of Oz' of een show als 'Friends' niet beschikbaar was voor generatie na generatie om van te genieten, te zien en te begrijpen, "zei ze. "We denken dat dat ondenkbaar is, en daarom nemen we het bewaren en archiveren van onze inhoud uiterst serieus."

Het bedrijf heeft ontslagplannen opgesteld om meerdere worstcasescenario's aan te kunnen:een aardbeving of orkaan die een van de kusten treft, een brand waarbij de blussystemen niet in werking treden of een storing in de klimaatbeheersing waardoor vocht zich kan ophopen en de filmvoorraad verpest.

Het doel is om drie archiefkopieën van elk bezit op verschillende locaties over de hele wereld te bewaren:twee afzonderlijke gedigitaliseerde exemplaren, samen met de originele fysieke kopie op welk medium dan ook een film- of televisie-aflevering of tekenfilm is gemaakt.

Gelukkig, originele filmnegatieven gaan eeuwen mee als ze onder de juiste omstandigheden worden bewaard. Maar voor sommige oudere televisieprogramma's - denk aan afleveringen van 'Alice' die in de jaren zeventig zijn opgenomen - heeft de originele fysieke kopie een beperkte houdbaarheid die migratie naar nieuwere formaten vereist. En voor de films en televisieprogramma's van vandaag die digitaal worden opgenomen, het derde exemplaar van archiefkwaliteit heeft een zeer korte migratiecyclus van drie tot vijf jaar, wat een uitdaging is om te managen.

"Laten we zeggen dat een tv-programma rechtstreeks onze digitale archieven binnendringt; er is niets fysieks, " zei Steven Anastasi, Warner Bros. vice-president voor wereldwijde media-archieven en conserveringsdiensten. "Het digitale bestand komt binnen, maar ik heb niets dat ik in een kluis of in een zoutmijn kan stoppen of iets fysieks dat het gebouw binnenkomt."

Warner Bros. kijkt mogelijk naar Project Silica om een ​​permanent fysiek activum te creëren om belangrijke digitale inhoud op te slaan en duurzame back-upkopieën te leveren. Direct, voor bioscoopreleases die digitaal worden opgenomen, het bedrijf maakt een derde archiefkopie door het terug te converteren naar analoge film. Het splitst het uiteindelijke beeldmateriaal in drie kleurcomponenten:cyaan, magenta en geel - en zet ze elk over op zwart-witfilmnegatieven die niet vervagen zoals kleurenfilms.

Die negatieven worden in een koelopslagarchief geplaatst. In deze goed beheerde kluizen, temperatuur en vochtigheid worden streng gecontroleerd, en luchtsnuffelaars zoeken naar tekenen van chemische ontbinding die op problemen kunnen wijzen. Als ze de film terug nodig hebben, ze moeten die ingewikkelde stappen terugdraaien.

Dat proces is duur, en er zijn nog maar een handvol filmlabs in de wereld die dat kunnen. En het proces is kwalitatief niet optimaal, zei Brad Collar, Warner Bros. senior vice-president van wereldwijde archieven en media-engineering.

"Als we iets digitaal opnemen - met nullen en enen die de pixels op het scherm vertegenwoordigen - en dat afdrukken op een analoog medium dat film wordt genoemd, je vernietigt de oorspronkelijke pixelwaarden. En, zeker, het ziet er best goed uit, maar het is niet omkeerbaar, ' zei Kraag.

"Als we de digitale weergave van die pixels kunnen nemen en op een medium zoals silica kunnen zetten en het precies zo kunnen aflezen als toen het uit de camera kwam, we hebben ons conserveringswerk zo goed mogelijk gedaan. Dat vind ik er zo leuk aan, " hij zei.

Het is niet economisch om archieffilmnegatieven te maken voor elke digitaal opgenomen televisie-aflevering in de Warner Bros.-bibliotheek. Het bedrijf hoopt dat Project Silica een goedkoper, alternatief van hogere kwaliteit voor het maken van fysieke archieven van digitale inhoud.

Er is nog veel werk aan de winkel om die schaal te bereiken - Microsoft-onderzoekers zouden de snelheid waarmee gegevens kunnen worden geschreven en gelezen aanzienlijk moeten verhogen, evenals de dichtheid ervan. Warner Bros. heeft een eigen infrastructuur voor ogen om gegevens uit de glasarchieven te lezen. Maar beide partners zien belofte in hoe ver ze zijn gekomen.

"Als de opslagoplossing van Project Silica zo kosteneffectief en schaalbaar blijkt te zijn als het zou kunnen zijn - en we erkennen allemaal dat het nog in de kinderschoenen staat - zouden we graag zien dat dit door andere studio's en onze collega's en andere industrieën wordt aangenomen, ' zei Kolf.

"Als het voor ons werkt, we zijn er vast van overtuigd dat dit een voordeel zal zijn voor iedereen die inhoud wil bewaren en archiveren, " ze zei.

Opslag ontwerpen voor de cloud

Het is onmogelijk om te weten hoeveel informatie er verloren is gegaan, omdat niemand de waarde ervan destijds besefte - van stomme films waarvan niemand had gedacht dat ze ooit buiten een theater zouden worden gezien tot historische gegevens waar moderne analytische tools en AI nieuwe inzichten uit zouden kunnen halen.

Een van de doelen van Microsoft's volgende generatie opslagonderzoek, die parallelle inspanningen omvat om gegevens in DNA op te slaan, is om oplossingen te ontwikkelen die goedkoop genoeg en moeiteloos genoeg zijn, zodat u niet echt hoeft te kiezen of u uw gegevens wilt opslaan, zegt het bedrijf.

Microsoft-onderzoekers hebben jarenlang geprobeerd om daar te komen met technologieën die momenteel in datacenters worden gebruikt. Maar de maat, vorm en beperkingen van zaken als het opspoelen van tape en draaiende schijven - die allemaal zijn uitgevonden voor andere doeleinden lang voordat de cloud bestond - konden hen gewoon niet de gewenste winst opleveren.

"Eventueel, we dachten gewoon 'kunnen we iets van de grond af bouwen voor de cloud dat niets anders hoeft te doen?'" zei Rowstron.

Ze lanceerden een samenwerking met het Optoelectronic Research Centre van de Universiteit van Southampton, waar onderzoekers oorspronkelijk demonstreerden hoe gegevens in glas konden worden opgeslagen met femtosecondelasers. Met investering van Azure, Microsoft's Cambridge, VK, lab bouwde een interdisciplinair team van natuurkundigen, optica experts, elektrotechnici en onderzoekers met een opslagachtergrond om de technologie verder te ontwikkelen.

Vanaf dat moment, het Microsoft Research-team heeft enorme vooruitgang geboekt op het gebied van snelheid en precisie. Ze hebben ook nauw samengewerkt met hun Azure-tegenhangers om Project Silica te ontwerpen met de dagelijkse uitdagingen en vereisten van commerciële cloudopslag in gedachten.

"Door al hun input en meedenken in het project vanaf dag 1 te krijgen, betekent dit dat we aan het eind iets gaan genereren dat echt bruikbaar is voor hen. " Rowstron zei over de relatie met het Azure-productteam.

Project Silica's infrarood lasers coderen gegevens in "voxels, " het driedimensionale equivalent van de pixels waaruit een plat beeld bestaat. In tegenstelling tot andere optische opslagmedia die gegevens op het oppervlak van iets schrijven, Project Silica slaat gegevens op in het glas zelf. Een stuk glas van 2 mm dik, bijvoorbeeld, kan meer dan 100 lagen voxels bevatten.

Gegevens worden in elke voxel gecodeerd door de sterkte en oriëntatie van intense laserpulsen te veranderen die het glas fysiek vervormen. Het lijkt een beetje op het creëren van omgekeerde ijsbergen op nanoschaalniveau, met verschillende dieptes en maten en groeven die ze uniek maken.

Om de gegevens terug te lezen, machine learning-algoritmen decoderen de patronen die ontstaan ​​wanneer gepolariseerd licht door het glas schijnt. In tegenstelling tot tapeopslag - wat tijd kost om op de plaats te komen die u wilt lezen - kunnen de algoritmen snel op elk punt binnen het glazen vierkant invallen, mogelijk de vertragingstijd bij het ophalen van informatie verminderen.

"Als je oud genoeg bent om je het terugspoelen en doorsturen van nummers op cassettebandjes te herinneren, het kan even duren om bij het gewenste onderdeel te komen, " zei Richard Zwart, Hoofdonderzoekssoftware-engineer van Microsoft. "Daarentegen, het is erg snel om terug te lezen van glas omdat je tegelijkertijd binnen de x-, y- of z-as kunt bewegen."

In tegenstelling tot breekbare wijnglazen of gloeilampen, de vierkanten van kwartsglas die worden gebruikt voor gegevensopslag zijn verrassend moeilijk te vernietigen. Vroegtijdig, het onderzoeksteam probeerde er een te bakken in een oven op 500 graden, magnetron, het koken, schuren met staalwol. En als ze de gegevens teruglezen, het was er allemaal nog.

Dat was volkomen logisch voor de Warner Bros.-archivaris, die jaren geleden dozen met Superman-radioseries ontdekte die in de jaren veertig waren opgenomen op stukken glas van recordformaat.

"We hebben eigenlijk spelers gevonden waar we deze dingen op kunnen spelen, en ze waren net zo goed omdat ze op glas werden bewaard. En we waren in staat om die prachtige stukken inhoud te digitaliseren en op te slaan, ' zei Kraag.

"Dus nu is een van onze oudste activa in onze kluis glas en een van de nieuwste technologieën in onze kluis is glas. En ze zijn allebei Superman. Dus we hebben de cirkel echt rond, " hij zei.