science >> Wetenschap >  >> Fysica

Onderzoekers zetten 2D-beelden om in 3D met behulp van deep learning

Afbeelding vertegenwoordigt Deep-Z, een op kunstmatige intelligentie gebaseerd raamwerk dat een 2D-fluorescentiemicroscoopbeeld (onderaan) digitaal kan herfocussen om 3D-plakjes te produceren (links). Krediet:Ozcan Lab/UCLA

Een UCLA-onderzoeksteam heeft een techniek ontwikkeld die de mogelijkheden van fluorescentiemicroscopie uitbreidt, waarmee wetenschappers delen van levende cellen en weefsel nauwkeurig kunnen labelen met kleurstoffen die gloeien onder speciale verlichting. De onderzoekers gebruiken kunstmatige intelligentie om tweedimensionale afbeeldingen om te zetten in stapels virtuele driedimensionale plakjes die activiteit in organismen laten zien.

In een studie gepubliceerd in Natuurmethoden , de wetenschappers meldden ook dat hun raamwerk, genaamd "Deep-Z, " fouten of aberraties in afbeeldingen kon herstellen, zoals wanneer een monster wordt gekanteld of gebogen. Verder, ze toonden aan dat het systeem 2D-beelden van het ene type microscoop kon maken en virtueel 3D-beelden van het monster kon maken alsof ze door een ander waren verkregen, meer geavanceerde microscoop.

"Dit is een zeer krachtige nieuwe methode die mogelijk wordt gemaakt door diepgaand leren om 3D-beeldvorming van levende exemplaren uit te voeren, met de minste blootstelling aan licht, die giftig kunnen zijn voor monsters, " zei senior auteur Aydogan Ozcan, UCLA kanselier professor in elektrische en computer engineering en associate director van het California NanoSystems Institute aan de UCLA.

Naast het sparen van specimens van potentieel schadelijke lichtdoses, dit systeem zou biologen en biowetenschappelijke onderzoekers een nieuw hulpmiddel kunnen bieden voor 3D-beeldvorming dat eenvoudiger is, sneller en veel goedkoper dan de huidige methoden. De mogelijkheid om aberraties te corrigeren kan wetenschappers die levende organismen bestuderen in staat stellen gegevens te verzamelen van afbeeldingen die anders onbruikbaar zouden zijn. Onderzoekers kunnen ook virtueel toegang krijgen tot dure en gecompliceerde apparatuur.

Dit onderzoek bouwt voort op een eerdere techniek die Ozcan en zijn collega's ontwikkelden waarmee ze 2D-fluorescentiemicroscoopbeelden in superresolutie konden maken. Beide technieken bevorderen microscopie door te vertrouwen op diep leren - gegevens gebruiken om een ​​neuraal netwerk te "trainen", een computersysteem geïnspireerd op het menselijk brein.

Deep-Z werd geleerd met behulp van experimentele beelden van een scanning fluorescentiemicroscoop, die foto's maakt die op meerdere diepten zijn gefocust om 3D-beeldvorming van monsters te bereiken. In duizenden trainingsruns, het neurale netwerk leerde hoe een 2D-beeld te nemen en nauwkeurige 3D-plakjes op verschillende diepten in een monster af te leiden. Vervolgens, het raamwerk werd blind getest - gevoed met afbeeldingen die geen deel uitmaakten van de training, met de virtuele beelden in vergelijking met de werkelijke 3D-plakjes die zijn verkregen met een scanmicroscoop, zorgen voor een uitstekende match.

Ozcan en zijn collega's pasten Deep-Z toe op afbeeldingen van C. elegans, een rondworm die in de neurowetenschap een veelvoorkomend model is vanwege zijn eenvoudige en goed begrepen zenuwstelsel. Een 2D-film van een worm converteren naar 3D, frame voor frame, de onderzoekers waren in staat om de activiteit van individuele neuronen in het wormlichaam te volgen. En beginnend met een of twee 2D-beelden van C. elegans genomen op verschillende diepten, Deep-Z produceerde virtuele 3D-beelden waarmee het team individuele neuronen in de worm kon identificeren, overeenkomen met de 3D-uitvoer van een scanmicroscoop, behalve met veel minder lichtblootstelling aan het levende organisme.

De onderzoekers ontdekten ook dat Deep-Z 3D-beelden kon produceren van 2D-oppervlakken waar monsters waren gekanteld of gebogen, hoewel het neurale netwerk alleen werd getraind met 3D-plakjes die perfect evenwijdig waren aan het oppervlak van het monster.

"Deze functie was eigenlijk heel verrassend, " zei Yichen Wu, een UCLA-afgestudeerde student die mede-eerste auteur is van de publicatie. "Daarmee, je kunt door krommingen of andere complexe topologie heen kijken die erg moeilijk is om in beeld te brengen."

Bij andere experimenten Deep-Z werd getraind met beelden van twee soorten fluorescentiemicroscopen:wide-field, die het hele monster blootstelt aan een lichtbron; en confocaal, die een laser gebruikt om een ​​monster deel voor deel te scannen. Ozcan en zijn team toonden aan dat hun raamwerk vervolgens 2-D breedveldmicroscoopbeelden van monsters zou kunnen gebruiken om 3D-beelden te produceren die bijna identiek zijn aan die genomen met een confocale microscoop.

Deze conversie is waardevol omdat de confocale microscoop beelden creëert die scherper zijn, met meer contrast, vergeleken met het brede veld. Anderzijds, de groothoekmicroscoop legt beelden vast tegen lagere kosten en met minder technische vereisten.

"Dit is een platform dat algemeen toepasbaar is op verschillende paren microscopen, niet alleen de groothoek-naar-confocale conversie, " zei co-eerste auteur Yair Rivenson, UCLA assistent-adjunct-professor in elektrische en computertechniek. "Elke microscoop heeft zijn eigen voor- en nadelen. Met dit raamwerk, je kunt het beste van twee werelden krijgen door AI te gebruiken om verschillende soorten microscopen digitaal met elkaar te verbinden."

Andere auteurs zijn afgestudeerde studenten Hongda Wang en Yilin Luo, postdoctoraal fellow Eyal Ben-David en Laurent Bentolila, wetenschappelijk directeur van het Advanced Light Microscopy and Spectroscopie Laboratory van het California NanoSystems Institute, alles van UCLA; en Christian Pritz van de Hebreeuwse Universiteit van Jeruzalem in Israël.