Onderzoekers van de McKelvey School of Engineering aan de Washington University in St. Louis hebben een algoritme voor machinaal leren ontwikkeld dat een continu 3D-model van cellen kan maken van een gedeeltelijke set 2D-afbeeldingen die zijn gemaakt met dezelfde standaard microscopie-tools die tegenwoordig in veel laboratoria worden gevonden .

Hun bevindingen werden op 16 september gepubliceerd in het tijdschrift Nature Machine Intelligence .

"We trainen het model op de set van digitale beelden om een ​​continue weergave te krijgen", zegt Ulugbek Kamilov, assistent-professor elektrische en systeemtechniek en informatica en engineering. "Nu kan ik het laten zien zoals ik wil. Ik kan soepel inzoomen en er is geen pixelvorming."

De sleutel tot dit werk was het gebruik van een neuraal veldnetwerk, een bepaald soort machine learning-systeem dat een mapping leert van ruimtelijke coördinaten naar de overeenkomstige fysieke grootheden. Wanneer de training is voltooid, kunnen onderzoekers elke coördinaat aanwijzen en kan het model de afbeeldingswaarde op die locatie leveren.

Een bijzonder sterk punt van neurale veldnetwerken is dat ze niet hoeven te worden getraind op grote hoeveelheden vergelijkbare gegevens. In plaats daarvan, zolang er voldoende 2D-afbeeldingen van het monster zijn, kan het netwerk het in zijn geheel weergeven, van binnen en van buiten.

Het beeld dat wordt gebruikt om het netwerk te trainen, is net als elk ander microscopisch beeld. In wezen wordt een cel van onderaf verlicht; het licht gaat er doorheen en wordt aan de andere kant opgevangen, waardoor een beeld ontstaat.

"Omdat ik wat zicht op de cel heb, kan ik die beelden gebruiken om het model te trainen," zei Kamilov. Dit wordt gedaan door het model informatie te geven over een punt in het monster waar het beeld een deel van de interne structuur van de cel heeft vastgelegd.

Dan doet het netwerk zijn best om die structuur opnieuw te creëren. Als de uitvoer verkeerd is, wordt het netwerk aangepast. Als het klopt, wordt dat pad versterkt. Zodra de voorspellingen overeenkomen met metingen in de echte wereld, is het netwerk klaar om delen van de cel in te vullen die niet zijn vastgelegd door de originele 2D-beelden.

Het model bevat nu informatie over een volledige, continue weergave van de cel. Het is niet nodig om een ​​afbeeldingsbestand met veel gegevens op te slaan, omdat het altijd opnieuw kan worden gemaakt door het neurale veldnetwerk.

En, zei Kamilov, het model is niet alleen een gemakkelijk op te slaan, waarheidsgetrouwe weergave van de cel, maar in veel opzichten is het ook nuttiger dan het echte werk.

"Ik kan elke coördinaat invoeren en die weergave genereren", zei hij. "Of ik kan vanuit verschillende hoeken geheel nieuwe views genereren." Hij kan het model gebruiken om een ​​cel als een tol rond te draaien of in te zoomen om het van dichterbij te bekijken; het model gebruiken om andere numerieke taken uit te voeren; of voer het zelfs in een ander algoritme in. + Verder verkennen

Hoe deep learning-algoritmen nauwkeurige afbeeldingen creëren zonder een volledige dataset