Deep learning is een potentieel hulpmiddel voor wetenschappers om meer details te halen uit afbeeldingen met een lage resolutie in microscopie, maar het is vaak moeilijk om voldoende basisgegevens te verzamelen om computers in het proces te trainen. Nutsvoorzieningen, een nieuwe methode ontwikkeld door wetenschappers van het Salk Institute zou de technologie toegankelijker kunnen maken - door afbeeldingen met een hoge resolutie te maken, en ze kunstmatig degraderen.

Het nieuwe gereedschap, die de onderzoekers een "crappifier, " zou het voor wetenschappers aanzienlijk gemakkelijker kunnen maken om gedetailleerde beelden te krijgen van cellen of celstructuren die voorheen moeilijk te observeren waren omdat ze weinig licht nodig hebben, zoals mitochondriën, die kunnen delen wanneer ze worden benadrukt door de lasers die worden gebruikt om ze te verlichten. Het zou ook kunnen helpen microscopie te democratiseren, waardoor wetenschappers beelden met een hoge resolutie kunnen vastleggen, zelfs als ze geen toegang hebben tot krachtige microscopen. De bevindingen werden op 8 maart gepubliceerd, 2021, in het journaal Natuurmethoden .

"We investeren miljoenen dollars in deze microscopen, en we worstelen nog steeds om de grenzen te verleggen van wat ze kunnen doen, " zegt Uri Manor, directeur van de Waitt Advanced Biophotonics Core Facility in Salk. "Dat is het probleem dat we probeerden op te lossen met deep learning."

Deep learning is een vorm van kunstmatige intelligentie (AI) waarbij computeralgoritmen leren en verbeteren door voorbeelden te bestuderen. Om deep learning te gebruiken om microscoopbeelden te verbeteren, hetzij door de resolutie (scherpte) te verbeteren of door achtergrondruis te verminderen, zou het systeem veel voorbeelden moeten krijgen van afbeeldingen met zowel hoge als lage resolutie. Dat is een probleem, omdat het vastleggen van perfect identieke microscopiebeelden in twee afzonderlijke belichtingen moeilijk en duur kan zijn. Het is vooral een uitdaging bij het afbeelden van levende cellen die tijdens het proces kunnen bewegen.

Dat is waar de crappifier binnenkomt. Volgens Manor, de methode neemt afbeeldingen van hoge kwaliteit en degradeert ze op rekenkundige wijze, zodat ze er ongeveer uitzien als de afbeeldingen met de laagste lage resolutie die het team zou krijgen.

Het team van Manor toonde afbeeldingen met een hoge resolutie en hun gedegradeerde tegenhangers van de deep learning-software, genaamd Point-Scanning Super-Resolution, of PSSR. Na bestudering van de gedegradeerde beelden, het systeem was in staat om te leren hoe afbeeldingen die van nature van slechte kwaliteit waren, konden worden verbeterd.

Dat is belangrijk omdat, vroeger, computersystemen die leerden op kunstmatig gedegradeerde gegevens hadden nog steeds moeite wanneer ze ruwe gegevens uit de echte wereld kregen aangeboden.

"We hebben een heleboel verschillende afbraakmethoden geprobeerd, en we hebben er een gevonden die echt werkt, ", zegt Manor. "Je kunt een model trainen op je kunstmatig gegenereerde gegevens, en het werkt echt op gegevens uit de echte wereld."

"Met onze methode mensen kunnen profiteren van deze krachtige, deep learning-technologie zonder veel tijd of middelen te investeren, " zegt Linjing Fang, beeldanalysespecialist bij de Waitt Advanced Biophotonics Core Facility, en hoofdauteur op het papier. "U kunt reeds bestaande gegevens van hoge kwaliteit gebruiken, degraderen, en een model trainen om de kwaliteit van een afbeelding met een lagere resolutie te verbeteren."

Het team toonde aan dat PSSR werkt in zowel elektronenmicroscopie als met fluorescentie-live-celbeelden - twee situaties waarin het buitengewoon moeilijk of onmogelijk kan zijn om de dubbele hoge- en lage resolutiebeelden te verkrijgen die nodig zijn om AI-systemen te trainen. Terwijl de studie de methode aantoonde op afbeeldingen van hersenweefsel, Manor hoopt dat het in de toekomst ook op andere systemen van het lichaam kan worden toegepast.

Hij hoopt ook dat het ooit kan worden gebruikt om microscopische beeldvorming met hoge resolutie breder toegankelijk te maken. Momenteel, de krachtigste microscopen ter wereld kunnen meer dan een miljoen dollar kosten, vanwege de precisietechniek die nodig is om afbeeldingen met een hoge resolutie te maken. "Een van onze visies voor de toekomst is om te kunnen beginnen met het vervangen van een aantal van die dure componenten door deep learning, "Manor zegt, "Zo zouden we microscopen goedkoper en toegankelijker kunnen maken."