Tekstboekbeschrijvingen van hersencellen laten neuronen er eenvoudig uitzien:een lang, ruggengraatachtig centraal axon met vertakkende dendrieten. Individueel genomen, deze zijn misschien gemakkelijk te identificeren en in kaart te brengen, maar in een echt brein, ze lijken meer op een knoestige stapel octopussen, met honderden ledematen verstrengeld. Dit maakt het begrijpen van hoe ze zich gedragen en met elkaar omgaan een grote uitdaging voor neurowetenschappers.

Een manier waarop onderzoekers onze neurale wirwar ontwarren, is door middel van microscopische beeldvorming. Door foto's te maken van zeer dunne hersenlagen en deze in driedimensionale vorm te reconstrueren, het is mogelijk om te bepalen waar de structuren zijn en hoe ze zich verhouden.

Maar dit brengt zijn eigen uitdagingen met zich mee. Afbeeldingen met een hoge resolutie ontvangen, en ze snel vast te leggen om een ​​redelijk deel van de hersenen te bestrijken, is een grote opgave.

Een deel van het probleem ligt in de afwegingen en compromissen die elke fotograaf kent. Open het diafragma lang genoeg om veel licht binnen te laten en elke beweging zal een onscherpte veroorzaken; maak snel een foto om onscherpte te voorkomen en het onderwerp kan donker worden.

Maar andere problemen zijn specifiek voor de methoden die worden gebruikt bij hersenreconstructie. Voor een, hersenbeeldvorming met hoge resolutie duurt enorm lang. Voor een ander, in de veelgebruikte techniek die seriële blokgezichtselektronenmicroscopie wordt genoemd, een stuk weefsel wordt in een blok gesneden, het oppervlak wordt afgebeeld, een dun gedeelte wordt weggesneden en het blok wordt dan opnieuw afgebeeld; het proces wordt herhaald totdat het is voltooid. Echter, de elektronenstraal die de microscopische afbeeldingen maakt, kan het monster zelfs doen smelten, het onderwerp dat het probeert vast te leggen, vervormt.

Uri landhuis, directeur van de Waitt Advanced Biophotonics Core Facility aan het Salk Institute for Biological Studies in San Diego, is verantwoordelijk voor het runnen van talrijke krachtige microscopen die door onderzoekers in het hele land worden gebruikt. Hij is ook belast met het identificeren en inzetten van nieuwe microscopen en het ontwikkelen van oplossingen voor problemen waarmee de huidige technologieën worstelen.

"Als iemand met een probleem komt en onze instrumenten kunnen het niet, of we kunnen er geen vinden die dat wel kan, het is mijn taak om dat vermogen te ontwikkelen, ' zei Manor.

Zich bewust van de beeldvormingsproblemen waarmee neurowetenschappers worden geconfronteerd, hij besloot dat een nieuwe aanpak nodig was. Als hij de fysieke grenzen van microscopie had bereikt, landhuis beredeneerd, misschien kunnen betere software en algoritmen een oplossing bieden.

"Er zijn geavanceerde wiskundige en computationele benaderingen die decennialang zijn bestudeerd om ruis te verwijderen zonder signaal te verwijderen, ' zei Manor. 'Daar ben ik begonnen.'

Werken met Linjing Fang, een specialist in beeldanalyse bij Salk, ze bedachten een strategie om GPU's (grafische verwerkingseenheden) te gebruiken om microscopische beeldverwerking te versnellen.

Ze begonnen met een beeldverwerkingstruc genaamd deconvolutie die gedeeltelijk was ontwikkeld door John Sedat, een van de wetenschappelijke helden van Manor en een mentor bij Salk. De benadering werd gebruikt door astronomen die afbeeldingen van sterren en planeten wilden oplossen met een grotere resolutie dan ze rechtstreeks met telescopen konden bereiken.

"Als u de optische eigenschappen van uw systeem kent, dan kunt u uw afbeeldingen onscherp maken en twee keer de resolutie van het origineel krijgen, " hij legde uit.

Ze geloofden dat deep learning - een vorm van machine learning die meerdere analyselagen gebruikt om geleidelijk hogere functies uit onbewerkte invoer te extraheren - zeer nuttig zou kunnen zijn voor het verhogen van de resolutie van microscoopbeelden, een proces dat superresolutie wordt genoemd.

MRI's, satellietbeelden, en foto's hadden allemaal als testcases gediend om op diep leren gebaseerde, superresolutiebenaderingen, maar er was opmerkelijk weinig gedaan in de microscopie. Misschien, landhuis dacht, hetzelfde zou kunnen worden gedaan met microscopie.

De eerste stap bij het trainen van een deep learning-systeem is het vinden van een groot aantal gegevens. Voor deze, Manor werkte samen met Kristen Harris, een professor in de neurowetenschappen aan de Universiteit van Texas in Austin en een van de toonaangevende experts op het gebied van hersenmicroscopie.

"Haar protocollen worden over de hele wereld gebruikt. Ze deed open wetenschap voordat het cool was, "Ze krijgt ongelooflijk gedetailleerde beelden en werkt al een aantal jaren samen met Salk."

Harris bood Manor zoveel gegevens aan als hij nodig had voor de training. Vervolgens, met behulp van de Maverick-supercomputer in het Texas Advanced Computing Center (TACC) en meerdere dagen continu rekenen, hij creëerde analogen met lage resolutie van de microscoopbeelden met hoge resolutie en trainde een diepgaand lerend netwerk op die beeldparen.

"TACC is ongelooflijk behulpzaam geweest, "Zei Manor. "Ze gaven ons hardware om training te doen voordat ons haar uitviel en gaven ons rekenkundige expertise en hielpen zelfs bij het uitvoeren van computationele experimenten om ons proces te verfijnen."

Helaas, De eerste pogingen van Manor om superresolutieversies van afbeeldingen met een lage resolutie te maken, waren niet succesvol. "Toen we probeerden het systeem te testen op gegevens met een lage resolutie uit de echte wereld die veel luidruchtiger waren dan onze trainingsgegevens met een lage resolutie, het netwerk deed het niet zo goed."

Manor had nog een meevaller toen Jeremy Howard, oprichter van fast.ai, en Fred Monroe, van het Wicklow AI Medical Research Initiative (WAMRI.ai), kwam naar Salk op zoek naar onderzoeksproblemen die baat zouden kunnen hebben bij deep learning.

"Ze waren enthousiast over wat we deden. Het was een perfecte toepassing voor hun deep learning-methoden en hun wens om deep learning naar nieuwe domeinen te brengen, " Manor herinnerde zich. "We begonnen een aantal van hun trucs te gebruiken die ze hadden ontwikkeld, met inbegrip van crappificatie."

Op het moment van hun ontmoeting, Manor en Fang hadden rekenkundig de resolutie van hun afbeeldingen verlaagd voor trainingsparen, maar ze waren nog niet crap genoeg. Ze gebruikten ook een soort deep learning-architectuur die generatieve adversariële netwerken (GAN's) worden genoemd.

"Ze stelden voor om rekenkundig meer ruis toe te voegen, "herinnerde hij zich. "'Gooi er wat wazigheid in, en verschillende soorten lawaai, om beelden echt waardeloos te maken.' Ze hadden een bibliotheek met crappificaties gebouwd en we hebben onze afbeeldingen verprutst totdat het veel meer leek op, of nog erger dan hoe het eruit ziet als je een afbeelding met een lage resolutie in de wereld verwerft. Ze hebben ons ook geholpen om over te stappen van GAN's naar U-Net-architecturen, die veel gemakkelijker te trainen zijn en beter in het verwijderen van ruis."

Manor heeft zijn AI-systeem opnieuw getraind met behulp van de nieuwe afbeeldingsparen en deep learning-architectuur en ontdekte dat het afbeeldingen met een hoge resolutie kon maken die erg leken op de afbeeldingen die oorspronkelijk waren gemaakt met een grotere vergroting. Bovendien, getrainde experts waren in staat hersencelkenmerken te vinden in verminkte versies van de monsters met een lage resolutie die niet in de originelen konden worden gedetecteerd.

Eindelijk, ze stellen hun systeem op de proef:de methode toepassen op afbeeldingen die in andere laboratoria zijn gemaakt met verschillende microscopen en preparaten.

"Meestal bij diep leren, je moet het model opnieuw trainen en verfijnen voor verschillende datasets, "Zei Manor. "Maar we waren heel blij dat ons systeem zo goed werkte voor een breed scala aan monsters en afbeeldingen."

Het succes betekende dat monsters konden worden afgebeeld zonder risico op schade, en dat ze minstens 16 keer zo snel konden worden verkregen als traditioneel gedaan.

"Het kan meer dan honderd jaar duren om het hele brein met volledige resolutie in beeld te brengen, Manor legde uit. het wordt misschien 10 jaar, dat is veel praktischer."

Het team publiceerde hun resultaten in Biorxiv, presenteerde ze op de F8 Facebook Developer Conference en de 2e NSF NeuroNex 3DEM Workshop, en maakte de code beschikbaar via GitHub.

"Niet alleen werkt deze aanpak. Maar ons trainingsmodel kan meteen worden gebruikt, "Zei Manor. "Het is extreem snel en gemakkelijk. En iedereen die deze tool wil gebruiken, kan binnenkort inloggen op 3DEM.org [een webgebaseerd onderzoeksplatform gericht op het ontwikkelen en verspreiden van nieuwe technologieën voor driedimensionale elektronenmicroscopie met verbeterde resolutie, ondersteund door de National Science Foundation] en hun gegevens erdoorheen halen."

"Uri bevordert dit idee van beeldverbetering echt door middel van diepgaand leren, ' zei Harris. 'Uiteindelijk, we hopen dat we geen waardeloze afbeeldingen zullen hebben. Maar op dit moment, veel van de afbeeldingen hebben dit probleem, dus er zullen plaatsen zijn waar je de gaten wilt opvullen op basis van wat er in de aangrenzende secties aanwezig is."

Manor hoopt software te ontwikkelen die reconstructie on-the-fly kan doen, zodat onderzoekers meteen superresolutiebeelden kunnen zien, in plaats van in de nabewerking. Hij ziet ook het potentieel voor het verbeteren van de prestaties van de miljoenen microscopen die al in laboratoria over de hele wereld worden gebruikt en voor het vanaf de grond opbouwen van een gloednieuwe microscoop die gebruikmaakt van AI-mogelijkheden.

"Minder duur, hogere resolutie, sneller - er zijn veel gebieden waarop we kunnen verbeteren."

Met een proof of concept op zijn plaats, Manor en zijn team hebben een tool ontwikkeld die vooruitgang in de neurowetenschappen mogelijk maakt. Maar zonder toevallige samenwerkingen met Kristen Harris, Howard en Monroe en TACC, het is misschien nooit tot wasdom gekomen.

"Het is een prachtig voorbeeld van hoe je echt vooruitgang kunt boeken in de wetenschap. Je moet experts hebben die open staan ​​om samen te werken met mensen van waar ook ter wereld om iets te laten gebeuren, "Zei Manor. "Ik voel me zo gelukkig dat ik in een positie ben geweest waarin ik kon communiceren met al deze teamgenoten van wereldklasse."