MIT-onderzoekers hebben een nieuwe methode bedacht om meer informatie te halen uit afbeeldingen die worden gebruikt om machinale leermodellen te trainen, inclusief degenen die medische scans kunnen analyseren om hersenaandoeningen te diagnosticeren en te behandelen.

Een actief nieuw gebied in de geneeskunde omvat het trainen van diepgaande leermodellen om structurele patronen in hersenscans te detecteren die verband houden met neurologische ziekten en aandoeningen, zoals de ziekte van Alzheimer en multiple sclerose. Maar het verzamelen van de trainingsgegevens is arbeidsintensief:alle anatomische structuren in elke scan moeten afzonderlijk worden geschetst of met de hand worden geëtiketteerd door neurologische experts. En, in sommige gevallen, zoals voor zeldzame hersenaandoeningen bij kinderen, in de eerste plaats zijn mogelijk slechts enkele scans beschikbaar.

In een paper gepresenteerd op de recente conferentie over computervisie en patroonherkenning, de MIT-onderzoekers beschrijven een systeem dat gebruik maakt van een enkelvoudig gelabelde scan, samen met ongelabelde scans, om automatisch een enorme dataset van verschillende trainingsvoorbeelden te synthetiseren. De dataset kan worden gebruikt om machine learning-modellen beter te trainen om anatomische structuren in nieuwe scans te vinden - hoe meer trainingsgegevens, hoe beter die voorspellingen.

De kern van het werk is het automatisch genereren van gegevens voor het "beeldsegmentatie"-proces, die een afbeelding opdeelt in gebieden met pixels die betekenisvoller en gemakkelijker te analyseren zijn. Om dit te doen, het systeem maakt gebruik van een convolutioneel neuraal netwerk (CNN), een machine learning-model dat een krachtpatser is geworden voor beeldverwerkingstaken. Het netwerk analyseert veel ongelabelde scans van verschillende patiënten en verschillende apparatuur om anatomische, helderheid, en contrastvariaties. Vervolgens, het past een willekeurige combinatie van die geleerde variaties toe op een enkele gelabelde scan om nieuwe scans te synthetiseren die zowel realistisch als nauwkeurig gelabeld zijn. Deze nieuw gesynthetiseerde scans worden vervolgens ingevoerd in een ander CNN dat leert nieuwe afbeeldingen te segmenteren.

"We hopen dat dit beeldsegmentatie toegankelijker maakt in realistische situaties waarin je niet veel trainingsgegevens hebt, " zegt eerste auteur Amy Zhao, een afgestudeerde student aan de afdeling Elektrotechniek en Computerwetenschappen (EECS) en Computerwetenschappen en Kunstmatige Intelligentie Laboratorium (CSAIL). “In onze aanpak je kunt leren om de variaties in ongelabelde scans na te bootsen om op intelligente wijze een grote dataset te synthetiseren om je netwerk te trainen."

Er is interesse om het systeem te gebruiken, bijvoorbeeld, om voorspellende analysemodellen te helpen trainen in het Massachusetts General Hospital, Zhao zegt, waar slechts één of twee gelabelde scans kunnen bestaan ​​van bijzonder ongebruikelijke hersenaandoeningen bij kindpatiënten.

Deelnemen aan Zhao op het papier zijn:Guha Balakrishnan, een postdoc in EECS en CSAIL; EECS-hoogleraren Fredo Durand en John Guttag, en senior auteur Adrian Dalca, die ook een faculteitslid radiologie is aan de Harvard Medical School.

De "magie" achter het systeem

Hoewel nu toegepast op medische beeldvorming, het systeem begon eigenlijk als een middel om trainingsgegevens te synthetiseren voor een smartphone-app die informatie over kaarten van het populaire verzamelkaartspel kon identificeren en ophalen, "Magie:de bijeenkomst." Uitgebracht in de vroege jaren 1990, "Magie" heeft meer dan 20, 000 unieke kaarten - waarvan er elke paar maanden meer worden uitgebracht - die spelers kunnen gebruiken om aangepaste speelkaarten te bouwen.

Zhao, een fervent "Magic" speler, wilde een CNN-aangedreven app ontwikkelen die een foto maakte van elke kaart met een smartphonecamera en automatisch informatie zoals prijs en beoordeling uit online kaartdatabases haalde. "Toen ik kaarten uit een spellenwinkel aan het uitzoeken was, Ik was het zat om al hun namen in mijn telefoon in te voeren en beoordelingen en combo's op te zoeken, " Zegt Zhao. "Zou het niet geweldig zijn als ik ze kon scannen met mijn telefoon en die informatie eruit kon halen?"

Maar ze realiseerde zich dat het een zeer zware taak is om computervisie te trainen. "Je zou veel foto's van alle 20 nodig hebben, 000 kaarten, onder alle verschillende lichtomstandigheden en hoeken. Niemand gaat die dataset verzamelen, ' zegt Zhao.

In plaats daarvan, Zhao trainde een CNN op een kleinere dataset van ongeveer 200 kaarten, met 10 verschillende foto's van elke kaart, om te leren hoe je een kaart in verschillende posities kunt kromtrekken. Het berekende verschillende verlichting, hoeken, en reflecties - voor wanneer kaarten in plastic hoezen worden geplaatst - om realistische, vervormde versies van elke kaart in de dataset te synthetiseren. Het was een spannend passieproject, Zhao zegt:"Maar we realiseerden ons dat deze aanpak erg geschikt was voor medische beelden, omdat dit type kromtrekken heel goed past bij MRI's."

geest verdraaien

Magnetische resonantiebeelden (MRI's) zijn samengesteld uit driedimensionale pixels, voxels genoemd. Bij het segmenteren van MRI's, experts scheiden en labelen voxel-regio's op basis van de anatomische structuur die ze bevat. De diversiteit aan scans, veroorzaakt door variaties in individuele hersenen en gebruikte apparatuur, vormt een uitdaging voor het gebruik van machine learning om dit proces te automatiseren.

Sommige bestaande methoden kunnen trainingsvoorbeelden van gelabelde scans synthetiseren met behulp van "data augmentation, die gelabelde voxels in verschillende posities vervormt. Maar deze methoden vereisen dat experts verschillende augmentatierichtlijnen met de hand schrijven, en sommige gesynthetiseerde scans lijken in niets op een realistisch menselijk brein, wat nadelig kan zijn voor het leerproces.

In plaats daarvan, het systeem van de onderzoekers leert automatisch realistische scans te synthetiseren. De onderzoekers trainden hun systeem op 100 niet-gelabelde scans van echte patiënten om ruimtelijke transformaties te berekenen - anatomische overeenkomsten van scan tot scan. Dit genereerde zo veel "stroomvelden, " welk model hoe voxels van de ene scan naar de andere gaan. Tegelijkertijd, het berekent intensiteitstransformaties, die uiterlijke variaties vastleggen die worden veroorzaakt door beeldcontrasten, lawaai, en andere factoren.

Bij het genereren van een nieuwe scan, het systeem past een willekeurig stroomveld toe op de originele gelabelde scan, die rond voxels verschuift totdat het structureel overeenkomt met een echte, ongelabelde scan. Vervolgens, het overlapt een willekeurige intensiteitstransformatie. Eindelijk, het systeem koppelt de labels aan de nieuwe structuren, door te volgen hoe de voxels in het stroomveld bewogen. Uiteindelijk, de gesynthetiseerde scans lijken sterk op de echte, scans zonder label, maar met nauwkeurige labels.

Om hun geautomatiseerde segmentatienauwkeurigheid te testen, de onderzoekers gebruikten Dice-scores, die meten hoe goed de ene 3D-vorm over de andere past, op een schaal van 0 tot 1. Ze vergeleken hun systeem met traditionele segmentatiemethoden - handmatig en geautomatiseerd - op 30 verschillende hersenstructuren over 100 uitgehouden testscans. Grote structuren waren vergelijkbaar nauwkeurig tussen alle methoden. Maar het systeem van de onderzoekers presteerde beter dan alle andere benaderingen op kleinere structuren, zoals de hippocampus, die slechts ongeveer 0,6 procent van een brein beslaat, op volume.

"Dat laat zien dat onze methode beter is dan andere methoden, vooral als je in de kleinere structuren komt, wat erg belangrijk kan zijn bij het begrijpen van ziekte, " Zegt Zhao. "En dat deden we terwijl we maar één handgelabelde scan nodig hadden."

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.