Een nieuwe MIT-studie vindt "gezondheidskennisgrafieken, " die verbanden tussen symptomen en ziekten laten zien en bedoeld zijn om te helpen bij de klinische diagnose, kunnen tekortschieten voor bepaalde aandoeningen en patiëntenpopulaties. De resultaten suggereren ook manieren om hun prestaties te verbeteren.

Gezondheidskennisgrafieken zijn meestal handmatig samengesteld door deskundige clinici, maar dat kan een moeizaam proces zijn. Onlangs, onderzoekers hebben geëxperimenteerd met het automatisch genereren van deze kennisgrafieken uit patiëntgegevens. Het MIT-team heeft onderzocht hoe goed dergelijke grafieken standhouden bij verschillende ziekten en patiëntenpopulaties.

In een paper gepresenteerd op het Pacific Symposium on Biocomputing 2020, de onderzoekers evalueerden automatisch gegenereerde gezondheidskennisgrafieken op basis van echte datasets van meer dan 270, 000 patiënten met bijna 200 ziekten en meer dan 770 symptomen.

Het team analyseerde hoe verschillende modellen gebruikmaakten van elektronische medische dossiers (EPD) met medische en behandelingsgeschiedenissen van patiënten, om automatisch patronen van ziekte-symptoomcorrelaties te "leren". Ze ontdekten dat de modellen bijzonder slecht presteerden voor ziekten met hoge percentages zeer oude of jonge patiënten, of hoge percentages mannelijke of vrouwelijke patiënten, maar dat het kiezen van de juiste gegevens voor het juiste model, en het aanbrengen van andere wijzigingen, prestaties kan verbeteren.

Het idee is om onderzoekers richtlijnen te geven over de relatie tussen de grootte van de dataset, modelspecificatie, en prestaties bij het gebruik van elektronische medische dossiers om grafieken met gezondheidskennis op te bouwen. Dat zou kunnen leiden tot betere instrumenten om artsen en patiënten te helpen bij medische besluitvorming of om nieuwe relaties tussen ziekten en symptomen te zoeken.

"In de afgelopen 10 jaar Het gebruik van EPD's in ziekenhuizen is omhooggeschoten, dus er is een enorme hoeveelheid gegevens die we hopen te ontginnen om deze grafieken van ziekte-symptoomrelaties te leren, " zegt eerste auteur Irene Y. Chen, een afgestudeerde student aan de afdeling Elektrotechniek en Informatica (EECS). "Het is essentieel dat we deze grafieken nauwkeurig onderzoeken, zodat ze kunnen worden gebruikt als de eerste stappen van een diagnostisch hulpmiddel."

Bij Chen op het papier staan ​​Monica Agrawal, een afgestudeerde student in MIT's Computer Science and Artificial Intelligence Laboratory (CSAIL); Steven Horng van het Beth Israel Deaconess Medical Center (BIDMC); en EECS-professor David Sontag, die lid is van CSAIL en het Institute for Medical Engineering and Science, en hoofd van de Clinical Machine Learning Group.

Patiënten en ziekten

In gezondheidskennisgrafieken, er zijn honderden knooppunten, die elk een andere ziekte en symptoom vertegenwoordigen. Randen (lijnen) verbinden ziekteknopen, zoals "diabetes, " met gecorreleerde symptoomknooppunten, zoals 'overmatige dorst'. Google lanceerde beroemd zijn eigen versie in 2015, die gedurende honderden uren handmatig werd samengesteld door verschillende clinici en wordt beschouwd als de gouden standaard. Als je nu een ziekte googelt, het systeem geeft bijbehorende symptomen weer.

In een artikel uit 2017 van Nature Scientific Reports, Sontag, Hoorn, en andere onderzoekers gebruikten gegevens van dezelfde 270, 00 patiënten in hun huidige onderzoek - dat tussen 2008 en 2013 van de afdeling spoedeisende hulp van BIDMC kwam - om grafieken met gezondheidskennis op te bouwen. Ze gebruikten drie modelstructuren om de grafieken te genereren, logistische regressie genoemd, naïeve Bayes, en luidruchtige OR. Met behulp van door Google verstrekte gegevens, de onderzoekers vergeleken hun automatisch gegenereerde gezondheidskennisgrafiek met de Google Health Knowledge Graph (GHKG). De grafiek van de onderzoekers presteerde erg goed.

In hun nieuwe werk de onderzoekers deden een rigoureuze foutenanalyse om te bepalen voor welke specifieke patiënten en ziekten de modellen slecht presteerden. Aanvullend, ze experimenteerden met het uitbreiden van de modellen met meer gegevens, van buiten de eerste hulp.

In een proef, ze braken de gegevens op in subpopulaties van ziekten en symptomen. Voor elk model, ze keken naar verbindingslijnen tussen ziekten en alle mogelijke symptomen, en vergeleek dat met de GHKG. In de krant, ze sorteren de bevindingen in de 50 laagste en 50 best presterende ziekten. Voorbeelden van laagpresteerders zijn polycysteus ovariumsyndroom (dat vrouwen treft), allergische astma (zeer zelden), en prostaatkanker (die vooral oudere mannen treft). High performers zijn de meest voorkomende ziekten en aandoeningen, zoals hartritmestoornissen en plantaire fasciitis, dat is weefselzwelling langs de voeten.

Ze ontdekten dat het luidruchtige OK-model het meest robuust was tegen fouten in het algemeen voor bijna alle ziekten en patiënten. Maar de nauwkeurigheid nam af bij alle modellen voor patiënten met veel gelijktijdig voorkomende ziekten en gelijktijdig voorkomende symptomen, evenals patiënten die erg jong zijn of ouder dan 85 jaar. De prestaties leden ook onder patiëntenpopulaties met zeer hoge of lage percentages van welk geslacht dan ook.

Eigenlijk, de onderzoekers veronderstellen, slechte prestaties worden veroorzaakt door patiënten en ziekten die uitbijter voorspellende prestaties hebben, evenals potentiële ongemeten confounders. Oudere patiënten, bijvoorbeeld, hebben de neiging om ziekenhuizen binnen te gaan met meer ziekten en gerelateerde symptomen dan jongere patiënten. Dat betekent dat het voor de modellen moeilijk is om specifieke ziekten te correleren met specifieke symptomen, zegt Chen. "Evenzo, " zij voegt toe, "jonge patiënten hebben niet veel ziekten of even veel symptomen, en als ze een zeldzame ziekte of symptoom hebben, het presenteert niet op een normale manier die de modellen begrijpen."

Gegevens splitsen

De onderzoekers verzamelden ook veel meer patiëntgegevens en creëerden drie verschillende datasets van verschillende granulariteit om te zien of dat de prestaties zou kunnen verbeteren. Voor de 270, 000 bezoeken gebruikt in de oorspronkelijke analyse, de onderzoekers haalden de volledige EPD-geschiedenis van de 140, 804 unieke patiënten, een decennium teruggaan, met in totaal ongeveer 7,4 miljoen annotaties uit verschillende bronnen, zoals doktersaantekeningen.

Keuzes in het proces voor het maken van datasets waren ook van invloed op de modelprestaties. Een van de datasets aggregeert elk van de 140, 400 patiëntgeschiedenissen als één gegevenspunt elk. Een andere dataset behandelt elk van de 7,4 miljoen annotaties als een afzonderlijk datapunt. Een laatste maakt "afleveringen" voor elke patiënt, gedefinieerd als een aaneengesloten reeks bezoeken zonder onderbreking van meer dan 30 dagen, wat een totaal van ongeveer 1,4 miljoen afleveringen oplevert.

Intuïtief, een dataset waarbij de volledige patiëntgeschiedenis wordt samengevoegd tot één gegevenspunt, zou tot een grotere nauwkeurigheid moeten leiden, aangezien de volledige patiëntgeschiedenis in aanmerking wordt genomen. Niet intuïtief, echter, het zorgde er ook voor dat het naïeve Bayes-model slechter presteerde voor sommige ziekten. "Je gaat ervan uit dat de meer intra-patient informatie, des te beter, met machine learning-modellen. Maar deze modellen zijn afhankelijk van de granulariteit van de gegevens die u ze invoert, " zegt Chen. "Het type model dat je gebruikt kan overweldigd raken."

Zoals verwacht, het voeden van demografische informatie van het model kan ook effectief zijn. Bijvoorbeeld, modellen kunnen die informatie gebruiken om alle mannelijke patiënten uit te sluiten voor, zeggen, baarmoederhalskanker voorspellen. En bepaalde ziekten die veel vaker voorkomen bij oudere patiënten, kunnen bij jongere patiënten worden geëlimineerd.

Maar, in een andere verrassing, de demografische informatie verbeterde de prestaties niet voor het meest succesvolle model, dus het verzamelen van die gegevens kan overbodig zijn. Dat is belangrijk, Chen zegt, omdat het samenstellen van gegevens en trainingsmodellen op de gegevens duur en tijdrovend kan zijn. Nog, afhankelijk van het model, het gebruik van tientallen gegevens kan de prestaties mogelijk niet echt verbeteren.

Volgende, de onderzoekers hopen hun bevindingen te gebruiken om een ​​robuust model te bouwen dat in klinische omgevingen kan worden ingezet. Momenteel, de gezondheidskennisgrafiek leert relaties tussen ziekten en symptomen, maar geeft geen directe voorspelling van ziekte op basis van symptomen. "We hopen dat elk voorspellend model en elke medische kennisgrafiek aan een stresstest wordt onderworpen, zodat clinici en machine learning-onderzoekers vol vertrouwen kunnen zeggen:"We vertrouwen erop dat dit een nuttig diagnostisch hulpmiddel is, ', zegt Chen.

Dit verhaal is opnieuw gepubliceerd met dank aan MIT News (web.mit.edu/newsoffice/), een populaire site met nieuws over MIT-onderzoek, innovatie en onderwijs.