Een diepgaande leerbenadering die oorspronkelijk is ontworpen om computers te leren videogames beter te spelen dan mensen, zou kunnen helpen bij het ontwikkelen van een gepersonaliseerde medische behandeling voor sepsis, een ziekte die ongeveer 300, 000 doden per jaar en waarvoor geen remedie bekend is.

Lawrence Livermore National Laboratory (LLNL), in samenwerking met onderzoekers van de Universiteit van Vermont, onderzoekt hoe diep versterkend leren therapeutische medicijnstrategieën voor sepsis kan ontdekken door een simulatie van het aangeboren immuunsysteem van een patiënt te gebruiken als platform voor virtuele experimenten. Diep versterkend leren is een geavanceerde machine learning-aanpak die oorspronkelijk is ontwikkeld door Google DeepMind om een ​​neuraal netwerk te leren videogames te spelen, alleen pixels als invoer en de score van het spel als leersignaal. De algoritmen overtreffen vaak de menselijke prestaties, ondanks dat ze geen kennis hebben gekregen over de mechanica van het spel.

De deep learning-aanpak van LLNL behandelt de simulatie van het immuunsysteem die door hun medewerkers is ontwikkeld als een videogame. Met behulp van outputs van de simulatie, een "score" op basis van de gezondheid van de patiënt en een optimalisatie-algoritme, het neurale netwerk leert hoe het 12 verschillende cytokinemediatoren - regelgevers van het immuunsysteem - kan manipuleren om de immuunrespons op infectie terug te brengen naar normale niveaus. Het onderzoek verschijnt in een paper gepubliceerd door de International Conference on Machine Learning.

"Het is een complex systeem, " zei LLNL-onderzoeker Dan Faissol, hoofdonderzoeker van het project. "Eerdere onderzoeken waren tot nu toe gebaseerd op het manipuleren van een enkele mediator/cytokine, in het algemeen toegediend met een enkele dosis of in een zeer korte kuur. Wij geloven dat onze aanpak een groot potentieel heeft omdat het veel complexere, out-of-the-box therapeutische strategieën die elke patiënt anders behandelen op basis van de metingen van de patiënt in de loop van de tijd."

De behandelstrategie die de onderzoekers voorstellen is adaptief en gepersonaliseerd, zichzelf verbeteren op een feedbackloop door voortdurend cytokineniveaus te observeren en medicijnen voor te schrijven die specifiek zijn voor de individuele patiënt. Elke run van de simulatie vertegenwoordigt een ander patiënttype en verschillende initiële infectiecondities.

"De uitdaging was om dingen klinisch relevant te houden, ", legt LLNL-onderzoeker Brenden Petersen uit, de technische leiding van het project. "We moesten ervoor zorgen dat alle aspecten van het gesimuleerde probleem relevant waren in de echte wereld - dat de computer geen informatie gebruikte die niet echt beschikbaar zou zijn in een ziekenhuis. Dus, we hebben het neurale netwerk alleen informatie gegeven die daadwerkelijk klinisch kan worden gemeten, zoals cytokineniveaus en celtellingen van een bloedafname."

Gebruikmakend van het op agenten gebaseerde model met diepgaande versterking van leren, onderzoekers identificeerden een behandelingsbeleid dat een overlevingspercentage van 100 procent behaalt voor de patiënten waarop het was getraind, en een mortaliteit van minder dan 1 procent op 500 willekeurig geselecteerde patiënten.

"De simulatie is mechanisch van aard, wat betekent dat we virtueel kunnen experimenteren met medicijnen en medicijncombinaties die nog niet eerder zijn getest om te zien of ze veelbelovend zijn, " zei Faissol. "Het aantal mogelijke behandelingsstrategieën is enorm, vooral bij het overwegen van strategieën voor meerdere geneesmiddelen die in de loop van de tijd variëren. Zonder simulatie te gebruiken, er is geen manier om ze allemaal te evalueren. Het moeilijkste is om een ​​strategie te ontdekken die voor alle soorten patiënten werkt. Ieders infectie is anders, en ieders lichaam is anders."

Het onderzoek van het team heeft aangetoond dat deze adaptieve benadering kan leiden tot nieuwe inzichten, en de onderzoekers hopen anderen te overtuigen om de aanpak van sepsis en andere ziekten over te nemen.

"Onze grote, langetermijnvisie is een 'closed-loop' bedsysteem waarbij metingen van een patiënt worden ingevoerd in een beslissingsondersteunend instrument, die vervolgens de juiste medicijnen in de juiste doses op de juiste tijden toedient, Petersen zei. "Dergelijke behandelingsstrategieën zouden eerst moeten worden doorgelicht en verfijnd in wet-lab- en diermodellen, uiteindelijk het informeren van echte behandelingen."

Petersen zei dat de meeste hardware om zo'n gesloten systeem uit te voeren al bestaat, zoals bij eenvoudigere systemen zoals insulinepompen die constant het bloed controleren en op het juiste moment insuline toedienen.

De diepgaande leeraanpak van het Lab moet nog worden getest in de echte wereld, maar gebaseerd op het succes met behulp van de simulatie, de National Institutes of Health hebben LLNL en de University of Vermont-onderzoekers een subsidie ​​van vijf jaar toegekend om het werk voort te zetten, voornamelijk op sepsis, maar ook op kanker.

"Dit is een spannend project, " zei Garry An, een arts voor intensive care aan de Universiteit van Vermont en computerwetenschapper die de originele versie van de sepsis-simulatie ontwikkelde. "Dit is een ongelooflijk nieuw project dat drie geavanceerde gebieden van computationeel onderzoek samenbrengt:multischaalsimulaties met hoge resolutie van biologische processen, uitbreiding van diep versterkend leren naar biomedisch onderzoek en het gebruik van high-performance computing om alles bij elkaar te brengen."

LLNL's directeur van Bioengineering Shankar Sundaram beschreef de aanpak als "een illustratief voorbeeld van het Lab dat bijdraagt ​​aan de ontwikkeling van een potentiële therapeutische oplossing voor een complex gezondheidsprobleem dat cruciaal is voor onze bioveiligheidsmissie, het toepassen en bevorderen van onze state-of-the-art mogelijkheden op het gebied van wetenschappelijke machine learning en het richten op verbeterde causale, mechanisch inzicht."

LLNL-onderzoekers zijn ook een samenwerking gestart met het Moffitt Cancer Center in Florida om te zien of een vergelijkbare aanpak effectieve strategieën voor medicamenteuze therapie kan leren met behulp van een simulatie van kanker. Moffitt heeft een videogameversie van hun simulatie uitgebracht, genaamd "Cancer Crusade", die op mobiele telefoons draait.

"Een strategie is om het geleerde te crowdsourcen door behandelingen te analyseren die zijn geregistreerd door de best scorende spelers over de hele wereld, "Zei Petersen. "We hebben onze deep learning-aanpak toegepast en willen zien hoe onze berekende behandelingen zich verhouden tot de topspelers - een 'man vs. machine'-confrontatie."

The sepsis project also has led to a new effort at LLNL researching adaptive and autonomous cyberdefense strategies using simulation and deep reinforcement learning.