onderzoekers, van biochemici tot materiaalwetenschappers, hebben lang vertrouwd op de rijke verscheidenheid aan organische moleculen om dringende uitdagingen op te lossen. Sommige moleculen kunnen nuttig zijn bij de behandeling van ziekten, anderen voor het aansteken van onze digitale displays, weer anderen voor pigmenten, verven, en kunststoffen. De unieke eigenschappen van elk molecuul worden bepaald door zijn structuur, dat wil zeggen:door de connectiviteit van de samenstellende atomen. Zodra een veelbelovende structuur is geïdentificeerd, er blijft de moeilijke taak om het beoogde molecuul te maken via een reeks chemische reacties. Maar welke?

Organische chemici werken over het algemeen achteruit van het doelmolecuul naar de uitgangsmaterialen met behulp van een proces dat retrosynthetische analyse wordt genoemd. Tijdens dit proces, de chemicus wordt geconfronteerd met een reeks complexe en onderling gerelateerde beslissingen. Bijvoorbeeld, van de tienduizenden verschillende chemische reacties, welke moet je kiezen om het doelmolecuul te maken? Zodra dat besluit is genomen, je kunt merken dat je meerdere reactantmoleculen hebt die nodig zijn voor de reactie. Als deze moleculen niet te koop zijn, hoe selecteer je dan de juiste reacties om ze te produceren? Intelligent kiezen wat te doen bij elke stap van dit proces is van cruciaal belang bij het navigeren door het enorme aantal mogelijke paden.

Onderzoekers van Columbia Engineering hebben een nieuwe techniek ontwikkeld op basis van versterkingsleren die een neuraal netwerkmodel traint om de "beste" reactie bij elke stap van het retrosynthetische proces correct te selecteren. Deze vorm van AI biedt een raamwerk voor onderzoekers om chemische syntheses te ontwerpen die door de gebruiker gespecificeerde doelstellingen, zoals synthesekosten, veiligheid, en duurzaamheid. De nieuwe aanpak, gepubliceerd op 31 mei door ACS Centrale Wetenschap , is succesvoller (met ~ 60%) dan bestaande strategieën om dit uitdagende zoekprobleem op te lossen.

"Reinforcement learning heeft computerspelers gecreëerd die veel beter zijn dan mensen in het spelen van complexe videogames. Misschien is retrosynthese niet anders! Deze studie geeft ons de hoop dat algoritmen voor versterkingsleren misschien ooit beter zullen zijn dan menselijke spelers bij het 'spel' van retrosynthese, " zegt Alan Aspuru-Guzik, hoogleraar scheikunde en informatica aan de Universiteit van Toronto, die niet bij het onderzoek betrokken was.

Het team omschreef de uitdaging van retrosynthetische planning als een spel zoals schaken en Go, waarbij het combinatorische aantal mogelijke keuzes astronomisch is en de waarde van elke keuze onzeker totdat het syntheseplan is voltooid en de kosten ervan worden geëvalueerd. In tegenstelling tot eerdere onderzoeken die heuristische scorefuncties gebruikten - eenvoudige vuistregels - om retrosynthetische planning te begeleiden, deze nieuwe studie gebruikte technieken voor het leren van versterking om beoordelingen te maken op basis van de eigen ervaring van het neurale model.

"We zijn de eersten die versterkingsleren toepassen op het probleem van retrosynthetische analyse, " zegt Kyle Bishop, universitair hoofddocent chemische technologie. "Vanuit een staat van volledige onwetendheid, waarbij het model absoluut niets weet van strategie en willekeurig reacties toepast, het model kan oefenen en oefenen totdat het een strategie vindt die beter presteert dan een door de mens gedefinieerde heuristiek."

In hun studie hebben Het team van Bishop concentreerde zich op het gebruik van het aantal reactiestappen als maatstaf voor wat een "goede" synthetische route maakt. Ze hadden hun leermodel voor versterking op maat gemaakt met dit doel voor ogen. Met behulp van gesimuleerde ervaring, het team trainde het neurale netwerk van het model om de verwachte synthesekosten of waarde van een bepaald molecuul te schatten op basis van een weergave van de moleculaire structuur.

Het team is van plan om in de toekomst verschillende doelen te onderzoeken, bijvoorbeeld, het model trainen om de kosten te minimaliseren in plaats van het aantal reacties, of om moleculen te vermijden die giftig kunnen zijn. De onderzoekers proberen ook het aantal simulaties te verminderen dat nodig is om het model zijn strategie te leren, omdat het trainingsproces nogal rekenkundig duur was.

"We verwachten dat ons retrosynthesespel binnenkort de weg van schaken en Go zal volgen, waarin autodidactische algoritmen consequent beter presteren dan menselijke experts, ' merkt Bishop op. 'En we verwelkomen concurrentie. Net als bij computerprogramma's voor het schaken, concurrentie is de motor voor verbeteringen in de state-of-the-art, en we hopen dat anderen op ons werk kunnen voortbouwen om nog betere prestaties te laten zien."

De studie is getiteld "Retrosynthetische planning leren door middel van gesimuleerde ervaring."