We zijn afhankelijk van katalysatoren om van onze melk yoghurt te maken, om Post-It-briefjes te produceren uit papierpulp en om hernieuwbare energiebronnen zoals biobrandstoffen te ontsluiten. Het vinden van optimale katalysatormaterialen voor specifieke reacties vereist moeizame experimenten en rekenintensieve kwantumchemische berekeningen.

Vaak wenden wetenschappers zich tot grafische neurale netwerken (GNN's) om de structurele complexiteit van atomaire systemen vast te leggen en te voorspellen, een efficiënt systeem dat pas kan worden bereikt nadat de nauwgezette conversie van 3D-atoomstructuren naar nauwkeurige ruimtelijke coördinaten in de grafiek is voltooid.

CatBERTa, een Transformer-model voor energievoorspelling, is ontwikkeld door onderzoekers van het College of Engineering van de Carnegie Mellon University als een aanpak om de voorspelling van moleculaire eigenschappen aan te pakken met behulp van machinaal leren.

"Dit is de eerste aanpak waarbij voor deze taak een groot taalmodel (LLM) wordt gebruikt, dus we openen een nieuwe weg voor modellering", zegt Janghoon Ock, Ph.D. kandidaat in het laboratorium van Amir Barati Farimani.

Een belangrijke onderscheidende factor is het vermogen van het model om direct tekst (natuurlijke taal) te gebruiken zonder enige voorbewerking om de eigenschappen van het adsorbaat-katalysatorsysteem te voorspellen. Deze methode is bijzonder nuttig omdat deze gemakkelijk door mensen kan worden geïnterpreteerd, waardoor onderzoekers waarneembare kenmerken naadloos in hun gegevens kunnen integreren.

Bovendien biedt het toepassen van het transformatormodel in hun onderzoek substantiële inzichten. Vooral de zelfaandachtsscores zijn cruciaal voor het vergroten van hun begrip van interpreteerbaarheid binnen dit raamwerk.

"Ik kan niet zeggen dat het een alternatief zal zijn voor de modernste GNN's, maar misschien kunnen we dit als een aanvullende aanpak gebruiken", aldus Ock. "Zoals ze zeggen:'Hoe meer hoe beter.'"

Het model levert een voorspellende nauwkeurigheid die vergelijkbaar is met die van eerdere versies van GNN's. CatBERTa was met name succesvoller wanneer het werd getraind op datasets van beperkte omvang. Bovendien heeft CatBERTa de foutannuleringsmogelijkheden van bestaande GNN's overtroffen.

Het team concentreerde zich op adsorptie-energie, maar zei dat de aanpak kan worden uitgebreid naar andere eigenschappen, zoals de HOMO-LUMO-kloof en stabiliteiten gerelateerd aan adsorbaat-katalysatorsystemen, gegeven een geschikte dataset.

Door de mogelijkheden van uitgebreide taalmodellen te integreren met de eisen van het ontdekken van katalysatoren, wil het team het proces van effectieve katalysatorscreening stroomlijnen. Ock werkt eraan om de nauwkeurigheid van het model te verbeteren.

De bevindingen zijn gepubliceerd in het tijdschrift ACS Catalysis .

Meer informatie: Janghoon Ock et al, Catalyst Energy Prediction met CatBERTa:onthulling van strategieën voor functieverkenning via grote taalmodellen, ACS Catalysis (2023). DOI:10.1021/acscatal.3c04956

Journaalinformatie: ACS-katalyse

Geleverd door Carnegie Mellon University Werktuigbouwkunde