Kunnen bedrijven vertrouwen op de resultaten van een of twee wetenschappelijke studies om een ​​nieuw industrieel proces te ontwerpen of een nieuw product te lanceren? Op ten minste één gebied van de materiaalchemie, het antwoord kan ja zijn, maar slechts 80 procent van de tijd.

De reproduceerbaarheid van resultaten van wetenschappelijke studies is een grote bron van zorg geworden in de onderzoeksgemeenschap, vooral in de sociale wetenschappen en biomedische wetenschappen. Maar veel onderzoekers op het gebied van engineering en de harde wetenschappen hebben niet dezelfde zorg gevoeld voor onafhankelijke validatie van hun resultaten.

Een nieuwe studie die de resultaten vergeleek die zijn gerapporteerd in duizenden artikelen die zijn gepubliceerd over de eigenschappen van metaal-organische raamwerken (MOF) - die prominente kandidaten zijn voor kooldioxide-adsorptie en andere scheidingen - suggereert dat het probleem met de reproduceerbaarheid een punt van zorg zou moeten zijn voor materiaalonderzoekers, te.

Een op de vijf onderzoeken naar MOF-materialen die werden onderzocht door onderzoekers van het Georgia Institute of Technology, werd beoordeeld als "uitbijters, " met resultaten die veel verder gaan dan de foutbalken die normaal worden gebruikt om studieresultaten te evalueren. De duizenden onderzoekspapers leverden slechts negen MOF-verbindingen op waarvoor vier of meer onafhankelijke onderzoeken een juiste vergelijking van de resultaten mogelijk maakten.

"Op een fundamenteel niveau Ik denk dat mensen in de materiaalchemie het gevoel hebben dat dingen reproduceerbaar zijn en dat ze kunnen rekenen op de resultaten van een enkele studie, " zei David Sholl, een professor en John F. Brock III School Chair in de Georgia Tech School of Chemical and Biomolecular Engineering. "Maar wat we ontdekten, is dat als je willekeurig een experiment uithaalt, er is een kans van één op vijf dat de resultaten helemaal verkeerd zijn - niet slechts een klein beetje, maar niet eens in de buurt."

Of de resultaten breder kunnen worden toegepast op andere gebieden van de materiaalwetenschap, wacht op aanvullende studies, zei Sholl. De resultaten van de studie, die werd gesteund door het Amerikaanse ministerie van Energie, werden op 28 november gepubliceerd in het ACS-tijdschrift Chemie van materialen .

Sholl koos MOF's omdat ze een interessegebied zijn voor zijn laboratorium - hij ontwikkelt modellen voor de materialen - en omdat het National Institute of Standards and Technology (NIST) en het Advanced Research Projects Agency-Energy (ARPA-E) al hadden verzameld een database die de eigenschappen van MOF's samenvat. Co-auteurs Jongwoo Park en Joshua Howe gebruikten meta-analysetechnieken om de resultaten van single-component adsorptie-isothermtests te vergelijken - hoeveel CO2 kan worden verwijderd bij kamertemperatuur.

Die meting is eenvoudig en er zijn commerciële instrumenten beschikbaar om de tests uit te voeren. "Mensen in de gemeenschap zouden dit als een bijna onfeilbaar experiment beschouwen, " zei Sholl, die ook een Georgia Research Alliance Eminent Scholar in Energy Sustainability is.

De onderzoekers beschouwden de resultaten als definitief wanneer ze vier of meer studies hadden van een bepaalde MOF onder vergelijkbare omstandigheden.

De implicaties voor fouten in de materiaalwetenschap zijn mogelijk minder dan in andere onderzoeksgebieden. Maar bedrijven zouden de resultaten van slechts een of twee onderzoeken kunnen gebruiken om een ​​materiaal te kiezen dat efficiënter lijkt, en in andere gevallen onderzoekers die een experiment niet kunnen repliceren, kunnen eenvoudigweg overgaan op een ander materiaal.

"Het netto resultaat is op zijn minst een niet-optimaal gebruik van middelen, Sholl zei. "En elk rapport dat één experiment gebruikt om te concluderen dat een materiaal 15 of 20 procent beter is dan een ander materiaal, moet met grote scepsis worden bekeken, omdat we in de meeste gevallen niet erg precies kunnen zijn over deze metingen."

Waarom de variabiliteit in resultaten? Sommige MOF's kunnen kieskeurig zijn, snel absorberend vocht dat de adsorptie beïnvloedt, bijvoorbeeld. De één-op-vijf "uitbijters" kunnen het gevolg zijn van materiaalverontreiniging.

"Een van de materialen die we hebben bestudeerd, is relatief eenvoudig te maken, maar het is onstabiel in een omgevingsatmosfeer, " legde Sholl uit. "Wat u precies doet tussen het maken in het laboratorium en het testen ervan, heeft invloed op de eigenschappen die u meet. Dat zou een verklaring kunnen zijn voor wat we zagen, en als een materiaal zo gevoelig is, we weten dat het in de praktijk een probleem gaat worden."

Andere factoren die replicatie kunnen voorkomen, zijn details die per ongeluk uit een methodebeschrijving zijn weggelaten - of waarvan de oorspronkelijke wetenschappers niet wisten dat ze relevant waren. Dat kan zo simpel zijn als de precieze atmosfeer waarin het materiaal wordt gehouden, of de materialen die worden gebruikt in het apparaat dat de MOF's produceert.

Sholl hoopt dat het artikel zal leiden tot meer herhaling van experimenten, zodat wetenschappers en ingenieurs kunnen weten of hun resultaten echt significant zijn.

"Als een resultaat hiervan, Ik denk dat mijn fractie alle gerapporteerde gegevens op een meer genuanceerde manier zal bekijken, niet noodzakelijk vermoeden dat het verkeerd is, maar nadenken over hoe betrouwbaar die gegevens kunnen zijn, " zei hij. "In plaats van data als een getal te beschouwen, we moeten het altijd zien als een getal plus een bereik."

Sholl suggereert dat meer rapportage van tweede, een derde of vierde poging om een ​​experiment te repliceren zou helpen om het vertrouwen van gegevens over MOF-materiaaleigenschappen te vergroten. Het wetenschappelijke publicatiesysteem biedt momenteel niet veel stimulans voor het rapporteren van validatie, hoewel Sholl hoopt dat dat zal veranderen.

Hij vindt ook dat de kwestie moet worden besproken binnen alle delen van de wetenschappelijke gemeenschap, hoewel hij toegeeft dat dit kan leiden tot "ongemakkelijke" gesprekken.

"We hebben deze studie een paar keer gepresenteerd op conferenties, en mensen kunnen er behoorlijk defensief over worden, " zei Sholl. "Iedereen in het veld kent iedereen, dus het is altijd makkelijker om dit probleem gewoon niet ter sprake te brengen."

En, natuurlijk, Sholl zou graag zien dat anderen het werk repliceren dat hij en zijn onderzoeksteam deden. "Het zal interessant zijn om te zien of dit een-op-vijf aantal standhoudt voor andere soorten experimenten en materialen, " voegde hij eraan toe. "Er zijn andere zeker andere gebieden van materiaalchemie waar dit soort vergelijking zou kunnen worden gedaan."