Lorena Barba, een universitair hoofddocent werktuigbouwkunde en ruimtevaarttechniek aan de School of Engineering and Applied Science, heeft onlangs een door het congres verplicht rapport gepresenteerd aan federale wetgevers en experts dat als leidraad zal dienen voor het toekomstige nationale beleid inzake wetenschappelijk en technisch onderzoek.

Dr. Barba is lid van de studiecommissie Reproducibility and Replicability in Science van de National Academies of Sciences Engineering and Medicine (NASEM), die werd opgericht in 2017. De commissie hield een reeks briefings voorafgaand aan de publicatie van hun rapport op 7 mei met het Witte Huis Office of Science and Technology Policy, de National Science Foundation (NSF) en andere belanghebbenden.

De commissie had tot doel eventuele problemen van replicatie en reproduceerbaarheid in wetenschappelijk en technisch onderzoek te identificeren. Het rapport deed aanbevelingen voor het verbeteren van de nauwkeurigheid en transparantie in wetenschappelijk en technisch onderzoek, en goede praktijken geïdentificeerd en belicht.

GW Today sprak onlangs met Dr. Barba over het rapport:

V:Waarom denk je dat het belangrijk was om een ​​commissie te hebben voor onderzoek naar replicatie en reproduceerbaarheid van onderzoek?

A:Het onderzoek is uitgevoerd in opdracht van de National Science Foundation, als reactie op het mandaat van het congres. Publiekrecht 114-329 citeert "groeiende bezorgdheid dat sommige gepubliceerde onderzoeksresultaten niet kunnen worden gereproduceerd of gerepliceerd ..." en geeft de NSF opdracht om een ​​rapport op te stellen met een beoordeling en aanbevelingen over de kwestie. Ik weet niet wat de aanleiding was voor deze wettelijke richtlijn, maar ik weet wel dat de afgelopen jaren, verschillende mediaberichten hebben prominente mislukkingen gepubliceerd om bevindingen te repliceren. Tegelijkertijd, een beweging voor open wetenschap en reproduceerbaarheid is gegroeid in alle onderzoeksgebieden. Het was dus het juiste moment om een ​​diepgaand onderzoek te doen naar de hele wetenschap.

Vraag:Hoe bent u bij deze commissie betrokken geraakt?

A:Ik ben genomineerd door anonieme leden van de wetenschappelijke gemeenschap, als een erkende autoriteit op het gebied van reproduceerbaarheid. De Nationale Academies hebben in september 2017 contact met mij opgenomen over de studiecommissie, en na een telefonisch interview en het sturen van aanvullende achtergrondinformatie over mijn werk, In november 2017 ben ik officieel uitgenodigd. We hebben bijna anderhalf jaar aan dit onderzoek gewerkt.

V:Wat zijn de belangrijkste bevindingen uit het rapport?

A:De algemene bevinding kan in vier woorden worden samengevat:geen crisis, geen zelfgenoegzaamheid. De boodschap is tweeledig:het crisisverhaal dat zich de afgelopen jaren heeft ontwikkeld, is voornamelijk retoriek:reproduceerbaarheid en reproduceerbaarheid maken deel uit van de manieren waarop de wetenschap zichzelf corrigeert, maar zijn niet de enige zorg. Anderzijds, er zijn verbeteringen nodig:meer transparantie van computerworkflows, code en gegevens, bijvoorbeeld, en het aanpassen van de stimuleringsstructuur om reproduceerbaar onderzoek te waarderen. Andere bevindingen zijn onder meer de behoefte aan meer vloeiendheid met statistieken, en training van vroege onderzoekers in computationele tools en methoden.

V:Waarom heeft de commissie geprobeerd te definiëren wat de termen replicatie en reproduceerbaarheid betekenen?

A:Het ontbreken van een standaardgebruik voor deze termen belemmert vooruitgang, omdat het vaak onduidelijk is wat onderzoekers bedoelen en dus hoe de zorgen kunnen worden aangepakt. Zowel reproduceerbaarheid als repliceerbaarheid zijn woorden die worden gebruikt in verband met de algemene zorgen van een onderzoeker of een onderzoek dat de bevindingen van een eerder gepubliceerd onderzoek bevestigt. Soms worden de woorden gebruikt als een overkoepelende term voor alle gerelateerde zorgen. Maar sommige velden hebben een onderscheid gemaakt tussen de twee termen, en het is belangrijk om het eens te zijn over wat dat onderscheid is om het gesprek vooruit te helpen. De studie definieert reproduceerbaarheid als het verkrijgen van consistente rekenresultaten met dezelfde invoergegevens, rekenstappen, methoden, code en analysevoorwaarden. Een replicatiestudie, anderzijds, verzamelt nieuwe gegevens en voert nieuwe analyses uit om de bevindingen van een eerder onderzoek te bevestigen.

V:Wat moeten studenten die in de toekomst geïnteresseerd zijn in het doen van onderzoek, meenemen uit dit rapport?

A:Het rapport benadrukt de alomtegenwoordige en belangrijke rol van computers in de moderne wetenschap, en de behoefte aan betere opleiding in statistische methoden. Studenten die geïnteresseerd zijn in onderzoek zouden een voordeel behalen door training in computationele vaardigheden te zoeken, inclusief open-sourcetools, software ontwikkeling, gegevensbeheer en hoe u repetitieve taken kunt automatiseren. Reproduceerbaar onderzoek doen wordt minder uitdagend als je de juiste tools gebruikt.

V:Nu het rapport is vrijgegeven, wat voor soort werk moet er volgens u nog worden gedaan met betrekking tot deze problemen?

A:In het rapport wordt een reeks aanbevelingen gedaan die voortzetting van het werk met zich meebrengen, door verschillende mensen en instellingen. Onderwijs en training in zowel statistiek als rekenmethoden heeft wat versterking nodig. Tijdschriften en professionele verenigingen moeten werken aan initiatieven om de reproduceerbaarheid van computers en het publiceren van replicaties te bevorderen. Het rapport beveelt ook aan dat financieringsinstanties reproduceerbaarheid en reproduceerbaarheid opnemen in hun criteria voor beoordeling van verdiensten voor nieuwe voorstellen.