Een makelaar stuurt een potentiële huizenkoper een wazige foto van een huis aan de overkant van de straat. De huizenkoper kan het vergelijken met het echte werk - kijk naar de foto, kijk dan naar het echte huis - en zie dat de erker in feite twee ramen dicht bij elkaar zijn, de bloemen aan de voorkant zijn van plastic en wat eruitzag als een deur, is eigenlijk een gat in de muur.

Wat als je niet naar een foto van een huis kijkt, maar iets heel kleins, zoals een eiwit? Er is geen manier om het te zien zonder een gespecialiseerd apparaat, dus er is niets om het beeld tegen te beoordelen, geen 'grondwaarheid, ' zoals het heet. Er zit niet veel anders op dan erop te vertrouwen dat de beeldapparatuur en het computermodel dat wordt gebruikt om afbeeldingen te maken, nauwkeurig zijn.

Nutsvoorzieningen, echter, onderzoek van het laboratorium van Matthew Lew aan de McKelvey School of Engineering aan de Washington University in St. Louis heeft een rekenmethode ontwikkeld om te bepalen hoeveel vertrouwen een wetenschapper moet hebben dat zijn metingen, op een gegeven moment, zijn nauwkeurig, gezien het model dat is gebruikt om ze te produceren.

Het onderzoek werd op 11 december gepubliceerd in Natuurcommunicatie .

"Fundamenteel, dit is een forensisch hulpmiddel om u te vertellen of iets juist is of niet, " zei Lew, assistent-professor in de Preston M. Green Department of Electrical &Systems Engineering. Het is niet alleen een manier om een ​​scherper beeld te krijgen. "Dit is een geheel nieuwe manier om de betrouwbaarheid van elk detail binnen een wetenschappelijk beeld te valideren.

"Het gaat niet om een ​​betere resolutie, " voegde hij eraan toe van de computationele methode, genaamd Wasserstein-geïnduceerde flux (WIF). "Het zegt, 'Dit deel van de afbeelding kan verkeerd of misplaatst zijn.'"

Het proces dat door wetenschappers wordt gebruikt om de zeer kleine lokalisatiemicroscopie met één molecuul (SMLM) te "zien", is gebaseerd op het vastleggen van enorme hoeveelheden informatie van het object dat wordt afgebeeld. Die informatie wordt vervolgens geïnterpreteerd door een computermodel dat uiteindelijk de meeste gegevens weghaalt, het reconstrueren van een ogenschijnlijk nauwkeurig beeld - een waarheidsgetrouw beeld van een biologische structuur, zoals een amyloïde eiwit of een celmembraan.

Er zijn al een paar methoden in gebruik om te helpen bepalen of een afbeelding, in het algemeen, een goede weergave van het ding dat wordt afgebeeld. Deze methoden, echter, kan niet bepalen hoe waarschijnlijk het is dat een enkel gegevenspunt in een afbeelding nauwkeurig is.

Hesam Mazidi, een recent afgestudeerde die voor dit onderzoek een PhD-student was in het lab van Lew, het probleem aangepakt.

"We wilden zien of er een manier was om iets aan dit scenario te doen zonder grondwaarheid, " zei hij. "Als we modellering en algoritmische analyse zouden kunnen gebruiken om te kwantificeren of onze metingen getrouw zijn, of nauwkeurig genoeg."

De onderzoekers hadden geen grondwaarheid - geen huis om te vergelijken met de foto van de makelaar - maar ze stonden niet met lege handen. Ze hadden een schat aan gegevens die meestal worden genegeerd. Mazidi profiteerde van de enorme hoeveelheid informatie die door het beeldverwerkingsapparaat is verzameld en die meestal als ruis wordt weggegooid. De verdeling van ruis is iets dat de onderzoekers als grondwaarheid kunnen gebruiken omdat het voldoet aan specifieke natuurwetten.

"Hij kon zeggen, 'Ik weet hoe de ruis van het beeld zich manifesteert, dat is een fundamentele natuurwet, '" zei Lew over Mazidi's inzicht.

"Hij ging terug naar de luidruchtige, imperfecte domein van de eigenlijke wetenschappelijke meting, "Zei Lew. Alle datapunten die zijn vastgelegd door het beeldapparaat. "Er zijn echte gegevens die mensen weggooien en negeren."

In plaats van het te negeren, Mazidi keek om te zien hoe goed het model de ruis voorspelde, gezien het uiteindelijke beeld en het model dat het heeft gemaakt.

Het analyseren van zoveel datapunten is vergelijkbaar met het steeds opnieuw gebruiken van het beeldapparaat, het uitvoeren van meerdere testruns om het te kalibreren.

"Al die metingen geven ons statistisch vertrouwen, ' zei Lew.

Met WIF kunnen ze bepalen of het hele beeld waarschijnlijk is op basis van het model, maar, gezien het beeld, als een bepaald punt op de afbeelding waarschijnlijk is, gebaseerd op de aannames die in het model zijn ingebouwd.

uiteindelijk, Mazidi ontwikkelde een methode die met een sterk statistisch vertrouwen kan zeggen dat een bepaald datapunt in het uiteindelijke beeld zich wel of niet op een bepaalde plek zou moeten bevinden.

Het is alsof het algoritme de foto van het huis analyseerde en - zonder de plek ooit te hebben gezien - het beeld opschoonde, waardoor het gat in de muur zichtbaar wordt.

Uiteindelijk, de analyse levert één getal per datapunt op, tussen -1 en 1. Hoe dichter bij één, hoe zekerder een wetenschapper kan zijn dat een punt op een afbeelding is, in feite, nauwkeurig weergeven van het ding dat wordt afgebeeld.

Dit proces kan wetenschappers ook helpen hun modellen te verbeteren. "Als je prestaties kunt kwantificeren, dan kun je je model ook verbeteren door de score te gebruiken, " zei Mazidi. Zonder toegang tot de grondwaarheid, "het stelt ons in staat om de prestaties onder echte experimentele omstandigheden te evalueren in plaats van een simulatie."

De mogelijke toepassingen voor WIF zijn verstrekkend. Lew zei dat de volgende stap is om het te gebruiken om machine learning te valideren. waar bevooroordeelde datasets onnauwkeurige output kunnen produceren.

Hoe zou een onderzoeker weten, in zo'n geval, dat hun gegevens bevooroordeeld waren? "Met dit model je zou kunnen testen op gegevens die geen grondwaarheid hebben, waarbij je niet weet of het neurale netwerk is getraind met gegevens die vergelijkbaar zijn met gegevens uit de echte wereld.

"Bij elk type meting moet u voorzichtig zijn, "Zei Lew. "Soms willen we gewoon op de grote rode knop drukken en kijken wat we krijgen, maar we moeten onthouden, er gebeurt veel als je op die knop drukt."