Rice University-statisticus Genevera Allen zegt dat wetenschappers de nauwkeurigheid en reproduceerbaarheid van wetenschappelijke ontdekkingen die door middel van machine learning-technieken zijn gedaan in twijfel moeten blijven trekken, totdat onderzoekers nieuwe computersystemen ontwikkelen die zichzelf kunnen bekritiseren.

Allen, universitair hoofddocent statistiek, informatica en elektrotechniek en computertechniek bij Rice en kindergeneeskunde-neurologie aan het Baylor College of Medicine, zal het onderwerp behandelen in zowel een persconferentie als een algemene sessie vandaag op de 2019 Annual Meeting of the American Association for the Advancement of Science (AAAS).

"De vraag is, "Kunnen we echt vertrouwen op de ontdekkingen die momenteel worden gedaan met behulp van machine learning-technieken die worden toegepast op grote datasets?", zei Allen. "Het antwoord in veel situaties is waarschijnlijk:'Niet zonder te controleren, ' maar er wordt gewerkt aan machine-learningsystemen van de volgende generatie die de onzekerheid en reproduceerbaarheid van hun voorspellingen zullen beoordelen."

Machine learning (ML) is een tak van statistiek en informatica die zich bezighoudt met het bouwen van computersystemen die leren van gegevens in plaats van expliciete instructies te volgen. Allen zei dat veel aandacht op het gebied van ML is gericht op het ontwikkelen van voorspellende modellen waarmee ML voorspellingen kan doen over toekomstige gegevens op basis van het begrip van de gegevens die het heeft bestudeerd.

"Veel van deze technieken zijn ontworpen om altijd een voorspelling te doen, "zei ze. "Ze komen nooit terug met 'ik weet het niet, ' of 'ik heb niets ontdekt, ' omdat ze niet zijn gemaakt om."

Ze zei dat onbevestigde gegevensgestuurde ontdekkingen van recent gepubliceerde ML-onderzoeken naar kankergegevens een goed voorbeeld zijn.

"In de precisiegeneeskunde het is belangrijk om groepen patiënten te vinden met genetisch vergelijkbare profielen, zodat u medicamenteuze therapieën kunt ontwikkelen die gericht zijn op het specifieke genoom van hun ziekte, "Zei Allen. "Mensen hebben machinaal leren toegepast op genomische gegevens van klinische cohorten om groepen te vinden, of clusters, van patiënten met vergelijkbare genomische profielen.

"Maar er zijn gevallen waarin ontdekkingen niet reproduceerbaar zijn; de clusters die in de ene studie zijn ontdekt, zijn totaal anders dan de clusters die in een andere worden gevonden, "zei ze. "Waarom? Omdat de meeste technieken voor machine learning tegenwoordig altijd zeggen:'Ik heb een groep gevonden.' Soms, het zou veel nuttiger zijn als ze zeiden:'Ik denk dat sommige van deze echt gegroepeerd zijn, maar ik ben onzeker over deze anderen.'"

Allen zal vandaag de onzekerheid en reproduceerbaarheid van ML-technieken voor datagestuurde ontdekkingen bespreken tijdens een persconferentie om 10.00 uur. en ze zal in de 15.30 uur casestudies en onderzoek bespreken gericht op het aanpakken van onzekerheid en reproduceerbaarheid. algemene sessie, "Machine learning en statistiek:toepassingen in genomica en computervisie." Beide sessies zijn in het Marriott Wardman Park Hotel.