Om het juiste antwoord op een vraag te vinden, moeten vaak grote hoeveelheden informatie worden verzameld en complexe ideeën worden begrepen. In een recente studie, een team van onderzoekers van de New York University (NYU) en Facebook AI Research (FAIR) onderzocht de mogelijkheid om automatisch de onderliggende eigenschappen van problemen, zoals het beantwoorden van vragen, bloot te leggen door te onderzoeken hoe machine learning-modellen verwante taken leren oplossen.

In hun krant voorgepubliceerd op arXiv en zal worden gepresenteerd op EMNLP 2019, ze introduceerden een aanpak om het sterkste ondersteunende bewijs voor een gegeven antwoord op een vraag te verzamelen. Ze pasten deze methode specifiek toe op taken waarbij op passages gebaseerde vragen beantwoorden (QA), wat inhoudt dat je grote hoeveelheden tekst moet analyseren om het beste antwoord op een bepaalde vraag te vinden.

"Als we een vraag stellen, we zijn vaak niet alleen geïnteresseerd in het antwoord, maar ook in waarom dat antwoord correct is - welk bewijs ondersteunt dat antwoord, "Ethan Perez, een van de onderzoekers die het onderzoek heeft uitgevoerd, vertelde TechXplore. "Helaas, het vinden van bewijs kan tijdrovend zijn als het veel artikelen moet lezen, onderzoeks papieren, enz. Ons doel was om machine learning te gebruiken om automatisch bewijs te vinden."

Eerst, Perez en zijn collega's hebben een QA-machine learning-model getraind dat is ontworpen om gebruikersvragen te beantwoorden op een grote database met tekst met nieuwsartikelen, biografieën, boeken en andere online inhoud. Vervolgens, ze gebruikten "evidence agents" om zinnen te identificeren die het machine-learningmodel zouden "overtuigen" om op een bepaalde vraag te reageren met een specifiek antwoord, in wezen bewijs verzamelen voor het antwoord.

"Ons systeem kan bewijs vinden voor elk antwoord - niet alleen het antwoord dat volgens het Q&A-model correct is, als eerder werk gericht op, "Zei Perez. "Dus, onze aanpak kan een Q&A-model gebruiken om nuttig bewijs te vinden, zelfs als het Q&A-model het verkeerde antwoord voorspelt of als er geen duidelijk goed antwoord is."

In hun testen, Perez en zijn collega's merkten op dat modellen voor machinaal leren doorgaans bewijs uit tekstpassages selecteren dat goed generaliseert bij het overtuigen van andere modellen en zelfs mensen. Met andere woorden, hun bevindingen suggereren dat modellen oordelen vellen op basis van soortgelijk bewijs als dat doorgaans door mensen wordt overwogen, en tot op zekere hoogte, het is zelfs mogelijk om te onderzoeken hoe mensen denken door te beïnvloeden hoe modellen bewijs beschouwen.

De onderzoekers ontdekten ook dat nauwkeurigere QA-modellen meestal beter ondersteunend bewijs vinden, althans volgens een groep menselijke deelnemers die ze interviewden. De prestaties en mogelijkheden van machine learning-modellen kunnen daarom sterk worden geassocieerd met hun effectiviteit bij het verzamelen van bewijs om hun voorspellingen te ondersteunen.

"Vanuit praktisch oogpunt bewijs vinden is nuttig, "Zei Perez. "Mensen kunnen vragen over lange artikelen beantwoorden door het bewijs van ons systeem voor elk mogelijk antwoord te lezen. Daarom, in het algemeen, door automatisch bewijs te vinden, een systeem als het onze kan mensen mogelijk helpen sneller geïnformeerde meningen te ontwikkelen."

Perez en zijn collega's ontdekten dat hun benadering van het verzamelen van bewijs het beantwoorden van vragen aanzienlijk verbeterde, mensen in staat stellen om vragen correct te beantwoorden op basis van ongeveer 20 procent van een tekstpassage, die is geselecteerd door een machine learning-agent. In aanvulling, hun aanpak stelde QA-modellen in staat om antwoorden op vragen effectiever te identificeren, beter generaliseren naar langere passages en moeilijkere vragen.

In de toekomst, de aanpak die door dit team van onderzoekers is bedacht en de observaties die ze hebben verzameld, zouden kunnen bijdragen aan de ontwikkeling van effectievere en betrouwbaardere QA-machine learning-tools. Recenter, Perez schreef ook een blogpost op Medium waarin de ideeën die in de paper worden gepresenteerd meer diepgaand worden uitgelegd.

"Het vinden van bewijs is een eerste stap naar modellen die debatteren, Perez zei. "Vergeleken met het vinden van bewijs, debat is een nog expressievere manier om een ​​standpunt te ondersteunen. Debatteren vereist niet alleen het citeren van extern bewijs, maar ook het construeren van uw eigen argumenten - het genereren van nieuwe tekst. Ik ben geïnteresseerd in het trainen van modellen om nieuwe argumenten te genereren, terwijl u ervoor zorgt dat de gegenereerde tekst waar en feitelijk correct is."

© 2019 Wetenschap X Netwerk