Stel je voor dat je wordt gevraagd om de provincies in Pennsylvania te rangschikken in termen van aantal COVID-19-infecties. Of u kunt worden gevraagd om de volgende steden in Pennsylvania te rangschikken op basis van hun bevolking:Harrisburg, Allentown, Erie en State College.

Wat zou uw antwoord zijn? Hoe denk je dat anderen deze vragen zouden beantwoorden?

Een nieuw algoritme ontwikkeld door een team van onderzoekers onder leiding van Hadi Hosseini, assistent-professor aan het Penn State College of Information Sciences and Technology, kan tot het juiste antwoord op deze en soortgelijke vragen komen door de eigen stem of mening van een respondent te combineren met hun voorspelling over hoe anderen zullen antwoorden.

Hosseini legde uit dat iemand met kennis van Pennsylvania hoogstwaarschijnlijk het antwoord op de bovenstaande vraag zou weten. Ze kunnen ook voorspellen dat andere minder geïnformeerde deelnemers, gemiddeld, zou de verkeerde rangschikking opleveren. Omgekeerd, geüniformeerde deelnemers zijn hoogstwaarschijnlijk niet op de hoogte van het juiste antwoord en geven mogelijk een verkeerde rangschikking van deze steden.

"Dit is de kern van ons algoritme:met behulp van de extra informatie die geïnformeerde deelnemers hebben om dergelijke fouten te corrigeren, " hij zei.

De methode van de onderzoekers bouwt voort op een bestaande benadering van het vragen om wijsheid van een menigte, verrassend populaire methode genoemd, die is gebruikt in scenario's zoals politieke opiniepeilers die de uitkomst van verkiezingen voorspellen en onderzoekers die de winnaars van NFL-games voorspellen. Zoals het model van Hosseini, verrassend populaire methode vraagt ​​respondenten om per vraag twee antwoorden te geven:wat hun eigen mening of stem is, en hoe ze voorspellen dat anderen zullen stemmen. De techniek maakt gebruik van de kennis van een kleine groep experts in een grotere menigte om naar het juiste antwoord te wijzen.

Echter, de verrassend populaire methode is beperkt gebleven tot het voorspellen van één correct antwoord op een gestelde vraag, zoals "Wat is de hoofdstad van Pennsylvania?" of "Hoeveel geld verdiende de film 'Titanic' aan de kassa wereldwijd?" Hosseini's model breidt dit concept uit naar gerangschikte keuzes of alternatieven.

"Men hoeft niet volledig volledige ranglijsten en voorspellingen van anderen op te roepen, " zei Hosseini. "We zijn in staat om de grondwaarheid te achterhalen door zowel de stemmen als de voorspellingen te combineren zonder volledige verdelingen over alle mogelijke n uit te lokken! ranglijsten. En dit geldt voor het herstellen van ofwel alleen de beste keuze of de volledige ranglijst."

De methode kan mogelijk worden toegepast om prognoses te verbeteren met gerangschikte keuzes, zoals in exit polls voor het voorspellen van de resultaten van politieke verkiezingen. Volgens Hosseini door via zijn methode de kiezers secundaire vragen te stellen, er zouden minder steekproeven nodig zijn in vergelijking met standaard exitpolls die berusten op willekeurige steekproeven.

Hosseini's aanpak presteert ook aanzienlijk beter dan conventionele stemmethoden, zoals de gewone meerderheidsregel, die respondenten niet vragen te voorspellen hoe anderen zullen reageren.

"Het blijkt dat het voorspellen van de stemmen van anderen belangrijker is dan de daadwerkelijke stemmen, "Zei Hosseini. "Dit is zeer cruciaal omdat het stelt dat vragen wat je denkt over de mening van andere mensen een meer kritische vraag is dan hun eigen mening te vragen."

Om hun model te testen, Hosseini en zijn team stelden 720 crowdsourced-werknemers vragen over geografie, films en kunstwerken om uit te kiezen, bijvoorbeeld, welke film uit een selectie van vier heeft de hoogste opbrengst, box-office inkomen aller tijden. De onderzoekers gebruikten zes verschillende formaten om reacties van deelnemers uit te lokken, zoals het selecteren van het beste antwoord uit een lijst van vier keuzes of het rangschikken van die vier keuzes in volgorde. Sommige deelnemers werd ook gevraagd om te voorspellen welk topantwoord anderen zouden kiezen of hoe anderen hun volgorde zouden rangschikken.

"Onze algoritmische methoden en bevindingen kunnen een aanzienlijke impact hebben op hoe we verkiezingen zien en ermee omgaan, op nationaal of lokaal niveau, " zei Hosseini. "Wat nog belangrijker is, onze techniek laat zien dat we een ground-truth ranking met hoge nauwkeurigheid kunnen voorspellen zonder de noodzaak van massale gegevensverzameling."

Aanvullend, hij zei, de methode zou kunnen worden toegepast op gebieden buiten het voorspellen van de objectieve resultaten van gebeurtenissen zoals politieke verkiezingen en sportwedstrijden.

"Verrassend genoeg, deze techniek werkt zelfs voor het voorspellen van de prijsrangschikking van abstracte schilderijen, wat doorgaans een grotere uitdaging is om te speculeren door de menigte, " hij voegde toe.

Ze presenteerden hun paper, "Verrassend populair stemmen herstelt rankings, Verrassend!" deze week op de International Joint Conference on Artificial Intelligence (IJCAI-21), gehouden vrijwel 19-26 augustus. Het werk werd gedeeltelijk gefinancierd door de National Science Foundation.