Evaluatie van de bruikbaarheid van open-source software (OSS), software die gratis beschikbaar wordt gesteld aan ontwikkelaars over de hele wereld, houdt in het algemeen in dat de feedback en opmerkingen van degenen die het hebben gebruikt, worden geanalyseerd. Het verwerken en begrijpen van de feedback die wordt gegeven in gebruikersdiscussies, echter, kan een uitdaging zijn vanwege het grote aantal reacties online, en omdat ze vaak tegengestelde meningen hebben.

Zich bewust van deze moeilijkheden, onderzoekers aan de McGill University, de Universiteit van Bari en Polytechnique Montreal hebben onlangs ArguLens ontwikkeld, een theoretisch kader en geautomatiseerde techniek om de analyse van gemeenschapsdiscussies met betrekking tot de bruikbaarheid van OSS te vereenvoudigen. Hun recente artikel, voorgepubliceerd op arXiv, maakt deel uit van een bredere, lopende onderzoeksinspanning die erop gericht is ontwikkelaars van open source-projecten te helpen de bruikbaarheid van hun software te verbeteren.

"Het kan erg moeilijk zijn om de grondgedachten achter communityverzoeken te begrijpen en hun impact op de eindgebruikers verder te evalueren, vooral wanneer de meningen van de gemeenschap met elkaar in strijd zijn, " vertelden de onderzoekers aan TechXplore, via e-mail. "Het belangrijkste doel van ons onderzoek was om open source-bijdragers te helpen bij het verwerken en evalueren van de mening van de gemeenschap over de bruikbaarheid van hun project."

Voordat ze aan ArguLens begonnen te werken, de onderzoekers hadden lange discussies met open source-bijdragers om beter te begrijpen wat ze het meest uitdagend vonden bij het begrijpen van feedback die ze van de gemeenschap ontvingen. Ze ontdekten dat de meeste ontwikkelaars enorme problemen ondervonden bij het verwerken en verwerken van opmerkingen uit de gemeenschap, inclusief suggesties en verzoeken die zijn gedaan via systemen voor het volgen van problemen.

Dit kwam door de enorme hoeveelheid feedback die ze verzamelden, evenals het feit dat gebruikers vaak uiteenlopende en enigszins tegengestelde perspectieven uitten. gecombineerd, deze twee factoren maakten het verwerken en verwerken van bruikbaarheidsgerelateerde feedback vaak een uitdaging.

De onderzoekers bedachten ArguLens met als belangrijkste doel OSS-ontwikkelaars te helpen bij het begrijpen van de rijke en gevarieerde feedback die ze online verzamelden. ArguLens bevat zowel een conceptueel kader als een geautomatiseerde techniek voor de analyse van online opmerkingen.

"Als conceptueel kader, het past een argumentatiemodel van Stephen Toulmin aan om de bruikbaarheidsgerelateerde discussies te structureren in drie hoofdelementen:Claim, Grond, en bevel, " legden de onderzoekers uit. "Dit is wat we de 'anatomie' van gemeenschapsadviezen noemen. Als een geautomatiseerde techniek, het stelt natuurlijke taalverwerkingsmethoden voor om deze elementen uit bruikbaarheidsgerelateerde discussies in vrije vorm te detecteren."

Ontwikkelaars en andere communityleden kunnen ArguLens gebruiken om concrete verzoeken van communityleden te differentiëren en te synthetiseren (vastgelegd in de categorie 'Claim'), evenals feiten over hun systeem waar de gemeenschap om geeft (vastgelegd in de categorie 'grond') en persoonlijke meningen over waarom individuele feiten bijzonder belangrijk zijn voor gebruikers (vastgelegd in de categorie 'Bevel'). het raamwerk kan dus worden gebruikt voor scaffolding-discussies en voor het analyseren van OSS-gebruiksproblemen.

Als onderdeel van hun onderzoek hebben het team evalueerde en stelde de schaalbaarheid van ArguLens vast met behulp van gesuperviseerde machine learning-technieken voor geautomatiseerde argumentextractie. Ze vroegen ook ervaren ontwikkelaars om ArguLens te gebruiken en feedback te geven over de vraag of het hen hielp bij het begrijpen van opmerkingen van de gemeenschap. De feedback die ze kregen was veelbelovend, aangezien de meerderheid van de gebruikers zei dat het raamwerk hen hielp om bruikbaarheidsgerelateerde meningen beter te verwerken en te beoordelen.

"Een directe toepassing van het ArguLens-framework zou kunnen zijn in tools voor open-source probleemvolgsystemen om een ​​effectieve interface te bieden voor de discussies van de gemeenschap over bruikbaarheidsproblemen, " zeiden de onderzoekers. "Eens algemeen aanvaard, dit raamwerk kan een baanbrekende verandering teweegbrengen in de manier waarop mensen omgaan met open-source bruikbaarheidskwesties, constructieve discussie over deze problemen aanmoedigen en uiteindelijk helpen de bruikbaarheid van open source te verbeteren."

Het raamwerk zou OSS-ontwikkelaars wereldwijd binnenkort kunnen helpen bij het begrijpen van tegenstrijdige meningen over de bruikbaarheid van hun projecten. interessant, echter, het kan ook worden toegepast op andere aspecten van software die kunnen worden verbeterd op basis van feedback van gebruikers, zoals privacy of beveiliging. Het team is nu van plan om het raamwerk verder te verbeteren, gericht op twee nieuwe onderzoeksrichtingen.

"Eerst, we onderzoeken toolontwerpen die de informatie die is vastgelegd door het ArguLens-framework effectief kunnen presenteren, " aldus de onderzoekers. "Dit zal ons niet alleen helpen de effectiviteit van dit framework in het wild beter te begrijpen (in de echte wereld), maar het kan ook resulteren in concrete toepassingen die direct ten goede komen aan de open source-gemeenschappen. Tweede, we richten ons op human-in-the-loop-methoden om de imperfecte classificatie van geautomatiseerde technieken te verminderen, om de schaalbaarheid en bruikbaarheid van dit raamwerk verder te waarborgen."

© 2020 Wetenschap X Netwerk