Volgens het Checklist Manifest, de New York Times-bestseller van Atul Gawande, professionals die zeer technisch werk doen, zoals chirurgen, vliegtuig piloten, en architecten gebruiken checklists om vermijdbare fouten te voorkomen.

Een van de uitdagingen die traditionele checklists vormen in meer creatieve industrieën, zoals webdesign, is dat ze een zeer gedefinieerde reeks taken uitvoeren, die creativiteit kan beperken, vooral omdat taken per project veranderen.

Virginia Tech-onderzoekers, in samenwerking met de in Manhattan gevestigde webdesign-startup B12, vroeg zich af of het mogelijk zou zijn om het concept van Gawande te nemen en toe te passen op een scenario met minder strak gedefinieerde taken zoals webdesign, en pas checklists breder toe op creatief gedreven taken zoals schrijven of programmeren.

Het onderzoeksteam zal hun bevindingen presenteren op de Human-Computer Interaction-conferentie van de Association of Computing Machinery over menselijke factoren in computersystemen in Glasgow, Schotland, op 7 mei, 2019.

Aditya Bharadwaj, een doctoraat kandidaat bij de afdeling Computerwetenschappen van het College of Engineering en eerste auteur van de studie, werkte samen met B12 om de workflow-gewoonten van ontwerpers te bestuderen. Veel van de ontwerpexperts van B12 werken op afstand, waardoor face-to-face review onmogelijk wordt.

Bharadwaj, die eerder werkte als softwareontwikkelaar bij Paypal, eerst moesten vaststellen waar en wat de ontwerpers bij B12 ertoe bracht bepaalde aspecten van hun werk over het hoofd te zien voordat ze het doorgaven voor beoordeling door een ander teamlid.

Het team gebruikte een framework genaamd Critter als onderdeel van Orchestra, een open-sourceplatform voor het beheren van teams van experts en machines. Critter gaf de webdesigners bij B12 de mogelijkheid om de checklists dynamisch te maken en ofwel de checklists handmatig te snoeien, of gebruik de mogelijkheid van de checklists om taken zelf te snoeien.

Een van de andere voordelen van het gebruik van Critter was de AutoQA-functionaliteit, een interface ingebed in de browsergebaseerde website-editor van B12. Met AutoQA konden ontwerpers controleren op veelvoorkomende fouten zonder een recensent in te schakelen, verbetering van de website, zodat hun reviewers zich konden concentreren op de meer uitdagende aspecten van het project.

De Critter-checklist heeft 20,4 procent van de checklist-items op elk project gesnoeid en gecontroleerd op zaken als beeldresolutie en lay-out, en toonden ook feedback over eerdere projecten, zodat ontwerpers naar oudere projecten konden verwijzen voor naleving.

"We zagen veel kwalitatieve resultaten die aangaven dat het gebruik van de software vooral junior ontwerpers hielp om een ​​website te leveren met minder fouten, " zei co-auteur Pao Siangliulue, tech lead bij B12 en Bharadwaj's mentor.

Al vroeg in Bharadwaj's onderzoek schaduwde hij ontwerpers, waardoor hij gemakkelijk hun uitdagingen kon identificeren bij het volgen van een platte en duidelijke checklist. Hij gebruikte checklists als rubriek om contextuele feedback te geven en het belang van checklists als onderdeel van het ontwerpproces te versterken. Hij zag dat ontwikkelaars baat hadden bij de hiërarchisch gepresenteerde dynamische checklists, en ze waardeerden contextueel gegeven feedback.

"Ontwerpers waarderen menselijke feedback en Critter heeft veel geholpen door recensenten toe te staan ​​zich te concentreren op de meest uitdagende delen van het ontwerpwerk nadat onze geautomatiseerde benaderingen voor laaghangend fruit zorgden, " zei co-auteur Adam Marcus, mede-oprichter en chief technology officer bij B12.

De toegevoegde flexibiliteit van dynamische checklists in combinatie met de efficiëntie van geautomatiseerde kwaliteitsborging stelde het bedrijf in staat zijn inspanningen op te schalen en tegelijkertijd de kwaliteit te verbeteren. De op checklists gebaseerde feedback gaf de ontwerpexperts van B12 tegelijkertijd een beter idee van waar ze hun inspanningen moesten concentreren en zorgde ervoor dat ze zich meer als een samenhangende eenheid voelden.

"Webdesign is tegenwoordig de digitale uitlaatklep voor handel en communicatie, dus de mogelijkheid om ontwerpers tools te geven die nuttig voor hen kunnen zijn, is een groot gevoel van voldoening, " zei Kurt Luther, assistent-professor informatica en co-auteur van de paper die wordt gepresenteerd.

Hoewel het onderzoek van het team zich voornamelijk richtte op het ontwerpen van websites, de onderzoeksresultaten van hun werk gelden voor andere creatieve domeinen, zoals schrijven en programmeren. Het Critter-systeem kan worden gebruikt om structuur toe te voegen aan veel breed gedefinieerde creatieve taken, terwijl de dynamiek en niet-lineariteit van de complexe workflows die ermee gepaard gaan, behouden blijven.