Ik kan me nog steeds mijn verbazing herinneren toen een boek van evolutiebioloog Peter Lawrence getiteld: Het maken van een vlieg kwam te worden geprijsd op Amazon op $ 23, 698, 655,93 (plus $ 3,99 verzendkosten). Terwijl mijn collega's over de hele wereld nogal depressief moeten zijn geworden dat een academisch boek zo'n prestatie kon leveren, de hoge prijs was eigenlijk het resultaat van algoritmen die elkaar voeden en uit de hand liepen. Het blijkt, het was niet alleen creatief personeel van verkopers:algoritmen waren de baas.

Dit in het oog springende exemplaar werd gespot en gecorrigeerd. Maar wat als zulke algoritmische interferentie de hele tijd gebeurt, ook op manieren die we niet eens merken? Als onze realiteit steeds meer wordt geconstrueerd door algoritmen, waar laat dit ons mensen?

Geïnspireerd door dergelijke voorbeelden, mijn collega Prof Allen Lee en ik hebben onlangs de diepere effecten van algoritmische technologie onderzocht in een artikel in de Journal of the Association for Information Systems. Onze verkenning leidde ons tot de conclusie dat, overuren, de rollen van informatietechnologie en mensen zijn omgedraaid. Vroeger, wij mensen gebruikten technologie als een hulpmiddel. Nutsvoorzieningen, technologie is zo ver gevorderd dat ze ons gebruikt en zelfs controleert.

Wij mensen zijn niet alleen afgesneden van de beslissingen die machines voor ons nemen, maar worden er op onvoorspelbare manieren diep door beïnvloed. In plaats van centraal te staan ​​in het systeem van beslissingen dat ons aangaat, we worden in zijn omgeving geworpen. We hebben onze eigen besluitvormingscapaciteit geleidelijk beperkt en algoritmen het over laten nemen. We zijn kunstmatige mensen geworden, of menselijke artefacten, die zijn gemaakt, gevormd en gebruikt door de technologie.

Voorbeelden zijn er in overvloed. Schoonfamilie, juridische analisten worden geleidelijk vervangen door kunstmatige intelligentie, wat betekent dat de succesvolle verdediging of vervolging van een zaak gedeeltelijk kan steunen op algoritmen. Software mag zelfs toekomstige criminelen voorspellen, uiteindelijk de menselijke vrijheid beheersen door vorm te geven aan de manier waarop voorwaardelijke vrijlating wordt geweigerd of toegekend aan gevangenen. Op deze manier, de geest van rechters wordt gevormd door besluitvormingsmechanismen die ze niet kunnen begrijpen vanwege de complexiteit van het proces en de hoeveelheid gegevens die ermee gemoeid zijn.

In de arbeidsmarkt, overmatige afhankelijkheid van technologie heeft ertoe geleid dat enkele van 's werelds grootste bedrijven cv's via software filteren, wat betekent dat menselijke recruiters nooit een blik zullen werpen op de details van sommige potentiële kandidaten. Dit stelt niet alleen het levensonderhoud van mensen over aan de genade van machines, het kan ook inhuurvooroordelen inbouwen die het bedrijf niet wilde implementeren, zoals bij Amazon gebeurde.

in nieuws, wat bekend staat als geautomatiseerde sentimentanalyse analyseert positieve en negatieve meningen over bedrijven op basis van verschillende webbronnen. Beurtelings, deze worden gebruikt door handelsalgoritmen die geautomatiseerde financiële beslissingen nemen, zonder dat mensen het nieuws daadwerkelijk hoeven te lezen.

Onbedoelde gevolgen

In feite, algoritmen die zonder menselijke tussenkomst werken, spelen nu een belangrijke rol op de financiële markten. Bijvoorbeeld, 85% van alle handel op de valutamarkten wordt alleen uitgevoerd door algoritmen. De groeiende algoritmische wapenwedloop om steeds complexere systemen te ontwikkelen om op deze markten te concurreren, betekent dat enorme sommen geld worden toegewezen op basis van de beslissingen van machines.

Op kleine schaal, de mensen en bedrijven die deze algoritmen maken, hebben invloed op wat ze doen en hoe ze het doen. Maar omdat veel van kunstmatige intelligentie programmeersoftware omvat om erachter te komen hoe een taak zelf kan worden voltooid, we weten vaak niet precies wat er achter de besluitvorming zit. Zoals met alle technologie, dit kan leiden tot onbedoelde gevolgen die veel verder gaan dan de ontwerpers ooit hadden voorzien.

Neem de "Flash Crash" van 2010 van de Dow Jones Industrial Average Index. De actie van algoritmen zorgde voor de grootste daling van de index in zijn geschiedenis, binnen enkele minuten bijna 9% van de waarde afvegen (hoewel het aan het einde van de dag het meeste hiervan had herwonnen). Een onderzoek van vijf maanden kon alleen maar suggereren wat de neergang veroorzaakte (en er zijn verschillende andere theorieën voorgesteld).

Maar de algoritmen die de aanvankelijke problemen versterkten, maakten geen fout. Er zat geen fout in de programmering. Het gedrag kwam voort uit de interactie van miljoenen algoritmische beslissingen die elkaar op onvoorspelbare manieren uitspeelden, volgens hun eigen logica op een manier die een neerwaartse spiraal voor de markt creëerde.

De omstandigheden die dit mogelijk maakten, deden zich voor omdat, door de jaren heen, de mensen die het handelssysteem runnen, waren menselijke beslissingen gaan zien als een obstakel voor marktefficiëntie. In 1987, toen de Amerikaanse aandelenmarkt met 22,61% daalde, sommige Wall Street-makelaars stopten gewoon met het opnemen van hun telefoons om te voorkomen dat ze orders van hun klanten kregen om aandelen te verkopen. Dit begon een proces dat, zoals auteur Michael Lewis het verwoordde in zijn boek Flash Boys, "is geëindigd met computers die de mensen volledig vervangen".

De financiële wereld heeft miljoenen geïnvesteerd in supersnelle kabels en microgolfcommunicatie om slechts enkele milliseconden te besparen op de snelheid waarmee algoritmen hun instructies kunnen verzenden. Als snelheid zo belangrijk is, een mens die maar liefst 215 milliseconden nodig heeft om op een knop te klikken, is bijna volledig overbodig. Ons enige resterende doel is om de algoritmen opnieuw te configureren telkens wanneer het systeem van technologische beslissingen faalt.

Terwijl nieuwe grenzen tussen mens en technologie worden uitgehouwen, we need to think carefully about where our extreme reliance on software is taking us. As human decisions are substituted by algorithmic ones, and we become tools whose lives are shaped by machines and their unintended consequences, we are setting ourselves up for technological domination. We need to decide, while we still can, what this means for us both as individuals and as a society.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.