Krachtige AI moet betrouwbaar worden afgestemd op menselijke waarden. Betekent dit dat AI die waarden uiteindelijk zal moeten bewaken? De Cambridge-filosofen Huw Price en Karina Vold beschouwen de wisselwerking tussen veiligheid en autonomie in het tijdperk van superintelligentie.

Dit is het decennium van AI, met de ene verbazingwekkende prestatie na de andere. Een schaakspelende AI die niet alleen alle menselijke schakers kan verslaan, maar ook alle eerdere door mensen geprogrammeerde schaakmachines, nadat je het spel in slechts vier uur hebt geleerd? Dat is het nieuws van gisteren, wat is het volgende?

Waar, deze wonderbaarlijke prestaties zijn allemaal in de zogenaamde smalle AI, waar machines zeer gespecialiseerde taken uitvoeren. Maar veel experts zijn van mening dat deze beperking zeer tijdelijk is. Tegen het midden van de eeuw, we hebben misschien kunstmatige algemene intelligentie (AGI) - machines die in staat zijn tot prestaties op menselijk niveau voor het volledige scala aan taken die we zelf kunnen uitvoeren.

Als, dan is er weinig reden om te denken dat het daar bij blijft. Machines zullen vrij zijn van veel van de fysieke beperkingen op menselijke intelligentie. Onze hersenen werken met langzame biochemische verwerkingssnelheden op de kracht van een gloeilamp, en moeten door een menselijk geboortekanaal passen. Het is opmerkelijk wat ze bereiken, gezien deze handicaps. Maar ze zijn misschien net zo ver verwijderd van de fysieke grenzen van het denken als onze ogen van de Webb Space Telescope.

Zodra machines beter zijn dan wij in het ontwerpen van nog slimmere machines, vooruitgang in de richting van deze limieten zou kunnen versnellen. Wat zou dit voor ons betekenen? Kunnen we zorgen voor een veilige en waardevolle coëxistentie met dergelijke machines?

Aan de positieve kant, AI is al voor veel dingen nuttig en winstgevend, en van super AI kan worden verwacht dat het super handig is, en super voordelig. Maar hoe krachtiger AI wordt, hoe meer we het voor ons vragen, des te belangrijker zal het zijn om de doelstellingen met grote zorgvuldigheid te specificeren. Folklore staat vol met verhalen van mensen die om het verkeerde vragen, met rampzalige gevolgen – koning Midas, bijvoorbeeld, die niet echt wilde dat zijn ontbijt in goud veranderde toen hij het aan zijn lippen bracht.

We moeten er dus voor zorgen dat krachtige AI-machines 'mensvriendelijk' zijn - dat ze doelen hebben die op betrouwbare wijze zijn afgestemd op onze eigen waarden. Een ding dat deze taak moeilijk maakt, is dat volgens de normen die we willen dat de machines nastreven, wij doen het zelf nogal slecht. Mensen zijn verre van betrouwbaar mensvriendelijk. We doen veel vreselijke dingen met elkaar en met vele andere levende wezens met wie we de planeet delen. Als superintelligente machines het niet veel beter doen dan wij, we zullen diep in de problemen zitten. We zullen krachtige nieuwe intelligentie hebben die de donkere kanten van onze eigen feilbare aard versterkt.

Voor de veiligheid, dan, we willen dat de machines zowel ethisch als cognitief bovenmenselijk zijn. We willen dat ze streven naar de morele hoge grond, niet voor de troggen waarin velen van ons een deel van onze tijd doorbrengen. Gelukkig hebben ze de intelligentie voor de klus. Als er routes zijn naar de hooglanden, ze zullen beter zijn dan wij om ze te vinden, en ons in de goede richting sturen. Zij kunnen onze gidsen zijn naar een veel betere wereld.

Echter, er zijn twee grote problemen met deze utopische visie. Een daarvan is hoe we de machines op weg helpen, de andere is wat het zou betekenen om deze bestemming te bereiken. Het 'aan de slag'-probleem is dat we de machines moeten vertellen waarnaar ze op zoek zijn met voldoende duidelijkheid en precisie, zodat we erop kunnen vertrouwen dat ze het zullen vinden - wat 'het' ook daadwerkelijk blijkt te zijn. Dit is een enorme uitdaging, aangezien we zelf in de war en in conflict zijn over de idealen, en verschillende gemeenschappen kunnen verschillende opvattingen hebben.

Het 'bestemmingsprobleem' is dat, door onszelf in handen te geven van deze morele gidsen en poortwachters, we offeren misschien onze eigen autonomie op - een belangrijk onderdeel van wat ons menselijk maakt.

Om maar op één aspect van deze moeilijkheden te focussen, we zijn diep tribale wezens. We vinden het heel gemakkelijk om het lijden van vreemden te negeren, en er zelfs aan bij te dragen, althans indirect. Voor onze eigen bestwil, we moeten hopen dat AI het beter zal doen. Het is niet alleen zo dat we misschien overgeleverd zijn aan de genade van de AI van een andere stam, maar dat we onze eigen niet konden vertrouwen, als we het hadden geleerd dat niet alle lijden ertoe doet. Dit betekent dat als tribale en moreel feilbare wezens, we moeten de machines in de richting van iets beters wijzen. Hoe doen we dat? Dat is het opstartprobleem.

Wat betreft het bestemmingsprobleem, stel dat het ons lukt. Van machines die beter zijn dan wij in het vasthouden aan de morele hoge grond, kan worden verwacht dat ze sommige van de fouten die we momenteel als vanzelfsprekend beschouwen, zullen ontmoedigen. We zouden onze vrijheid om te discrimineren kunnen verliezen ten gunste van onze eigen stammen, bijvoorbeeld.

Verlies van vrijheid om je slecht te gedragen is niet altijd een slechte zaak, natuurlijk:onszelf de vrijheid ontzeggen om slaven te houden, of om kinderen in fabrieken te laten werken, of roken in restaurants zijn tekenen van vooruitgang. Maar zijn we klaar voor ethische heersers - schijnheilig silicium dat onze opties beperkt? Ze zijn er misschien zo goed in dat we de hekken niet opmerken; maar is dit de toekomst die we willen, een leven in een goed georganiseerde morele dierentuin?

Deze problemen lijken misschien vergezocht, maar ze staan ​​al voor onze deur. Stel je voor dat we een AI willen die beslissingen neemt over de toewijzing van middelen in ons gezondheidssysteem, bijvoorbeeld. Het kan zoveel eerlijker en efficiënter doen dan mensen aankunnen, met voordelen voor patiënten en belastingbetalers. Maar we moeten de doelen correct specificeren (bijvoorbeeld om discriminerende praktijken te voorkomen), en we zouden sommige mensen (bijv. senior artsen) een deel van de discretie ontnemen die ze momenteel genieten. We worden dus al geconfronteerd met de problemen met het opstarten en de bestemming. En ze worden alleen maar moeilijker.

Dit is niet de eerste keer dat een krachtige nieuwe technologie morele implicaties heeft. Sprekend over de gevaren van thermonucleaire wapens in 1954, Bertrand Russell betoogde dat om te voorkomen dat we onszelf uitroeien "we op een nieuwe manier moeten leren denken". Hij drong er bij zijn luisteraar op aan om tribale loyaliteiten opzij te zetten en "jezelf alleen te beschouwen als een lid van een biologische soort... wiens verdwijning niemand van ons kan wensen."

We hebben het nucleaire risico tot nu toe overleefd, maar nu hebben we een nieuwe krachtige technologie om mee om te gaan - zichzelf, letterlijk, een nieuwe manier van denken. Voor onze eigen veiligheid, we moeten deze nieuwe denkers in de goede richting wijzen, en zorg ervoor dat ze goed voor ons handelen. Het is nog niet duidelijk of dit mogelijk is, maar als dat zo is, is dezelfde geest van samenwerking vereist, dezelfde bereidheid om tribalisme opzij te zetten, dat Russell in gedachten had.

Maar daar houdt de parallel op. Het vermijden van een nucleaire oorlog betekent business as usual. De langetermijntoekomst van het leven met AI goed krijgen, betekent een heel andere wereld. Zowel algemene intelligentie als moreel redeneren wordt vaak beschouwd als unieke menselijke capaciteiten. Maar veiligheid lijkt te vereisen dat we ze als een pakket beschouwen:als we machines algemene informatie willen geven, we moeten ze morele autoriteit geven, te. Dat betekent een radicaal einde aan het menselijk uitzonderlijkheid. Reden te meer om nu al over de bestemming na te denken, en om voorzichtig te zijn met wat we wensen.