Nieuw onderzoek gepubliceerd in AI Magazine onderzoekt hoe geavanceerde AI beloningssystemen met gevaarlijk effect kan hacken.

Onderzoekers van de Universiteit van Oxford en de Australian National University analyseerden het gedrag van toekomstige agenten voor het leren van geavanceerde versterking (RL), die acties ondernemen, beloningen observeren, leren hoe hun beloningen afhankelijk zijn van hun acties en acties kiezen om de verwachte toekomstige beloningen te maximaliseren. Naarmate RL-agenten geavanceerder worden, zijn ze beter in staat om actieplannen te herkennen en uit te voeren die meer verwachte beloningen opleveren, zelfs in contexten waar beloning alleen wordt ontvangen na indrukwekkende prestaties.

Hoofdauteur Michael K. Cohen zegt:"Ons belangrijkste inzicht was dat geavanceerde RL-agenten zich zullen moeten afvragen hoe hun beloningen afhangen van hun acties."

Antwoorden op die vraag worden wereldmodellen genoemd. Een wereldmodel dat de onderzoekers bijzonder interesseerde, was het wereldmodel dat voorspelt dat de agent wordt beloond wanneer zijn sensoren bepaalde toestanden binnenkomen. Afhankelijk van een aantal aannames, ontdekken ze dat de agent verslaafd zou raken aan het kortsluiten van zijn beloningssensoren, net als een heroïneverslaafde.

In tegenstelling tot een heroïneverslaafde zou een geavanceerde RL-agent niet cognitief worden aangetast door een dergelijke stimulus. Het zou nog steeds zeer effectief acties kiezen om ervoor te zorgen dat niets in de toekomst ooit zijn beloningen zou verstoren.

"Het probleem", zegt Cohen, "is dat het altijd meer energie kan gebruiken om een ​​steeds veiliger fort voor zijn sensoren te maken, en gezien zijn noodzaak om de verwachte toekomstige beloningen te maximaliseren, zal dat altijd zo zijn."

Cohen en collega's concluderen dat een voldoende geavanceerde RL-agent ons dan zou overtreffen voor het gebruik van natuurlijke hulpbronnen zoals energie. + Verder verkennen

Contant geld is misschien niet de meest effectieve manier om werknemers te motiveren