Geavanceerde technologieën leveren elke dag voordelen op. Maar, soms kunnen interacties met technologie misgaan en tot rampen leiden.

Op 10 maart, de piloten aan boord van Ethiopian Airlines-vlucht 302 konden een storing in een van de geautomatiseerde systemen van de Boeing 737 Max 8 niet corrigeren, resulterend in een crash en de dood van alle passagiers en bemanningsleden. Een jaar eerder, bijna tot op de dag, een ander automatisch voertuig – geen vliegtuig maar een zelfrijdende auto van Uber – sloeg en doodde Elaine Herzberg in Tempe, Arizona.

Als experts in hoe mensen en technologieën met elkaar omgaan, we weten dat het onmogelijk is om risico's in complexe technologische systemen volledig uit te sluiten. Deze tragedies zijn het gevolg van het feit dat regelgevers en experts uit de sector de complexiteit en risico's van interacties tussen technologieën en mensen over het hoofd zien en steeds meer vertrouwen op de vrijwillige zelfevaluatie van bedrijven, in plaats van objectief, onafhankelijke testen. Tragisch, dat lijkt te zijn gebeurd met het vliegtuig van Boeing en de auto van Uber.

Riskante zaken

De crash van vlucht 302 van Ethiopian Airlines evenals die van Lion Air Flight 610 in 2018, gebeurde ondanks toezicht van een van de technologisch meest capabele regelgevers ter wereld. Vliegreizen is opmerkelijk veilig in het licht van de mogelijke risico's.

Voordat de 737 Max 8 de lucht in ging, het moest een reeks inspecties van de Federal Aviation Administration doorstaan. In de loop van dat proces, Boeing overtuigde de FAA dat het geautomatiseerde systeem veiliger was dan het in werkelijkheid was, en dat piloten heel weinig training nodig zouden hebben op het nieuwe vliegtuig.

De FAA gaf de 737 Max 8 en zijn vluchtcontrolesysteem toestemming om te vliegen - en behield die toestemming niet alleen na de Lion Air-crash, maar ook gedurende drie dagen na de tragedie van Ethiopian Airlines.

Van vliegtuigen tot auto's

Naarmate de automatisering van vliegtuigen toeneemt, hetzelfde geldt voor auto's. Verschillende bedrijven testen autonome voertuigen op wegen door het hele land – en met veel minder toezicht dan de luchtvaartindustrie. Lokale en federale regels zijn beperkt, vaak in de naam van het bevorderen van innovatie. Federale veiligheidsrichtlijnen voor autonome voertuigen vereisen dat ze alleen dezelfde prestatietests doorstaan ​​als elke andere auto, zoals minimumnormen voor brandstofverbruik, veiligheidsgordelconfiguraties en hoe goed ze de inzittenden beschermen bij een aanrijding.

Er is geen betrouwbaarheidstest van hun sensoren, veel minder hun algoritmen. Sommige staten verplichten bedrijven om "ontkoppelingen" te melden - wanneer de zogenaamde "veiligheidsbestuurder" de controle over het geautomatiseerde systeem hervat. Maar meestal mogen de zelfrijdende autobedrijven doen wat ze willen, zolang er een persoon achter het stuur zit.

In de maanden voor de aanvaring in maart 2018, Uber stond onder druk om GM Cruise en Waymo in te halen. De auto's van Uber hadden een gevoelig objectherkenningssysteem, die soms werd misleid door een schaduw op de weg en remde om een ​​obstakel te ontwijken dat er eigenlijk niet was. Dat resulteerde in een ruwe, stop-en-start rit. Om de zaken glad te strijken, De ingenieurs van Uber hebben het noodremsysteem van de auto uitgeschakeld. Het bedrijf lijkt ervan uit te gaan dat de alleenstaande veiligheidschauffeur de auto altijd op tijd zou kunnen stoppen als er echt gevaar zou zijn om iets te raken.

Dat is niet wat er gebeurde toen Elaine Herzberg de weg overstak. De zelfrijdende Uber-auto die haar aanreed en doodde, zag haar met zijn sensoren en camera's, maar kon niet op eigen kracht stoppen. De veiligheidschauffeur lijkt te zijn afgeleid door haar telefoon – in strijd met het beleid van Uber, hoewel het onduidelijk is hoe het bedrijf zijn veiligheidschauffeurs heeft geïnformeerd over de wijziging naar het geautomatiseerde systeem.

Zelf toezicht houden

Regelgevers vertrouwen op praktijken voor zelfbeoordeling van veiligheid, waarbij particuliere bedrijven instaan ​​voor de overeenstemming van hun eigen producten met federale normen. De beste garanties die zij – en het publiek – hebben voor de veiligheid en betrouwbaarheid van deze voertuigen, zijn de garanties van de bedrijven die ze willen verkopen.

Welke rapporten bedrijven wel leveren, kan weinig hard bewijs bevatten, het aantal gereden echte en gesimuleerde mijlen aanprijzen, zonder details over hoe de auto's presteren onder verschillende omstandigheden. En autobedrijven brengen voortdurend nieuwe modellen uit en upgraden hun software, waardoor menselijke bestuurders worden gedwongen om meer te weten te komen over de nieuwe functies.

Dit is des te verontrustender omdat er veel meer auto's op de weg zijn dan er vliegtuigen in de lucht zijn - alleen al in de VS zijn 270 miljoen auto's geregistreerd. vergeleken met 25, 000 commerciële vliegtuigen wereldwijd. In aanvulling, zelfrijdende auto's hebben niet alleen te maken met weersomstandigheden, maar ook met interacties van dichtbij met andere auto's, voetgangers, fietsers en e-scooters. Veiligheidschauffeurs krijgen lang niet zoveel training als piloten, of.

Arizona, waar we zijn gevestigd, is een populaire plaats voor openbare tests van autonome voertuigen, deels vanwege een losser toezicht dan in andere staten. In de omgeving van Phoenix, echter, er is een groeiende publieke bezorgdheid over veiligheid. Sommige burgers vallen autonome voertuigen lastig om hen te ontmoedigen door hun buurt te rijden. Zoals een inwoner van Arizona tegen The New York Times zei:de autonome voertuigindustrie "zei dat ze voorbeelden uit de echte wereld nodig hebben, maar ik wil niet hun echte fout zijn."

Verbinding maken met het publiek, verantwoord innoveren

In the absence of federal safety standards for autonomous vehicles, states and local governments are left to protect the public – often without the expertise and resources to do so effectively. In our view, this doesn't mean banning the technology, but rather insisting on corporate transparency and true regulatory oversight.

Engaging the public about what's happening and who is – and isn't – protecting their safety can help officials at all levels of government understand what their citizens expect, and push them to ensure that technological innovation is done responsibly.

Universities can play an important role in supporting responsible innovation on these issues. The Arizona State University Center for Smart Cities and Regions is working with the Consortium for Science, Policy and Outcomes to host public forums on self-driving cars in cities across the U.S. and Europe.

Airplane and car passengers need to trust their vehicles and understand what risks are unavoidable – as well as what can be prevented. Relying on industry to self-regulate when lives and public trust are at stake is not a viable path to ensure that rapidly emerging innovations are developed and deployed responsibly. To the riders, customers and others sharing the road and the skies, there is only one bottom line – and it doesn't have a dollar sign attached to it.

Dit artikel is opnieuw gepubliceerd vanuit The Conversation onder een Creative Commons-licentie. Lees het originele artikel.