Wij dragen het, Bekijk het, werk ermee - en kan last hebben van verlatingsangst als het niet beschikbaar is. Wat zijn de implicaties van menselijke interactie met technologie, vooral wanneer het wordt gebruikt om ons te voorspellen of te controleren?

Als onderdeel van het eerste programma, Algoritmische cultuur, het Instituut voor Beleid, Ethiek, en cultuur aan de Michigan Technological University bracht voorvechter van sociale rechtvaardigheid en opinieleider Marika Pfefferkorn naar de campus om over haar werk te praten. In deze vraag en antwoord Pfefferkorn deelt meer over haar grassroots-activisme, hoe het zich over het hele land verspreidt en de acties die ze hoopt dat onze gemeenschap zal ondernemen in de nasleep van haar bezoek.

Vraag:Wat doe je en hoe ben je in dit werk beland?

A:De Minneapolis-St. De op Paul gebaseerde Twin Cities Innovation Alliance (TCIA) is een coalitie die een sectoroverschrijdende publieke, particuliere en maatschappelijke organisaties, bedrijven en instellingen. TCIA is opgericht om proactief te zijn over de opkomst van Smart Cities en om ondernemende oplossingen te bedenken die leiden tot verbonden gemeenschappen. We focussen op het belang en de rol van data in de domeinen van Smart Cities, inclusief onderwijs, bestuur, infrastructuur en vervoer.

Data is als zuurstof voor Smart Cities, en we realiseerden ons vanaf het begin dat het absoluut noodzakelijk was en is om met leden van de gemeenschap de beloften en gevaren te delen die bestaan ​​vanwege het gebruik van hun gegevens. Nu breidt ons werk zich landelijk uit.

Vraag:Wat maakte je geïnteresseerd in de inherente vooringenomenheid in voorspellende algoritmen?

een:In 2018, 43 schooldistricten in Minnesota werden door het Minnesota Department of Human Rights geïdentificeerd voor het discrimineren van zwarte, bruine en autochtone leerlingen in subjectieve buitenschoolse schorsingen. Toen Ramsey County, de City of St. Paul en St. Paul Public Schools hebben een overeenkomst inzake gezamenlijke bevoegdheden gesloten met geïntegreerde gegevensuitwisseling, ze stelden voor om voorspellende analyses toe te passen en een risicobeoordeling te gebruiken om een ​​risicoscore toe te kennen om kinderen die risico lopen te markeren voor toekomstige betrokkenheid bij het jeugdstrafrecht. Toen ik hoorde dat ze voorstelden om buitenschoolse schorsingen te gebruiken als indicator voor hun risicobeoordeling, Ik maakte me zorgen omdat de gegevens die ze zouden invoeren onjuist waren en raciaal bevooroordeeld waren tegen studenten van kleur en studenten die speciaal onderwijs kregen. Ik erkende dat besluitvormers en beleidsmakers niet hun uiterste best hadden gedaan om onze studenten te beschermen tegen raciale profilering of stigmatiserende labels die hen zouden volgen tot ver buiten hun K-12-opleiding.

V:U ontdekte dat zowel de families die getroffen konden worden door een problematisch algoritme als de functionarissen die de overeenkomst voor het delen van gegevens steunden als een effectievere en efficiëntere manier om hun gemeenschappen te helpen, kennislacunes hadden en/of zich geïntimideerd voelden bij het bespreken van digitale technologie. Hoe heeft de door u georganiseerde coalitie gewerkt om informatie bij de mensen te krijgen?

A:Toen we eenmaal erkenden dat niemand de implicaties van zo'n uitgebreide Joint Powers Agreement echt begreep, de Coalition to Stop the Cradle to Prison Algorithm heeft tijd geïnvesteerd in het stuk voor stuk opsplitsen van het document:als we vragen hadden, stelden we als we zorgen hadden, noemden we ze en als we duidelijkheid nodig hadden, namen we contact op met ons gemeenschapsnetwerk en namen contact op met partners zoals de Minnesota ACLU en Data for Black Lives. Zoals we leerden, we hebben tools gemaakt die iedereen kan gebruiken als katalysator voor constructievere gesprekken. Een voorbeeld hiervan is de beleidsbrief die we hebben gemaakt en gedeeld met onze gekozen functionarissen en belanghebbenden om onze zorgen uit te leggen en problematische aspecten van de overeenkomst te benadrukken. We hebben ouders betrokken als ambassadeurs en hun inspanningen ondersteund om de boodschap over te brengen. We organiseerden meerdere community-toppen en forums die andere communityleden als experts positioneerden om te praten over wat er gaande was en hun zorgen. We organiseerden een Dare to Data-kliniek en een Algorithmic Improv-workshop om een ​​groot deel van de intimidatie die onze gemeenschapsleden voelden te onderbreken bij het navigeren door juridische of technische taal met gekozen functionarissen en beleidsmakers.

V:Mensen kunnen de indruk krijgen dat u anti-data bent. Is dat het geval?

A:Ik lach als mensen denken dat ik anti-data ben, omdat zoveel van mijn werk afhankelijk is van toegang tot goede data om het hele verhaal te vertellen. Voor veel mensen in dit werk, er is geen probleem, tenzij u kunt bewijzen dat er een probleem is met gegevens. Veel van mijn werk op het gebied van dispariteiten in discipline vereist dat ik pleit voor meer gegevensverzameling rond schorsingen, kantoorverwijzingen en uitzettingen; mijn zorg zal altijd zijn hoe we studentgegevens beschermen tegen misbruik en misbruik - het waarom is echt belangrijk.

V:Soms voelt het alsof velen van ons gewoon van computer naar computer gaan, van onze horloges en auto's tot onze huisassistenten. Hoe ziet volgens jou een goede relatie met technologie eruit?

A:Een goede relatie met technologie begint met het begrip dat technologie een hulpmiddel is en dat onze menselijkheid voorop staat. Technologie is niet de zilveren kogel, technologie is niet het antwoord op alles, en technologie moeten in het juiste perspectief worden gehouden, niet uitgesteld als neutraal, bovenstaande vraag. Het belangrijkste is, de rol van technologie moet transparant worden gemaakt.

V:Recente koppen, inclusief beschuldigingen van gendervooroordelen over creditcards en het verzamelen van "geheime" financiële scores (pagina's en pagina's met gegevens, op basis van alles, van afhaalmaaltijden tot tv-kijkgewoonten) onthullen hoe weinig privacy we eigenlijk hebben. Is privacy mogelijk in een algoritmisch tijdperk?

A:We bevinden ons op een keerpunt in onze democratie waar mensen bereid zijn het kind met het badwater weg te geven zonder echt de langetermijnimpact van privacy in een algoritmisch tijdperk te begrijpen. Technologiebedrijven spelen hierop in. Ik denk dat het de rol van ouders is, opvoeders, schooldistricten, staten en de federale overheid om mensen beter toe te rusten om dit nieuwe technologische tijdperk te begrijpen en te navigeren, vooral onze digital natives die niet anders weten. Een massale voorlichting moet een prioriteit zijn als we de bestaande privacybescherming willen beschermen. We kunnen onze privacy niet als vanzelfsprekend beschouwen.

Vraag:Je hebt een ontmoeting gehad met de faculteit, studenten en medewerkers eerder deze maand. Wat zijn enkele van de meest betekenisvolle interacties die je had op de campus?

A:Ik heb echt genoten van mijn bezoek aan Michigan Tech. Ik heb zoveel geleerd over het Instituut voor Beleid, Ethiek, en cultuur van de leden van het oprichtingscomité die ik heb ontmoet - ik hoorde hun visie voor IPEC tot leven komen toen ze het werk beschreven dat ze hopen te bereiken. Ik hoop dat ik de kans krijg om met hen samen te werken terwijl ze dit werk uitrollen.

Mijn favoriete onderdeel van het bezoek was de omgang met studenten in een les Recht en Maatschappij, en ontmoeting met docenten en studenten informatica. Hoewel veel van de studenten met wie ik contact heb gehad een heel ander wereldbeeld hebben, door onze verhalen en discussies vond ik een gemeenschappelijke basis en oprechte interesse in de onderwerpen big data, voorspellende analyses en algoritmen. Ik liep ook weg met een nieuwe leeslijst. Ik ontdekte dat de meeste studenten er echt om gaven, stelden geweldige vragen en waren betrokken bij het gesprek omdat ze een persoonlijke verbinding legden tussen theorie en praktijkervaring.

Vraag:Wat is het ding dat je naar onze gemeenschap hebt gebracht waarvan je hoopt dat het bij ons blijft?

A:Geïntegreerde gegevensuitwisseling, de toepassing van voorspellende analyses en het gebruik van algoritmen is geen nieuwe praktijk, but community members must be aware and prepared to participate in discussions and decision-making processes about their use to ensure that outcomes are not separate from the communities they are intended to serve and to know that certain students are more negatively impacted from others. When we talk about data and systems, we must recognize the harm that communities have experienced in the misuse of data and systems, and the individuals that represent them must do everything in their power to repair that harm and begin to build trust before any next steps are taken.

Q:What's next for your projects?

A:The Twin Cities Innovation Alliance has launched the Data for Public Good Campaign to work side by side with communities to identify emerging technological trends in education across the country for the purpose of creating a heat map to follow the development, resources and policies at play. We will convene these community co-researchers to identify recommendations and guidelines from a community perspective as another tool for communities to use in protecting individual data and ensuring trust between systems and communities.