Aspect

:

bias, fairness en diversiteit

Misschien wel het meest besproken aspect van big data, algoritmen, machine learning en AI: het risico op bias, ofwel vooringenomenheid. Al in 1996 zetten Batya Friedman en Helen Nissenbaum met hun baanbrekende artikel Bias in Computer Systems het onderwerp op de kaart. Ook mensen discrimineren, soms bewust, vaak onbewust. Maar Cathy O’Neil liet in Weapons of Math Destruction (zie ook haar TedTalk) als een van de eersten zien dat de risico’s van discriminatie door algoritmen veel groter zijn, vanwege de schaal en intransparantie ervan, en hun neiging om bestaande ongelijkheid te verergeren. In Automating Poverty liet The Guardian zien dat (ook) overheden met hun inzet van algoritmes vaak juist de zwakkere partijen in de samenleving het meest in de kou laten staan. In haar boek Automating Inequality doet Virginia Eubanks iets soortgelijks.

Hoewel het een "unfinished work" betreft, is er veel – vooral technisch georiënteerde – informatie te vinden in Fairness and Machine Learning van Solon Barocas e.a. Carsten Orwat schreef voor de Duitse Antidiskriminierungsstelle met Risks of Discrimination through the Use of Algorithms een uitstekend, uitgebreid en goed gedocumenteerd rapport. Het brengt niet alleen de problematiek breed in kaart, maar illustreert die ook aan de hand van tientallen praktijkvoorbeelden, én verkent een aantal oplossingsrichtingen. Ook Unfairness by algorithm: Distilling the harms of automated decision-making van het Future of Privacy Forum biedt een mooi overzicht, inclusief oplossingsrichtingen. Op Diginomica deelt Neil Raden geregeld interessante inzichten over bias en fairness. Een goede en toegankelijke inleiding biedt de Algorithmic Bias and Fairness CrashCourse op YouTube.  In Moving beyond “algorithmic bias is a data problem” gaat Sara Hooker in tegen de opvatting die je geregeld tegenkomt dat bias alleen in de data zit, en niet in het "neutrale"algoritme.

Een belangrijke uitdaging is dat er niet alleen talrijke noties van eerlijkheid (fairness) zijn, maar dat een algoritme nooit aan al die noties tegelijk kan voldoen. Hoe dan vergelijken en kiezen? Een recente en toegankelijke inleiding is The Myth of Complete AI-Fairness van Viriginia Dignum. Arvind Narayanan’s mooie FAT*2018 Tutorial gaat in op zowel de technische als de beleids- en ethische aspecten. Sorelle Friedler e.a. leggen in The (Im)possibility of Fairness de verbinding met aannames over de populatie. In If Your Company Uses AI, It Needs an Internal Review Board plaatst Reid Blackman de discussie mooi in een bredere context, al zal hij hopelijk niet iedereen weten te overtuigen van de Institutional Review Board als panacee.

Met Algorithmic Bias: On the Implicit Biases of Social Technology schreef Gabbrielle Johnson een mooi artikel over het verband tussen technische en menselijke bias. In Beyond Debiasing (EDRi, 2021) leggen Agathe Balayn and Seda Gürses het hele onderwerp uitgebreid op een constructief kritische wijze onder de loep.

Zie ook onder mensenrechten.

Tools 

Gelukkig komen er steeds meer tools beschikbaar om algoritmes eerlijker te maken en vooringenomenheid terug te dringen. Onze selectie:

Zie ook onder Tools.

Nederland

Laatst bijgewerkt: 8 oktober 2021

bias, fairness en diversiteit

In-depth sessie bias, fairness en non-discriminatie

Hoe bias en discriminerende effecten bij de inzet van algoritmes te signaleren, voorkomen en mitigeren.

AP: Overheid blijft discrimineren met AI en algoritmen

‘Bij zoʼn beetje elke tegel die we lichten, ontdekken we discriminerende algoritmen bij de overheidʼ.

Unlocking Hidden Talents

IT carrière event voor vrouwen van kleur.

Meer kennis algoritmen nodig op scholen

Mensenrechtencollege waarschuwt voor risico van discriminatie.

Buitenlandse Zaken volhardt in gebruik dubieus visumalgoritme

Onderzoeken spreken elkaar tegen. Deskundigen zijn kritisch.

Gebrek aan diversiteit bij AI-ontwikkeling

Onveiligere technologie en meer discriminatie door te weinig vrouwen.

Politie stopt met controleren op basis van etniciteit

Uiterlijk en afkomst mogen niet langer meewegen bij controles zonder directe aanleiding.

Ook Marechaussee controleert niet langer op basis van etniciteit

Expliciet verbod op controle zonder aanleiding op basis van uiterlijk of afkomst.