Cathy O’Neil

Wiskundige voor digitale gerechtigheid 


‘Algoritmes zijn overal’, zegt Cathy O’Neil. Algoritmes krijgen steeds meer controle over ons leven. Overheden gebruiken ze, financiële instituten, scholen en verzekeringsmaatschappijen. O’Neil: ‘Ze scheiden de winnaars van de verliezers.’

Wat zijn algoritmes? In feite zijn het opeenvolgende instructies die een computer vertellen wat hij moet doen. Zoals wanneer een online winkel voorspelt welke producten je wil kopen gebaseerd op eerdere aankopen. Dan is de instructie: ‘Klant koopt product x. Zoek producten die lijken op x. Doe klant een suggestie.’ Dat klinkt als een prima service.

‘Maar wat als algoritmes het mis hebben?’ vraagt de Amerikaanse wiskundige en datawetenschapper Cathy O’Neil. Sinds de publicatie van haar boek Weapons of Math Destruction in 2016 is O’Neil een van de meest uitgesproken stemmen tegen misstanden in het gebruik van algoritmes en Big Data. Omdat ze worden gebruikt door computers en wiskunde als basis hebben, hebben algoritmes een aura van neutraliteit. ‘Maar dat is een marketingtruc’, zegt O’Neil in een Ted Talk over het onderwerp. Algoritmes zijn geen objectieve waarheid, benadrukt ze. ‘Het zijn meningen verpakt in code.’

Als een online winkel een verkeerde suggestie doet, dan is er geen man overboord. Maar algoritmes kunnen vrijheden, levensonderhoud en financiën van mensen grondig overhoop gooien. O’Neil: ‘Er kan veel misgaan als we blind vertrouwen op Big Data.’ Weapons of Math Destruction staat bol van de voorbeelden van mensen wier leven werd geruïneerd nadat computermodellen het overnamen van menselijk oordeelsvermogen. Perfecte leraren werden ontslagen, en prima functionerende ex-gevangenen moesten zich ineens iedere week melden. Allemaal gebaseerd op onbekende criteria gebruikt door algoritmes.

Voor buitenstaanders, en zelfs voor gebruikers, is het soms onmogelijk na te gaan hoe die computermodellen tot hun conclusies komen. Spelen vooroordelen van de programmeurs een rol? Zijn de gebruikte datasets incompleet? ‘Het gaat er allemaal om wie de code bezit. Degene die de code bezit, past hem toe op anderen’, zegt O’Neil in Coded Bias, de onthullende documentaire over kunstmatige intelligentie, discriminatie en Big Data. ‘En het is een volkomen asymmetrische machtsverhouding.’

Voor Cathy O’Neil is het cruciaal dat het probleem niet langer alleen door experts wordt bestudeerd. ‘We zijn geïntimideerd en overdreven goedgelovig als het gaat om algoritmes, omdat we geen experts zijn in wiskunde of wetenschap’, zegt ze in een interview. ‘Maar ik zie het als een politiek gevecht. Het gaat om de vraag wat eerlijk is. En ik denk niet dat er iemand is die zegt: sorry, maar van eerlijkheid heb ik geen verstand.’

Coded Bias is te zien op het Movies that Matter Festival 2021, waar Cathy O’Neil speciale gast zal zijn.