Een tijdje geleden kreeg ik het boek Weapons of Math Destruction, geschreven door Cathy O’Neil. Dit boek gaat zoals de titel al doet vermoeden over zogenaamde Weapons Of Math Destruction (WMDs). Een WMD is een Big Data algoritme dat grootschalig wordt ingezet, ondoorzichtig is en een negatieve impact heeft op de maatschappij. Zo’n algoritme stuurt ons richting het maken van beslissingen die de rijken rijker maken, en de armen armer maken. Om haar punt duidelijk te maken begint de auteur met een voorbeeld van zo’n Weapon of Math Destruction.
Een voorbeeld
In 2007 had de burgemeester van Washington D.C. te maken met slecht presterende scholen in de stad. De theorie was dat de studenten niet genoeg leerden omdat de leraren hun werk niet goed deden. Daarom werd er een algoritme ontwikkeld dat de prestaties van leraren kon evalueren. De minst presterende leraren werden vervolgens ontslagen. Een efficiënt middel dat de prestaties zal doen verbeteren, zo dacht men.
Toen een zeer gewaardeerde leraar tot ieders verbazing werd ontslagen na het behalen van een slechte score, ging deze leraar twijfelen aan de betrouwbaarheid van dit algoritme. Waar werd deze score op gebaseerd? Welke gegevens werden er eigenlijk verzameld om de prestaties van een leraar te beoordelen? In tegenstelling tot een algoritme waarbij miljarden transacties in verschillende modellen worden geladen om een hypothese te testen, genereert een leraar jaarlijks slechts een zeer beperkte set met datapunten. En kon dit algoritme wel leren van feedback uit nieuwe informatie? Hoe kon het systeem achteraf weten of het ontslag terecht was? Werd deze informatie teruggegeven aan het systeem? Het algoritme bleek een “black box” waar niemand inzicht in kon krijgen. Een leraar kon slechts zijn best doen en hopen dat de score gunstig uit viel.
De leraar in kwestie kreeg vanwege goede connecties en persoonlijke aanbevelingen uiteindelijk een baan krijgen bij een rijkere school in een welvarender gebied. Een arme school verloor een goede leraar en een rijkere school die geen leraren ontsloeg vanwege slechte scores, kreeg er een goede leraar bij.
Kernmerken algoritme
In bovenstaand voorbeeld komen de kenmerken van een WMD naar voren die O’Neil in de loop van het boek verder verduidelijkt:
Proxies
O’Neil geeft een ander voorbeeld van WMDs die kredietwaardigheidsscores berekenen. Omdat officiële kredietwaardigheidsscores van financiële instanties wettelijk zijn beschermd, worden deze niet gebruikt. In plaats daarvan maken deze algoritmes gebruik van zogenaamde “proxies”. Een proxy is een afgeleide waarvan de ontwikkelaars denken dat dit een goed alternatief is. Bijvoorbeeld een postcodegebied, de Facebook vrienden van een persoon of de webpagina’s die hij/zij bezoekt. Rijke mensen wonen in rijke postcodegebieden, hebben rijke vrienden en bekijken websites van luxe producten, etc. Daardoor krijgen mensen automatisch een lagere score wanneer ze in een arm postcodegebied wonen, arme vrienden hebben en geen luxe websites bezoeken. Deze toegekende scores – ook wel e-scores genoemd – zijn grotendeels gebaseerd op deze proxies.
Negatieve feedback loop
Een negatieve feedbackloop is ook een kenmerk van een WMD. In een ander voorbeeld beschrijft de auteur een WMD dat automatisch honderden cv’s screent in de eerste fase van het sollicitatieproces. Als je een beperkte opleidingsachtergrond hebt, of een gat in je cv, dan is de kans groter dat je cv direct wordt weggefilterd door zo’n algoritme. Daardoor wordt het gat in je cv alleen maar groter en wordt de kans op een baan nog kleiner. Deze negatieve feedback loop van WDMs benadeelt hele groepen mensen.
Ondoorzichtigheid
Een WMD haalt overal data vandaan. Hoe meer data, hoe beter is het uitgangspunt van de meeste algoritmes. Met ondoorzichtige proxies generen ze e-scores. Men beoordeelt vervolgens individuen op basis van deze e-scores. Niemand weet echter hoe deze scores zijn berekend, behalve de ontwikkelaars van het algoritme. Daardoor heeft ook niemand invloed op zijn/haar e-score om deze te verbeteren. In het eerder genoemde voorbeeld werd een docent ontslagen, omdat zij een slechte beoordeling kreeg van een algoritme. Niemand weet waar deze score op was gebaseerd. De gedupeerde hoefde ook geen uitleg te verwachten.
Niet zelflerend
De meeste WMDs bevatten geen feedback loops en leren niet van “false positives” of “false negatives”. In een zelflerend algoritme, zoals bijvoorbeeld in de voorspellingen van baseball wordt gedaan, wordt een verkeerde voorspelling als nieuwe informatie teruggegeven aan het algoritme. Het algoritme kan hier dan van leren om zijn toekomstige voorspellingen zuiverder te maken. In WMDs bestaat er niet zo’n mechanisme, waardoor het algoritme nooit leert. Een voorbeeld hiervan is het automatische screeningsproces voor grote hoeveelheden sollicitaties op een vacature. Een algoritme wijst honderden kandidaten automatisch af. Dit systeem kan echter nooit leren van een verkeerde afwijzing. Het algoritme weet niet wanneer een kandidaat later bij een vergelijkbare functie in een andere organisatie enorm succesvol is gebleken.
Wat kunnen we hier volgens de auteur van leren?
Als we het doel van algoritmes veranderen van straffen naar helpen, dan kunnen we WMDs omzetten in iets goeds. Sommige WMDs moeten we volledig “ontmantelen”. Deze zijn simpelweg niet in staat om de realiteit te modelleren. Zoals in eerder genoemd voorbeeld het algoritme die leraren een score gaf op basis van ondoorzichtige proxies. Dit algoritme was totaal niet in staat om een betrouwbare of herhaalbare score te kunnen genereren. Daarnaast kan men de algoritmes doorzichtiger maken. Bijvoorbeeld door een audit door een onafhankelijke instantie te verplichten of een soort eed die de ontwikkelaars af moeten leggen. Of we kunnen de wetgeving aanpassen. Bijvoorbeeld door het hergebruik van gegevens aan banden te leggen.
Wat heb ik hier van geleerd?
Dit boek gaf mij een nieuw perspectief ten opzichte van Big Data. In de meeste literatuur in dit vakgebied spreekt men over de mogelijkheden en oneindige toepassingen van Big Data algoritmes. Daarbij staat men minder stil bij de risico’s ervan. Dit boek heeft mij geleerd dat er ook een destructieve kant van Big Data kan zijn als we niet uitkijken voor wat we met een algoritme willen bereiken.
Dit boek heeft betrekking op de situatie in de Verenigde Staten. Ik denk wel dat men in de VS anders om gaat met data en met WMDs dan men hier in Europa doet. Sommige voorbeelden en uitspraken van de auteur vond ik wel wat extreem over komen. Daarnaast wordt misschien het menselijke aspect in het gevaar van WMDs een beetje onderbelicht in dit boek. Het boek kan de illusie creëren dat een algoritme uit zichzelf een vernietigende kracht is. Uiteindelijk is het echter niet het algoritme, maar het doel waarvoor en de manier waarop men het algoritme heeft ontworpen wat het een Weapon of Math Destruction maakt.
Voor mij persoonlijk was de les uit dit boek dat we als individu of als organisatie altijd kritisch moeten blijven naar de data en de daaruit afgeleide conclusies die we voorgeschoteld krijgen. Zeker in een wereld waarin er steeds meer informatie op ons af komt. Ik denk dat dit boek daarom een must-read is voor iedereen die veel met data te maken heeft in zijn/haar dagelijkse werkzaamheden.
Joost Romijn is BI Consultant bij ProAnalytics. Vanuit deze rol helpt hij organisaties met het vertalen van data naar bruikbare inzichten.