Design-editie

De Autoriteit Persoonsgegevens heeft Uber een boete van meer dan 800 miljoen euro opgelegd. De reden: Uber zette chauffeurs volledig automatisch uit het systeem, zonder dat een mens ernaar keek. Dat is volgens de toezichthouder in strijd met de privacywet. Het is een van de grootste boetes ooit voor geautomatiseerde besluitvorming. De toezichthouder geeft daarmee een signaal aan elke organisatie die AI inzet bij beslissingen over mensen. Voor jou als ontwerper lijkt dat ver weg, maar je zit er dichter bij dan je denkt. Werk je met een opdrachtgever die freelancers selecteert via een systeem, of lever je ontwerp voor een platform dat mensen beoordeelt, dan gaat dit over de dienst die jij mee vormgeeft. Werk je zelf via een platform dat opdrachten verdeelt of accounts blokkeert, dan heb je nu een argument om te eisen dat een mens meekijkt bij zo'n besluit. Vraag bij je volgende opdracht voor een platform of app waar in het ontwerp een mens het laatste woord heeft. Geautomatiseerde besluitvorming betekent: een systeem trekt zelf een conclusie over een persoon en voert die ook zelf uit, zonder dat een medewerker kan zeggen "wacht even". De privacywet staat dat bij ingrijpende besluiten niet zomaar toe, want iemand die zijn werk kwijtraakt moet kunnen vragen waarom, en het moet teruggedraaid kunnen worden. Het gaat dus niet om de kwaliteit van het model, maar om de plek van de mens in het proces. Een systeem dat een voorstel doet en een mens die tekent, is heel anders dan een systeem dat zelf op de knop drukt. De grens is lastiger dan hij lijkt: een mens die honderd voorstellen per uur wegklikt, is formeel betrokken maar praktisch niet. In ontwerp is dat een echte keuze: hoeveel ruimte geef je in een scherm aan de persoon die moet beslissen? Een boete van deze omvang is geen bewijs dat elke automatisering fout is. Roosters en voorselecties mogen nog gewoon. Het risico verschuift naar wie het proces ontwerpt: als jij het scherm maakt waarin niemand kan afwijken, heb je de uitzondering onmogelijk gemaakt.

Bron →