Sennay Ghebreab is hoogleraar Socially Intelligent Artificial Systems aan de UvA en oprichter van het Civic AI Lab, dat zich richt op de vraag hoe AI en data kunnen bijdragen aan gelijke kansen in onder meer onderwijs, gezondheid en mobiliteit. Als lid van de Staatscommissie tegen Discriminatie en Racisme leidt Ghebreab – samen met hoogleraar Linnet Taylor (Tilburg University) – de subcommissie die onderzoek deed naar datagedreven profilering door de Nederlandse overheid. In de tussenrapportage ‘Principes voor profilering’, die op 7 mei is gepubliceerd, pleit de subcommissie voor het stopzetten van lopende toepassingen van datagedreven profilering en het beperken van verdere verspreiding ervan.
“We zien dat profilering en geautomatiseerde risicoselectie door overheidsorganisaties de afgelopen jaren zijn toegenomen, terwijl we meerdere voorbeelden hebben gezien waarin dit leidt tot discriminatie van grote groepen burgers, met ingrijpende schade voor mens en maatschappij. Toezichthouders als de Autoriteit Persoonsgegevens en het College voor de Rechten van de Mens hebben herhaaldelijk gewezen op onrechtmatige en discriminerende gegevensverwerking en op de toenemende complexiteit door algoritmes en AI. Toch gaat de overheid door met haar profileringspraktijken. (…)
De staatscommissie pleit daarom voor het stopzetten van huidige toepassingen, maar wijst ook op alternatieven. Denk aan aselecte steekproeven of, waar mogelijk, volledige controles, gecombineerd met betere signalering en aanvullend onderzoek. Sterker nog, wetenschappelijk onderzoek onderstreept dat aselecte steekproeven net zo effectief, zo niet effectiever, zijn. Daarnaast zijn deze methoden transparanter, eerlijker en verkleinen het risico op discriminatie.”
Lees het hele interview op de site van de UvA.
