Nederland staat steevast bovenin de lijstjes als één van de sterkste democratieën ter wereld. Het is verrassend genoeg ook het land dat één van de meest indringende surveillancesystemen op aarde herbergt, die het volgen en profileren van arme mensen automatiseert.
Op 29 Oktober hield de rechtbank in Den Haag hoorzittingen over de rechtmatigheid van het Systeem Risico Indicatie (SyRI), het geautomatiseerde systeem voor het opsporen van fraude met uitkeringen, toeslagen en belastingen in Nederland. De rechtszaak, ingediend door een coalitie van maatschappelijke groeperingen en activisten, stelt dat het systeem de databeschermingswetten en mensenrechtennormen schendt.
SyRI is een risicoberekeningsmodel dat door het ministerie van Sociale Zaken en Werkgelegenheid is ontwikkeld om te voorspellen hoe groot de kans is dat iemand zich schuldig maakt aan toeslag- en belastingfraude, en overtredingen van de arbeidswetgeving. De berekeningen van SyRI zijn gebaseerd op enorme hoeveelheden persoonlijke en gevoelige data die door allerlei overheidsinstellingen worden verzameld, van werknemerdossiers tot informatie over toeslagen, uitkeringen, financiële informatie, eventuele schulden, en onderwijs- en huisvestingsgeschiedenis.
Wanneer het systeem een persoon profileert als fraudegevoelig, stelt het de betreffende overheidsinstantie op de hoogte, die tot twee jaar de tijd heeft om een onderzoek te openen.
De inzet van SyRI in hoofdzakelijk lage-inkomenswijken heeft geleid tot een bewakingsregime dat zich disproportioneel richt op armere burgers, die te maken krijgen met zeer ingrijpende controles. Tot nu toe heeft het ministerie samengewerkt met een aantal gemeenten samengewerkt om SyRI te implementeren. Het gaat om Rotterdam, de op één na grootste stad van Nederland met het hoogste armoedepercentage van het land, Eindhoven en Haarlem. Tijdens de hoorzitting erkende de regering dat SyRI is ingezet in buurten met een relaitief hoog aantal inwoners die een uitkering ontvangen, ondanks dat er geen bewijs is dat uitkeringsfraude hier vaker zou voorkomen.
Maar SyRI heeft niet alleen discriminerende effecten op de privacy van uitkeringsgerechtigden. Het faciliteert ook schendingen van rechten op sociale zekerheid. Omdat SyRI is gehuld in geheimhouding, krijgen mensen die er mee te maken krijgen niet of nauwelijks inzicht in de redenen waarom hun soms uiterst belangrijke toeslagen of uitkeringen zijn stopgezet.
De regering heeft geweigerd om bekend te maken hoe SyRI werkt, uit vrees dat openheid over de algoritmes voor risicoberekening van SyRI fraudeurs in staat kan stellen om het systeem te bespelen. Maar autoriteiten hebben tegelijkertijd toegegeven dat het systeem soms foutieve resultaten produceert, waardoor individuen ten onrechte als frauderisico worden aangemerkt.
Zonder een transparantere uitleg is het onmogelijk om te weten of deze fouten hebben geleid tot ongepaste onderzoeken tegen mensen die een toeslag of uitkering ontvangen, of tot het onterecht stopzetten van uitkeringen en toeslagen.
De overheid beweert dat ze de foutieve SyRI-resultaten gebruiken om gebreken in het model van de risicoberekening te repareren, maar het is onmogelijk om deze claim te staven. Sterker nog, het is zeer de vraag of het systeem accuraat genoeg functioneert om als rechtvaardiging te dienen om mensen tot twee jaar lang aan te merken als verdacht geval.
SyRI maakt deel uit van een wereldwijde trend om kunstmatige intelligentie en andere datagestuurde technologieën te integreren in het beheer van sociale uitkeringen en andere essentiële diensten. Maar deze technologieën worden vaak ingevoerd zonder serieus overleg met mensen die het aangaat, of het bredere publiek.
In het geval van SyRI werd het systeem door het Parlement goedgekeurd als onderdeel van een pakket hervormingen die in 2014 werden doorgevoerd. Maar de regering experimenteerde bijna tien jaar met hightech fraudeopsporingsinitiatieven voordat er democratische controle kwam op deze praktijk.
Lokale organisaties hebben ook hun beklag gedaan over het wetgevingsproces. Volgens de indieners van de rechtszaak faalde het parlement omdat zorgen over privacy en gegevensbescherming, die door de eigen adviesorganen en door de waakhond van de overheid op het gebied van gegevensbescherming naar voren werden gebracht, niet werden opgevolgd met noodzakelijke actie.
De rechtbank doet in januari uitspraak. Wij zullen in de gaten houden of deze de rechten van de armste en kwetsbaarste Nederlanders beschermt tegen de grillen van automatisering.
