Technische briefing Risicoprofilering bij handhaving

[0:00:00] morgen.

[0:00:01] Welkom iedereen bij de technische briefing over risicoprofilering bij handhaving.

[0:00:08] Welkom aan onze gasten, welkom aan de Tweede Kamerleden, publieke tribune, maar ook mensen online die meekijken.

[0:00:16] Ik zal allereerst de gasten voorstellen.

[0:00:19] Allereerst meneer Gebreieb van de staatscommissie, dan de heer Terpstra,

[0:00:27] van het Mensenrechtencollege, dan mevrouw Park van de Nationale Ombudsman en dan hebben wij de heer Houtsager van de NCDR, Nationale Coördinatie tegen Discriminatie en Racisme.

[0:00:45] Dank u wel.

[0:00:45] En aan de linkerkant hebben wij de Kamerleden, de heer Van Nispen van SP, mevrouw Rijkhofsky van de VVD, de heer Van Baarle van DENK en de heer Van Waveren van NSC.

[0:01:01] We hebben allereerst een gezamenlijke presentatie die de gasten hebben voorbereid.

[0:01:07] Het duurt ongeveer tien minuten.

[0:01:10] En daarna heb ik begrepen dat er verschillende accenten gelegd zullen worden.

[0:01:14] Maximaal twee tot drie minuten.

[0:01:17] En na afloop van de presentatie zullen de Kamerleden vragen daarover stellen.

[0:01:21] Maar mocht je tussendoor prangende vragen hebben, ik zal zeggen, stel ze vooral voor het begrip.

[0:01:30] Ik zal zeggen, laten we beginnen met de presentaties.

[0:01:32] Dus het woord is aan u. Een heel hartelijk dank, voorzitter, en ook veel waardering

[0:01:42] Ik denk namens ons alle vier voor de initiatief om hier opnieuw over het belangrijke onderwerp te spreken.

[0:01:48] We hebben inderdaad als vier organisaties een basispresentatie even gegeven om in ieder geval de feitelijke inhoudelijke klokken gelijk te zetten.

[0:02:00] Als er vragen zijn, dan horen we van dat.

[0:02:04] Ja, risicoprofilering is belangrijk om in ieder geval goed af te baken naar waar we het over hebben, want in de handhaving gebeurt heel veel.

[0:02:11] Er worden heel veel beslissingen genomen op dagelijkse basis in de handhaving, maar bij risicoprofilering hebben we het echt over een situatie waarbij selecties worden gemaakt op basis van speciale risicokriteria die volgens de instantie die ze gebruiken in ieder geval samenhangen met de kans op een overtreding.

[0:02:32] En dat is altijd in een situatie waarbij er geen concrete informatie is over of er overtredingen zijn, hoeveel er zijn en wie daarbij betrokken zouden zijn.

[0:02:41] Dus altijd eigenlijk, als het ware, je staat op een schip, je kan niet onder de wateropvlakte kijken, maar je gooit toch een net naar beneden.

[0:02:53] Ja, wat zijn nou die kenmerkingen?

[0:02:54] Wat springt daaruit?

[0:02:56] Het idee is, of dat zo is moet altijd blijken, maar het idee is dat dat zou moeten leiden tot efficiëntere en effectievere controles op normovertreding.

[0:03:07] Dat je dus meer hits hebt, meer gevallen van overtredingen pakt, of dat je met minder inspanning hetzelfde aantal pakt.

[0:03:16] Efficiënter, effectiever.

[0:03:19] En het is ook...

[0:03:23] Het idee is ook dat als je spreekt over gerichte opsporing, dat valt er dus buiten.

[0:03:27] Dat hebben we net in de definitie gezien.

[0:03:29] En het is ook belangrijk om te markeren dat risicoprofilering, dat leidt tot een uitkomst.

[0:03:36] In bureaucratische termen wordt dan vaak gesproken over uitworp.

[0:03:40] We hebben een uitworp van een categorie gevallen die onder een hoog risico zouden vallen.

[0:03:47] Maar dat is een technisch hulpinstrument en zo'n uitworp

[0:03:49] Dat leidt nooit in juridische zin tot een hogere verdenking en dus ook niet tot activering van opsporingsbevoegdheden of wat dan ook.

[0:03:58] En dat is belangrijk om te markeren.

[0:04:00] Tegelijkertijd zie je wel, en dat zien wij ook wel, is dat zo'n uitwerp wel een eigen leven kan gaan leiden.

[0:04:06] Dat dat een markering wordt van een persoon.

[0:04:09] En de vraag is natuurlijk, hoe kun je dat voorkomen?

[0:04:17] Het is ook belangrijk om te weten dat risicoprofilering, dat is best wel een nauwe en nauwkeurige definitie, maar toch valt er nog heel veel verschillende soorten activiteiten onder.

[0:04:30] Dat is ook belangrijk als het gaat om de aanpak van de risico's.

[0:04:36] Je hebt de zogenaamde live-beslissingen, zoals we dat dan noemen.

[0:04:40] In slecht Nederlands, en dat gaat dan over agenten op straat, maar alsjeblieft beveiligers, die een inschatting moeten maken.

[0:04:49] Is dit een verdachte situatie?

[0:04:51] Is hier mogelijk sprake van een overtreding?

[0:04:52] Zonder dat dat al letterlijk uit... Het is geen heterdaad, maar het is een inschatting.

[0:04:58] Ja, die worden natuurlijk op dagelijks basis heel veel gemaakt.

[0:05:01] Dat is ook risicoprivileering, maar een heel andere vorm van risicoprivileering, hebben we ook gezien, is dat als er op basis van dossierkenmerken bepaalde dossiers naar voren worden gehaald die extra controle krijgen of die alleen gecontroleerd worden en andere dossiers worden...

[0:05:15] zonder controle doorgestuurd.

[0:05:18] Ook dat is een risico op revolering.

[0:05:19] Maar technisch gezien zijn dat hele andere activiteiten en dat is ook goed om te beseffen als we het hebben over de uitvoering van die normen.

[0:05:26] En bij dossierselecties zie je ook vaak algoritmische toepassingen.

[0:05:31] En wat een algoritme precies zijn, daar gaan we nu even niet al te diep op in, want dat is weer een hele definitie op zich.

[0:05:39] Hier denk ik niet van belang.

[0:05:41] Het is ook goed om te beseffen dat er dus hele eenvoudige risicoprofielen zijn, gewoon één criterium.

[0:05:45] We controleren alleen mensen die voor het eerst een aanvraag doen, ik noem maar wat.

[0:05:50] Maar het kunnen ook letterlijk meer dan honderd criteria zijn en die soms ook nog een apart gewicht hebben onderling, waar een bepaalde risicoscore uitkomt.

[0:05:58] En dat alles valt allemaal onder dat begrip risicoprofilering.

[0:06:03] Ja, wat heeft het nou met het recht te maken?

[0:06:07] Nou, we hebben natuurlijk het verbod op discriminatie.

[0:06:09] Er zijn overigens ook andere rechten die kunnen spelen, bijvoorbeeld privacyrechten, daar gaan we nu niet op in.

[0:06:14] Maar er is een algemeen verbod op discriminatie.

[0:06:16] Discriminatie, dat kun je zien als verboden onderscheid.

[0:06:21] Oftewel een verschil in behandeling waarvoor geen rechtvaardiging bestaat.

[0:06:25] Zo hebben we dat juridisch gedefinieerd.

[0:06:27] Er zijn heel veel verschillende definities, maar hier komt het technisch gezien op neer.

[0:06:33] Daarbij is dat een centrale plaats voor discriminatiegronden.

[0:06:36] Dus er zijn verdachte gronden, bijzondere persoonskenmerken, beschermde persoonskenmerken, waarvan we met elkaar hebben afgesproken.

[0:06:43] Daarvan willen we dat daar geen onderscheid op wordt gemaakt of als dat gebeurt, dat dat aan zeer strenge eisen voldoet.

[0:06:51] En in heel veel wettelijke regelingen en verdragen is dat neergelegd.

[0:06:58] Een belangrijk onderscheid is natuurlijk altijd jullie ongetwijfeld bekend.

[0:07:03] Het verschil tussen direct en indirect onderscheid.

[0:07:05] Bij direct onderscheid maak je rechtstreeks, ga je als controlerende instantie af op een etnisch kenmerk.

[0:07:13] Bijvoorbeeld dan is het direct onderscheid op grond van ras.

[0:07:16] Maar als je een ander willekeurig kenmerk neemt, dan kan dat indirect bepaalde groepen sterker treffen dan andere groepen.

[0:07:25] En dat differentiëert dan dus naar ethische achtergrond.

[0:07:30] Het hoeft dan niet altijd de bedoeling te zijn, maar dat is wel het effect.

[0:07:36] En die laatste is in de praktijk toch ook weer een heel ander soort type waar je mee te maken hebt, omdat je soms als handhaver zie je helemaal niet direct dat dat onderscheid er is, omdat je maar één geval ziet per keer.

[0:07:52] Dus dat kun je vaak alleen maar vanuit een helikopterview constateren.

[0:07:57] En ja...

[0:08:00] Het zijn ook criteria waar niet altijd van duidelijk is dat ze onderscheid maken.

[0:08:05] Soms ook wel.

[0:08:06] Als je zegt postcode, daar weten we allemaal van.

[0:08:08] Dat heeft een ongelijk effect als je dat gebruikt als criterium.

[0:08:11] Maar soms ook helemaal niet.

[0:08:12] En dan kan het alsnog neerkomen op indirecte discriminatie.

[0:08:19] Hoe werkt nou die toets aan het discriminatieverbod?

[0:08:21] De toets wordt over het algemeen strenger als de discriminatiegrond verdachter is en ras.

[0:08:26] de etniciteit over het algemeen is geaccepteerd als de meest streng beschermde discriminatiegrond in het internationale recht.

[0:08:37] Wij zeggen hierbij ook, er is geen ruimte voor direct onderscheid op grond van ras bij risicoprofilering in het kader van handhaving.

[0:08:47] We definiëren dus risicoprofilering in het kader van handhaving.

[0:08:51] Als er risicoprofilering is, bijvoorbeeld in de medische sector, dan kan dat anders liggen.

[0:08:56] Maar daar hebben we het hier nu dus niet over.

[0:08:58] Maar dit is waar het hier over gaat.

[0:09:00] Als er indirect onderscheid is, dan hebben we de drie of eigenlijk vier criteria hier staan.

[0:09:06] En de onderste is er net afgevallen, zie ik.

[0:09:09] Het gaat over het legitieme doel.

[0:09:11] De risicoprofilering moet geschikt zijn, moet daadwerkelijk effectief zijn.

[0:09:16] En de risicoprofilering moet ook noodzakelijk zijn om dat doel te bereiken, maar ook proportioneel.

[0:09:21] En die valt hier onder de...

[0:09:24] onder de strand, maar niettemin heel belangrijk.

[0:09:31] Dan tot slot, goed om nog even te markeren dat discriminatie op grond van ras iets anders is dan discriminatie op grond van nationaliteit, dus ze onderscheiden op grond van... En dat zijn natuurlijk twee kenmerken die wel dicht tegen elkaar aanliggen, alleen inhoudelijk zijn ze toch iets heel anders.

[0:09:46] Dus ras, dat zie je op de etnische achtergrond van een persoon.

[0:09:49] Je kan het zien op de huiskleur.

[0:09:51] Dat zijn echt soort persoonskenmerken, zou je kunnen zeggen, van de persoon zelf.

[0:09:57] Terwijl de grond nationaliteit, dat zie je echt op iemands staatsburgerschap.

[0:10:02] Dat is echt een pure juridische constructie die we met elkaar hebben afgesproken in een internationaal systeem waar we verschillende staten hebben.

[0:10:08] En je een relatie hebt vaak tot één of misschien twee staten waar je staatsburger van bent.

[0:10:13] En in het internationale recht is ook afgesproken, en dat zie je ook in het Nederlands recht terug, dat onderscheid daar soms wel gerechtvaardigd is.

[0:10:22] De vraag is dan, hoe zit dat dan bij risicoprofilering?

[0:10:25] Is nationaliteit daar dan ook nog relevant?

[0:10:31] En omdat we het risico zien van misbruik van nationaliteit, dat je eigenlijk een etnische groep wilt targeten, excuses voor het Engels, en dan toch nationaliteit gebruikt, hebben we in het verleden helaas gezien soms.

[0:10:47] Ja, dat mag niet.

[0:10:50] Maar in sommige gevallen is nationaliteit wel een legitieme grond.

[0:10:52] Maar de vraag is, is dat dan ook voor

[0:10:55] De risicoprofilering en wat wij zeggen is dat alleen als het staatsburgerschap, dus echt die rechten en plichten die samenhangen met het staatsburgerschap, als die echt relevant zijn voor de opsporing en er ook een wettelijke grondslag is, dan zou daar zo een uitslottingssituatie kunnen zijn.

[0:11:10] Maar dat is echt een hele strenge toets en dat zal niet om heel veel situaties gaan.

[0:11:17] Tot zover de algemene presentatie.

[0:11:22] Dank u wel, hiervoor.

[0:11:26] Ik kijk even naar de Kamerleden of er nu al vragen zijn.

[0:11:29] Anders wil ik graag naar de accenten gaan.

[0:11:33] Misschien wil de heer Terpstra het microfoon uitzetten, want anders... Ja, dank u wel.

[0:11:39] Ik kijk even naar links.

[0:11:40] Nee, nog niet.

[0:11:41] Dan gaan we even naar de accenten.

[0:11:43] Wie zou er graag willen beginnen?

[0:11:46] Ja.

[0:11:49] Mevrouw Park.

[0:11:52] Dank u wel, voorzitter.

[0:11:53] En commissie, dank u wel voor de uitnodiging vandaag om hier namens de Nationale Ombudsman te spreken over risicoprofilering.

[0:12:04] Ik ga een paar accenten inderdaad toevoegen die ook wat duidelijker maken hoe de Nationale Ombudsman hierin staat, waar we mee te maken krijgen in de praktijk bij het behandelen van klachten van burgers.

[0:12:19] en waar we graag ook aandacht voor willen van uw commissie, de Kamer en ook de uitvoering.

[0:12:29] Er is behoefte aan duidelijke nommering.

[0:12:31] We hebben net een redelijk overzichtelijk verhaal gehad van de heer Terpstra, maar in de uitvoering is het een stuk weer barstiger.

[0:12:42] Er moet een vertaalslag gemaakt worden van deze normen die

[0:12:48] enigszins hoog over zijn, maar wat betekent dat nou in de praktijk als je je werk doet als politieagent of douanier.

[0:12:57] Of als jij een algoritme bouwt om een organisatie te helpen om fraude op te sporen.

[0:13:07] Wetgeving kan daarbij helpen.

[0:13:11] Wetgeving kan verhelderend werken, maar dat is een stap waar nog veel meer achteraan moet komen, want het gaat niet alleen maar om de norm.

[0:13:21] Het is een enorme uitdaging om normen door te laten dringen in de haarvaten van overheidsorganisaties.

[0:13:27] Dat vraagt namelijk om cultuurverandering, gedragsverandering, een andere manier van kijken.

[0:13:33] En dat kost inzet, tijd, capaciteit,

[0:13:36] Een heel belangrijk punt uit onze gezamenlijke presentatie was dat op het moment dat je geselecteerd wordt door middel van een risicoprofiel, je nog niks gedaan hebt.

[0:13:52] Je bent niet verdacht.

[0:13:53] En in de praktijk zien wij dat vaak misgaan in klachten van burgers.

[0:13:57] Dat er toch een soort idee ontstaat van waar rook is, is vuur.

[0:14:03] En dat maakt dat burgers zich onheus bejegend voelen en misschien ook wel zijn.

[0:14:14] Ja, bejegening is ook echt heel belangrijk.

[0:14:17] De manier waarop je dan bij zo'n controle omgaat met de burger.

[0:14:22] Wat vertel je de burger?

[0:14:23] Leg je uit waarom je iemand hebt geselecteerd?

[0:14:27] Wat voor criteria je daarbij gebruikt hebt?

[0:14:31] En daarin zien wij nog echt ruimte voor verbetering.

[0:14:35] En nu scheer ik de hele uitvoering over één kram.

[0:14:37] Dat zijn een heleboel organisaties.

[0:14:39] Met een heleboel onderdelen en daar zit onderscheid in.

[0:14:43] Maar door de bank genomen kunnen daar nog stappen genomen worden.

[0:14:49] En dan überhaupt risicoprofilering.

[0:14:53] Er zitten gewoon inherent risico's in risicoprofilering.

[0:14:57] Dat je die onschuldpresumptie kwijtraakt, doordat je een bepaald beeld hebt, doordat je criteria gaat toepassen.

[0:15:06] En de vraag is echt, heb je dit echt nodig?

[0:15:09] Wil je dit echt als organisatie?

[0:15:12] Is het echt nodig?

[0:15:14] Kan het ook op een andere manier?

[0:15:16] En daarnaast ook nog de vraag, mis je ook dingen?

[0:15:20] We hebben natuurlijk ook veel gesprekken.

[0:15:23] De ombudsman gaat veel op bezoek, ook bij de uitvoering.

[0:15:27] Een aantal organisaties of medewerkers van organisaties die wel iets hebben veranderd in hun werkwijze, geven ook aan, nu wij bijvoorbeeld zijn overgegaan tot 50% controles, zien we ook andere dingen die we eerst niet zagen, want wij zaten in een feedbackloop.

[0:15:43] die ons in een bepaalde Trechterview duwde, waardoor we ook dingen misten.

[0:15:49] Dus is het inderdaad wel zo efficiënt en effectief als we denken?

[0:15:55] Dat moet je dus toetsen.

[0:15:56] Dat moet je van tevoren toetsen, maar je moet het ook blijven toetsen gedurende de uitvoering, want dingen kunnen ook veranderen.

[0:16:05] Ja, ik ga afkondigen.

[0:16:09] Onze core business is klachtbehandeling en we hebben in 2021 een rapport uitgebracht Verkleurde beelden, waarin we onderzoek hebben gedaan naar de ervaringen van burgers, maar ook ambtenaren in de uitvoering bij die klachtbehandeling.

[0:16:23] En wat we daar zagen is dat ten eerste heel opvallend

[0:16:27] Van de burgers die te maken hebben gehad met etnisch profileren, die zich bij ons hebben gemeld via een meldpunt, zegt 75% dat ze geen klachten hebben ingediend omdat ze denken dat het niet loont.

[0:16:40] Zij denken dat er niet naar hen geluisterd gaat worden, dat hun klacht niet serieus genomen gaat worden.

[0:16:45] Dat is heel serieus, want dat ontneemt de uitvoering ook een kans om te leren.

[0:16:50] Als klachten niet binnenkomen, hoe weet je dan wat er gebeurt?

[0:16:57] En wat er misgaat en wat er goed gaat.

[0:17:00] Ook de reden om een klacht in te dienen, waar echt voornamelijk van de burgers die dat dan wel deden, is dat ze willen dat er geleerd wordt.

[0:17:09] Niet dat ze schadevergoeding willen, maar dat ze erkenning krijgen, excuses en dat de organisatie leert en dat het in de toekomst niet meer gebeurt.

[0:17:20] De burger mag van de overheid verwachten dat de klachtbehandeling op orde is.

[0:17:24] En dat klachten over etnisch profileren is heel serieus.

[0:17:27] Dat raakt mensen in de kern.

[0:17:29] Dat raakt de maatschappij als geheel.

[0:17:31] En de burger en wij allemaal mogen van overheidsinstanties verwachten dat de klachtbehandeling goed verloopt.

[0:17:37] Dat er een openhouding is.

[0:17:40] Dat er nieuwsgierigheid is.

[0:17:41] Dat er nauwkeurig wordt onderzocht wat er nou gebeurd is.

[0:17:46] en dat er geleerd wordt en dat het ook teruggekoppeld wordt.

[0:17:50] En ja, daar wil ik het voor nu bij houden.

[0:17:53] Oké, dank u wel.

[0:17:55] Dan anderen nog die accenten willen leggen, die houtzager.

[0:18:00] Dank u wel, voorzitter.

[0:18:02] Ook namens de National Coordinator tegen Discriminatie en Racisme dank voor de uitnodiging.

[0:18:07] Heel blij dat we hier mogen praten.

[0:18:10] Ik wil drie accenten leggen.

[0:18:13] De eerste gaat over... We hebben het over risicoprofilering door de uitvoeringsorganisaties.

[0:18:21] Waar de National Coordinator zich zorgen over maakt, is de uitwisseling van gegevens tussen verschillende organisaties.

[0:18:30] In maart van dit jaar is de wet gegevensverwerking door samenwerkingsverbanden in werking getreden.

[0:18:39] Die wet die is er, die legt een mooie basis onder die uitwisseling van gegevens.

[0:18:44] Wij zijn heel benieuwd naar de situatie die ontstaat bij die gegevensuitwisseling, omdat we denken dat mogelijke discriminatie,

[0:18:53] bias in het ene systeem via die gegevensuitwisseling in het andere systeem terechtkomen.

[0:19:01] En wat wij hopen is dat er een halvering of een niet-gebruik van bias in die systemen voorkomt.

[0:19:07] Maar wat wij graag in de gaten zouden willen laten houden, is of die systemen niet juist elkaar versterken en mogelijke bias van het ene systeem via die gegevensuitwisseling in het andere systeem terechtkomen.

[0:19:21] Een ander punt waar wij graag de aandacht op willen vestigen, is bij het toepassen van risicoprofileringen kunnen we burgers geraakt worden.

[0:19:34] Uit allerlei situaties is dat naar voren gekomen.

[0:19:37] Dus je zit met de vraag van, moet je zoals de ombudsman bepleit aan de achterkant, moet je daar klachtbehandeling

[0:19:43] Toelaten, daar zijn we helemaal voor, onder de precies de omstandigheden die mevrouw Park schetste.

[0:19:49] Maar wij denken ook dat bij het ontwikkelen van algoritmes en risicoprofielen, dat de stem van de burger die geraakt kan worden, belangrijk is.

[0:20:00] Ik geef het voorbeeld van Duo.

[0:20:03] Ik begrijp dat in het volgende blok ook toelichting wordt gegeven door iemand van Duo.

[0:20:09] Daar ging het om een proxy.

[0:20:12] De proxy van een bepaalde afstand wonen van het ouderlijk huis.

[0:20:16] En dan kwam je in een hoger risicoprofiel.

[0:20:19] Wat wij zouden verwachten is als van tevoren met een studentenpopulatie gesproken zou zijn over of een beeld vanuit de studentenpopulatie gekomen zou zijn van hoe zit het in elkaar.

[0:20:31] En dan zou ik bijvoorbeeld naar boven hebben kunnen komen dat studenten die dichter bij huis wonen gemeenschappelijk kenmerk hebben, namelijk migratieachtergrond.

[0:20:40] Als je dat aan de voorkant probeert te achterhalen, dan kun je aan de achterkant een heleboel problemen voorkomen.

[0:20:45] Dus de oproep van de NCDR is om bij dit soort zaken ook vooraf te gaan praten met belangorganisaties, cliëntenraden of met burgers in dat verband.

[0:20:57] Het derde punt dat ik naar voren wil brengen,

[0:20:59] Dat werd in het stukje van meneer Terpstra al wat aangegeven, dat risicoprofilering kun je op een hoog niveau, met de toepassing van algoritmes en wellicht ook AI kun je dat toepassen.

[0:21:10] Maar je kunt het ook toepassen, bijvoorbeeld met dagdagelijkse gebruik doormiddelijk bij uitvoeringsinstanties.

[0:21:19] En daarbij komt de persoonlijke mogelijke bias, de mogelijke vooroordeel van een persoon van een uitvoeringsorganisatie, kan ook weer om de hoek komen kijken.

[0:21:30] Dus wij hebben het dan bijvoorbeeld over profilering op gemeentelijk niveau.

[0:21:35] Bijvoorbeeld in de veiligheidsdriehoeken tussen de burgemeester, de officier van justitie en het hoofd van de politie.

[0:21:41] dat ook op dat niveau, als het gaat om bijvoorbeeld ingrijpen in openbare orde, ingrijpen in zaken die de veiligheidsdriehoek aangaan, dat er ook bewustwording staat over de mogelijke negatieve effecten van die profilering op dat niveau.

[0:21:56] Kunt u tot een afronding komen?

[0:21:57] Ja, dit was mijn laatste punt.

[0:21:58] Dank u wel.

[0:22:00] Dan ga ik naar de volgende spreker en dat is de heer Gibrèl.

[0:22:04] Dank voorzitter en kamerleden voor deze mogelijkheid

[0:22:08] even kort van gedachte te wisselen over risicoprofilering.

[0:22:12] De staatscommissie voert sinds 2022 wetenschappelijk onderzoek naar discriminatie en racisme in Nederland.

[0:22:19] Het doet ook onderzoek naar profilering, risicoprofilering, etnisch profilering.

[0:22:24] Dit onderzoek is nog lopende.

[0:22:27] Dus op dit moment kunnen we geen definitieve conclusies en aanbevelingen doen.

[0:22:31] Wat ik wel hier even kort wil doen is een aantal observaties die denk ik helpen om een bepaalde

[0:22:36] richting op te denken waarvan ik denk en wij denken als commissie daar moet meer aandacht voor.

[0:22:41] Ik zal even vijf observaties noemen.

[0:22:44] Eén, profilering, of het nou algoritmisch is of niet, kent uiteenlopende interpretaties.

[0:22:50] Dat hebben we ook gemerkt bij het maken van deze basispresentatie.

[0:22:54] En dit maakt het tegengaan van racisme en discriminatie op zich al moeilijk.

[0:22:59] Er is een behoefte aan een duidelijke definitie van profilering.

[0:23:02] Niet alleen maar risicoprofilering, maar profilering in het algemeen.

[0:23:06] Overheidsinstanties maken vooral gebruik van één specifieke profilering en dat is risicoprofilering.

[0:23:12] waarbij dus gegevens worden gebruikt om te bepalen, schatten of een persoon of een groep een verhoofd risico heeft op iets.

[0:23:21] Risicoprofilering kan bestraffende doeleinden hebben, het opsporen van normovertreders bijvoorbeeld.

[0:23:28] Het kan ook assistatieve doeleinden hebben, mensen opsporen of identificeren die in de Amerika komen voor ondersteuning, bijvoorbeeld.

[0:23:38] De overheid, zien we, past voornamelijk

[0:23:42] risicoprofilering met punitieve doeleinden.

[0:23:47] En dat is zorgelijk, dat zegt wat over mensbeelden, die leven, maar het creëert ook maatschappelijke onrust.

[0:23:57] En uit recente adviezen en kaders van zowel wetenschappelijke instanties als mensrechtenorganisaties blijkt en zien we een toenemende oproep om terughoudend te zijn met profileren, met risicoprofileren.

[0:24:12] en zelfs ook te stoppen met specifieke vormen van risicoprofilering, zoals etnisch profileren, recent nog door Amnesty International.

[0:24:20] Nou, dit alles roept, denk ik, een aantal fundamentele vragen op.

[0:24:25] Moeten we profilering, moeten we risicoprofilering niet fundamenteel anders, radicaal anders gaan inzetten?

[0:24:32] Moeten we niet denken vanuit het punitieve, het bestraffende, maar veel meer vanuit het assistieve, het ondersteunende?

[0:24:42] En dit zijn de vragen waar de staatscommissie zich nu mee bezighoudt.

[0:24:46] En belangrijk te benoemen dat we daarbij nadrukkelijk niet alleen richten op de technische kant, de data, de algoritmes, de AI, et cetera, maar ook over waar worden algoritmes gebruikt, de context, de organisatie, de organisatiecultuur, beleidsideologie, het rechtssysteem.

[0:25:04] We hoorden net een aantal keren een eigen leven leiden.

[0:25:07] Waar rook is, is vuur.

[0:25:10] zorgelijke ontwikkelingen die het gebruik van profilering, risicoprofilering, gevoelig maken en waarvoor veel meer aandacht voor nodig is.

[0:25:20] Je laat ik even bij.

[0:25:22] Dank u wel, keurig binnen de tijd.

[0:25:25] Dan ga ik naar de heer Terpscha.

[0:25:28] Dank u wel, voorzitter.

[0:25:29] En ook namens het College voor de Rechten van de Mens zou ik nog graag wat enkele accenten willen zetten.

[0:25:36] Zoals gezegd, risicoprofilering is een handhavingstechniek

[0:25:40] maar wel een eentje met hele serieuze risico's op discriminatie.

[0:25:44] En door de gebruiker, door de instantie goed bedoeld, maar een gevaarlijk instrument wat je alleen met de grootste mogelijke zorgvuldigheid moet willen inzetten.

[0:25:56] En daarom heeft het college voor de rechten van de mensen ook een toetsingskader opgesteld.

[0:26:01] En de toetsnormen die erin staan, die zijn allemaal gebaseerd op het grondrechtelijke en mensenrechtelijke discriminatieverbod, en dat hadden we al.

[0:26:08] Dat is geen nieuw verbod.

[0:26:10] En ook de situaties waar het grof is fout gegaan, bijvoorbeeld bij de fraudesingeleringsvoorziening die we hebben gezien, dat was het niet zo dat nu pas bekend is dat dat niet mocht.

[0:26:21] Dat waren gewoon toen ook al fout.

[0:26:24] Maar wat we zien is, normen alleen zijn niet genoeg.

[0:26:28] En daarom bevat het toetsenkader ook een apart hoofdstuk met voorzorgsnormen, waarvan het college ook zegt, die zijn ook verplicht om in te voeren en om door te voeren.

[0:26:37] Je kunt niet alleen zeggen, we hebben toetsnormen en als er iets fout gaat of als er misschien iets fout gaat, kunnen we terugkijken.

[0:26:42] Nee, je moet aan de voorkant voorkomen als je zo'n risicovol instrument gebruikt, dat je het op een veilige manier doet.

[0:26:50] Wat staat daar concreet in?

[0:26:52] Waar gaat het dan om?

[0:26:53] Wat is dan echt belangrijk?

[0:26:56] Ten eerste heb je die indirecte discriminatie.

[0:26:57] Die zie je niet altijd, dus je moet zorgen dat je die wel gaat zien.

[0:27:01] En dat vergt een hele manier van werken en het vergt van organisaties dat je constant alert bent op wat er speelt en wat er gaande is en waar de risico's zitten in allemaal processen.

[0:27:15] Daar is inmiddels best wel veel kennis over, dus daar gaan ook die voorzorgsnormen over die we hebben uitgewerkt

[0:27:20] Dan gaat het bijvoorbeeld over realistische, kritische, feitengebaseerde blik überhaupt op het instrument.

[0:27:27] Werkt het echt?

[0:27:28] De verantwoordelijkheid en de bewijslast voor of een instrument echt werkt, of risicoprofilering echt werkt, ligt altijd bij de instantie die het gebruikt.

[0:27:37] We zien dat dat in het verleden niet altijd was.

[0:27:41] Er moeten transparante, controleerbare afwegingen zijn als er selectiecriteria worden gebruikt.

[0:27:48] Nu zien we pas soms via journalistieke publicaties welke criteria echt zijn gebruikt door verschillende overheidsorganisaties.

[0:27:57] Dat kan echt niet.

[0:27:58] Dus het moet echt volstrekt duidelijk zijn welke criteria

[0:28:02] worden gebruikt en wat daar de afwegingen van mij waren, wat daar de risico-inschattingen waren.

[0:28:06] Er moet een zorgvuldig proces zijn van is er goed gekeken naar wie zou hier mogelijk last van kunnen krijgen.

[0:28:13] Dat vraagt dus echt ook om interne werkwijzen die echt verankeren dat er bewustzijn is en vraagt ook om intern toezicht.

[0:28:22] Dus er moet binnen organisaties ook iemand zijn met doorzettingsmacht die kan zeggen nee, alles afwegende vinden we de risico's hiervan te groot, dit doen we niet.

[0:28:30] Terug naar de tekentafel.

[0:28:31] En uiteindelijk als sluitstuk zou er ook beter externe toezicht georganiseerd moeten worden.

[0:28:37] Er zijn nog meer dingen te noemen, maar ik licht deze er even uit.

[0:28:41] Als het gaat om directe discriminatie spelen er wat andere dingen, en dan heb ik het misschien ook over die andere vorm van risicoprofilering, die live risicoprofilering, zo gezegd.

[0:28:52] En dan gaat het om dat er effectieve trainingsprogramma's zijn voor medewerkers van de politie, om die vooroordelen die er altijd zijn, die we allemaal hebben, om die te neutraliseren in je dagelijkse werk, bij je beslissingen.

[0:29:07] En dat is ook niet een kwestie van, we hebben nu een cursus, dus het gaat allemaal oké.

[0:29:14] Nee, want je moet ook blijven investeren in nieuwe methoden.

[0:29:16] We weten ook uit wetenschappelijk onderzoek dat sommige methoden minder goed werken dan andere.

[0:29:20] En misschien hebben we ook wel nieuwe methoden nodig om dat nog beter te maken.

[0:29:23] Dus het vergt ook een financiële investering.

[0:29:26] En misschien ook wel een permanente investering, omdat ook de realiteit, die is ook dynamisch.

[0:29:32] Ik kom tot een afronding.

[0:29:35] Wat heel belangrijk is hierbij is ook dat die organisaties ook hun effecten monitoren.

[0:29:41] Wie wordt er in de praktijk standig gehouden?

[0:29:44] En dat moet je ook kwantificeren, niet om individuele personen

[0:29:52] aan te pakken per se, maar ook in eerste instantie om te leren van hey, werkt ons beleid eigenlijk wel?

[0:29:58] Of doen we het nog steeds helemaal niet goed?

[0:30:01] En dan verzamelen we ook signalen.

[0:30:02] We zien dat dat nog te weinig gebeurt.

[0:30:04] En tot slot, natuurlijk moet het verbod op direct onderscheid heel duidelijk gecommissieerd worden intern, voor zover dat nog niet gebeurt.

[0:30:12] En er moet ook een zero tolerance zijn op mensen die

[0:30:15] niet van goede wil zijn.

[0:30:16] Dat geldt voor het overgrote gedeelte gelukkig niet.

[0:30:19] Maar er zijn natuurlijk in elke organisatie ook mensen die niet van goede wil zijn.

[0:30:23] En als daar geen zero-tolerance is, dan ondermijnt dat het beleid wat je hebt tegen discriminatie.

[0:30:31] Ik sluit af, dat zijn juridische verplichtingen, maar misschien moeten we er... Die zijn voorzorgsverplichtingen die nu al gelden, maar misschien moet de wetgever ook nadenken over het wettelijk verankeren van dat soort voorzorgsnormen.

[0:30:43] En het college wil er ook graag dan in meedenken.

[0:30:47] En ik denk dat dat misschien nog een stap vooruit kan zijn.

[0:30:50] Dank u wel.

[0:30:53] Dank u wel voor de toelichting.

[0:30:55] Dan ga ik naar de Kamerleden toe.

[0:30:57] Ik heet allereerst de heer Koops welkom.

[0:31:02] En dan wil ik graag eigenlijk de vragen bundelen.

[0:31:04] Dus drie vragen en vervolgens dat er een antwoord komt.

[0:31:09] Ik begin bij de heer Koops.

[0:31:12] Dank u wel, meneer de voorzitter.

[0:31:14] Zeer hartelijk dank voor uw aanwezigheid en uw toelichting van zojuist.

[0:31:18] Ik haak aan op een aantal opmerkingen die ik heb gemaakt, maar dat wil niet zeggen dat ik de rest niet belangrijk vond.

[0:31:23] Dat mogen duidelijk zijn.

[0:31:25] De eerste betreft een opmerking van mevrouw Park en dat gaat over de bejegening en dat het vaak misgaat hoe u dat zojuist omschreef.

[0:31:35] Ik kan me daar van alles bij voorstellen, maar wat doen wij daaraan?

[0:31:38] Wat kunnen wij als Kamer daaraan doen?

[0:31:41] Hoe ziet u voor ogen dat die bejegening dan op zo'n manier gaat dat iemand zich niet als verdachte voelt benaderd?

[0:31:48] En meneer de voorzitter, ik begrijp dat ik drie vragen mag stellen?

[0:31:51] Nee, niet drie vragen.

[0:31:52] Eén vraag, zo kort mogelijk.

[0:31:55] Zodat er ook korte antwoorden kunnen komen, maar ik bedoel meer drie personen in één.

[0:32:00] Dan vrees ik het hier even bij te moeten laten.

[0:32:02] Ja.

[0:32:05] Oké, de heer Van Nispen.

[0:32:07] Ook voor mij veel dank voor heldere aandachtspunten in de presentatie.

[0:32:14] Ik ben eigenlijk wel benieuwd waar volgens jullie de grootste problemen zitten.

[0:32:19] Bij welke organisaties of is het bij gemeentes?

[0:32:23] Waar krijgen jullie nou meldingen van?

[0:32:26] Laat ik het anders vragen.

[0:32:28] Waar vragen jullie onze aandacht voor?

[0:32:30] Waar moeten wij specifiek naar kijken?

[0:32:33] Voor wie is de vraag?

[0:32:36] Ik weet niet waar die meldingen terecht komen.

[0:32:40] Ik kan me voorstellen bij de Ombudsman, maar als iemand anders zegt wij vragen jullie aandacht specifiek voor een bepaalde uitvoeringsorganisatie of de gemeentes, dan hoop ik dat die ook de gelegenheid krijgt om te antwoorden.

[0:32:51] Dank u wel.

[0:32:52] Mevrouw Reichkowski.

[0:32:53] Dank en dank ook voor jullie tijd om ons mee te nemen in dit belangrijke onderwerp.

[0:32:58] Mijn vraag is aan de staatscommissie, maar ook misschien het bureau van de coördinator.

[0:33:06] Meer op conceptueel niveau.

[0:33:09] Op het moment, ik hoor meerdere van jullie zeggen, oké, misschien is postcode dan beter, maar in de eerste presentatie zagen we ook, postcode kan ook weer tot indirecte discriminatie leiden.

[0:33:19] Meneer Houtsager gaf aan, misschien kan je beter vooraf met belanghebbenden praten, maar welke belanghebbende organisatie selecteer je dan?

[0:33:27] Dat voelt voor mij dan ook ongemakkelijk als je een bepaalde belanghebbende organisatie dan kiest met een bepaalde religieuze achtergrond.

[0:33:34] Ik zou daar vrij erg beledigd door zijn, eerlijk gezegd, dat u denkt, nou, fraude komt misschien daarvoor, dus ik ga vast met u praten om dit te voorkomen.

[0:33:42] Dus ik ben nog aan het zoeken, hoe kan je nou bij het assertief zijn, dan op een manier assertief zijn, dat je dus juist ook niet mensen weer in een hoek zet.

[0:33:55] Die vind ik nog wel lastig.

[0:33:59] Dank u wel voor de vragen.

[0:34:01] Ik kijk allereerst naar mevrouw Park voor de vraag van de heer Koops.

[0:34:05] En volgens mij heeft de heer Van Nispen dan ook vragen gesteld aan de Nationale Ombudsman.

[0:34:13] Ja, dank voor de vraag.

[0:34:15] De vraag is ook wat kan de Kamer doen aan de bejegening door ambtenaren van uitvoeringsorganisaties?

[0:34:21] Ik denk dat het belangrijk is dat bij controles de behoorlijkheidsnormen, zoals wij die hebben opgesteld en die we ook heel actief uitdragen richting de uitvoering, dat die

[0:34:33] Echt in de DNA van de organisaties terechtkomen.

[0:34:38] Die gelden in het algemeen.

[0:34:42] Dat heeft niet alleen te maken met...

[0:34:48] Nou ja, niet discrimineren, maar in het algemeen, hoe spreek je een burger nou aan op een manier dat een burger zich veilig voelt, begrijpt wat de situatie is, wat de context is, wat hij of zij mag verwachten onder de omstandigheden.

[0:35:05] En ik denk dat elke uitvoeringsorganisatie daar duidelijke kaders voor moet schetsen.

[0:35:12] En voor een deel zijn er al kaders en handreikingen.

[0:35:18] En die moeten echt geïmplementeerd worden.

[0:35:21] En mensen moeten daar ook op getraind en ook op aangesproken worden.

[0:35:26] Ja ik weet niet of dat en misschien wat ik daar nog aan toe wil voegen is we hebben natuurlijk ook gekeken naar wat ambtenaren hierover zeggen en wat je ziet is dat het dat eigenlijk ja om even in beide partijen te spreken beide partijen worden in zo'n situatie in hun kern geraakt want

[0:35:45] De burger voelt zich gediscrimineerd.

[0:35:48] Dat is dus een gevoel van als minderwaardig behandeld te worden of anders behandeld te worden.

[0:35:53] Maar de ambtenaar die aangesproken wordt op etnisch profileren of discrimineren, die wordt op haar integriteit ook aangesproken.

[0:36:04] Dus je ziet dat daar een soort

[0:36:05] ...van clash kan ontstaan, ook ter plekke... ...op het moment dat onvrede wordt geuit over een controle.

[0:36:13] En wat wij onder andere verwachten in die behoorlijkheidsnormen... ...is deescalerend optreden.

[0:36:19] En daar moeten mensen de uitvoering echt goede handvatten voor hebben... ...zodat ze dat ingesprek in houding, in toon... ...in woorden, woorden doen ertoe, ook goed kunnen doen in de praktijk.

[0:36:33] Dank u wel.

[0:36:35] Even kijken, heeft u daarmee ook de vraag van de heer Van Nispen meegenomen?

[0:36:41] Nog niet?

[0:36:42] Oh, sorry.

[0:36:42] Ja, vraag twee, excuses.

[0:36:45] Ja, wij hebben ons gefocust in het onderzoek op organisaties die eigenlijk directe fysieke controles uitvoeren, omdat burgers worden daar het meest direct door geraakt.

[0:36:58] En we zien ook dat daar dan de meeste klachten over binnenkomen.

[0:37:01] Maar eigenlijk denk ik dat u zich ook zou moeten concentreren op wat je niet ziet.

[0:37:06] Want dat is heel duidelijk en daar wordt nog wel over geklaagd.

[0:37:08] Maar als het gaat om profilering door algoritme, dat is veel onderzichtiger.

[0:37:15] Dus ja, een beetje tegenstrekbaar zou je zeggen, concentreer je nou juist op wat je niet ziet.

[0:37:20] Want als er nooit geklaagd wordt... Kijk, dat risico zit overal.

[0:37:26] Als het niet boven tafel komt, dat is wanneer je zorgen moet gaan maken.

[0:37:32] Dank u wel, maar volgens mij wil de heer Houtsdagen en de heer Terpstra daar kort iets over zeggen.

[0:37:39] Ik sluit me aan met wat mevrouw Park zei over de ondoorzichtigheid van algoritmes.

[0:37:44] Je weet vaak niet dat je in een risicoprofiel zit.

[0:37:47] We hebben een verhaal van gehoord van een advocaat die er via via achterkwam dat haar cliënt in een risicoprofiel zat en daarom uitgekozen werd voor een extra onderzoek door de sociale dienst.

[0:37:57] Dus daar zitten problemen dat we het vaak niet weten.

[0:38:00] Het tweede wat ik nog wil zeggen is dat bij de antidiscriminatievoorzieningen die heel Nederland dekkend zijn, discriminatie.nl, die nemen ook klachten in ontvangst.

[0:38:10] We hebben afgelopen twee maanden geleden een rapport uitgebracht en ik weet dat niet uit mijn hoofd, maar er staan ook heel veel informatie in over klachten op dit terrein.

[0:38:18] Dus ik zou ook zeker wellicht nog informatie opvragen bij discriminatie.nl over dit punt.

[0:38:27] De heer Tijpstra.

[0:38:27] Ja, dan ook op de vraag van de heer Van Nispen.

[0:38:30] Inderdaad.

[0:38:32] Kijk vooral naar ook wat je niet ziet, juist bij indirecte discriminatie, omdat die van nature onzichtbaar is.

[0:38:37] En misschien is het ook goed wat het college in ieder geval observeert, is dat we eigenlijk komen uit een periode waarbij er echt lage bewustzijn was van de risico's van dit instrument, maar wel heel veel vertrouwen in, we hebben allemaal data tot ons beschikking, we hebben nieuwe systemen, we kunnen daar van alles mee.

[0:38:53] En die combinatie is natuurlijk heel gevaarlijk.

[0:38:55] En dat is overheidsbreed.

[0:38:59] Ik geloof dat Amnesty een rapport heeft geschreven met als titel

[0:39:02] Het etnisch profileren is een overheidsbreed probleem.

[0:39:05] Die titel is heel sterk.

[0:39:07] Het is een overheidsbreed probleem, want het risico zit overal.

[0:39:10] Iedere instantie die het instrument risicoprofilering gebruikt, loopt deze risico's.

[0:39:15] En misschien is het ook wel goed om nooit te zeggen als instantie zo, nu hebben we deze maatregelen doorgevoerd, nu zitten we goed.

[0:39:22] Want zolang je het instrument gebruikt, moet je alert zijn.

[0:39:25] Dus je zit nooit veilig.

[0:39:26] Ik denk dat dat de juiste houding is.

[0:39:29] Oké, nog een toch korte toelichting van de heer Gebreb.

[0:39:36] Uw microfoon, ja.

[0:39:40] Ik denk dat het ook heel goed is om vooral na te denken over effectiviteit.

[0:39:46] Profilering, risicoprofilering worden onze instrumenten en tools heel veel gebruikt door heel veel organisaties, uitvoeringsorganisaties.

[0:39:54] Er is niet één specifieke organisatie waar je op bent.

[0:39:57] Maar het effectiviteitsdenken, dat zit door alle organisaties heen.

[0:40:02] Het gebruiken van risicoprofilering als een effectief systeem.

[0:40:08] En dat is, dat vertroebelt niet alleen maar de kijk op uitvoering, maar ook, het is niet effectief.

[0:40:16] De vraag moet gesteld worden, is het effectief en zijn er andere instrumenten, simpelere instrumenten, aanselekte steekproeven, die misschien net zo effectief zijn of zelfs effectiever zijn.

[0:40:27] Dus ik denk dat... Dat wil ik graag meegeven.

[0:40:30] We gaan nu ervan uit dat het werkt, maar zelfs de vraag, werkt risicoprofilering, of dat met ja beantwoord kan worden, is twijfelachtig.

[0:40:41] Dank u wel.

[0:40:42] Uw microfoon.

[0:40:43] Uw vraag heeft veel opgeroepen, de heer Van Ispen.

[0:40:47] Dan gaan we naar de vraag van mevrouw Rijkhofsky.

[0:40:49] En dat was volgens mij gesteld aan de Statscommissie en NCDR.

[0:40:56] Ja.

[0:40:58] Nee, de vraag was, hoe selecteer je dan die groepen vooraf om mee te gaan praten, om een beeld te krijgen?

[0:41:03] Hoe kom je er nou achter wat die proxies, die indirecte discriminatie, kan inhouden?

[0:41:08] We hebben er geen blauwdruk van.

[0:41:09] Het gaat natuurlijk om heel veel uitvoeringsorganisaties die allemaal zo hun eigen doelgroep hebben.

[0:41:14] Maar ik kan me voorstellen dat bijvoorbeeld bij gemeenten dat het gaat om cliëntenbelang, cliëntorganisaties in de sociale zekerheid, participatiewet, dat het bij grotere uitvoeringsorganisaties

[0:41:26] UFV, Sociale Verzekeringsbank, dat er ook cliëntorganisaties bestaan die bevraagd kunnen worden.

[0:41:32] Organisaties als Politie of Kmar, daar wordt het natuurlijk een stuk moeilijker.

[0:41:37] Maar tegelijkertijd denk ik ook dat er momenten kunnen zijn waarop iets georganiseerd wordt om de stem van de burger vooraf mee te nemen in het ontwikkelen van een dergelijke profiel.

[0:41:50] Dank u wel.

[0:41:51] Dan even kijken, de staatscommissie nog toevallig.

[0:41:54] Ik sluit Michiel aan bij wat hij net gezegd is.

[0:41:57] Ook vanuit de staatscommissie is co-creatie en het meenemen van burgers, cliënten, raden, et cetera.

[0:42:06] Zien we dat het belang ervan?

[0:42:07] Vooral waar het gaat om algoritmes en het creëren van modellen, instrumenten die automatisch profileren.

[0:42:16] Is het van belang dat je burgers meeneemt in niet alleen maar vooraf denken over het probleem, maar ook de ontwikkeling en het toetsen achteraf?

[0:42:23] En de vraag is niet,

[0:42:25] willen en hoe kun je mensen meenemen, maar wil de overheid als organisatie zich openstellen en lerend zijn en ontwankelijk zijn, nou, hoe doen we dat met zelden?

[0:42:36] Het is een complexe vraag.

[0:42:38] Het is niet makkelijk te doen, maar als je er niet voor open staat, voor open wilt staan, dan wordt het ook lastig om te komen tot een oplossing samen met burgers.

[0:42:48] Dank u wel voor de toelichting.

[0:42:50] Dan ga ik naar de volgende drie sprekers.

[0:42:52] Allereerst de heer Van Baarle.

[0:42:55] Ja, voorzitter, dank.

[0:42:57] Dank ook voor de bijdrage tot zover van de sprekers.

[0:43:01] Veel waardering.

[0:43:03] Ik weet niet precies wie de opmerking maakte, maar dat ging over het belang van weten welke vormen van risicoprofilering er überhaupt toegepast worden.

[0:43:15] Algoritmisch, non-algoritmisch.

[0:43:18] Welke vorm van algoritmisch?

[0:43:19] Is het zelflerend, niet zelflerend?

[0:43:22] We hebben natuurlijk een algoritmeregister bij de overheid.

[0:43:25] Wellicht dat ik de vraag dan aan de nationaal coördinator kan stellen, want die is verantwoordelijk voor coördinatie binnen de Rijksoverheid.

[0:43:33] Wat zouden we moeten doen om een beter overzicht te krijgen binnen de overheid om ervoor te zorgen dat we weten welke vormen van risicoprofiling toegepast worden?

[0:43:44] Dank u wel.

[0:43:44] Dan de heer Van Waveren.

[0:43:47] Dank u wel.

[0:43:47] En ik heb een vraag aan de heer Terpstra.

[0:43:51] Want hij maakt in de presentatie daarna nog even een keer de nadruk dat het onderscheid tussen live besluiten en dossieronderzoek.

[0:43:59] En ik kan me er wat bij voorstellen.

[0:44:01] Aan de andere kant kan ik me ook voorstellen dat het heel praktisch als we kijken naar de supermarkt en zelfscannen en word je eruit gepikt of niet, dat het een vorm van live onderzoek is waar juist wel die

[0:44:09] automatisering achter zit.

[0:44:14] Waarom wordt het onderscheid zo nadrukkelijk gemaakt en verdwijnt dat in de praktijk misschien wel niet door de snelheid waarmee automatisering in lifecourses kan ondersteunen?

[0:44:24] Of zit daar nog een onderscheid dat ik even niet snap?

[0:44:28] Dank u wel.

[0:44:29] Dan wil ik ook mevrouw Katman welkom heten en ook meteen de vraag stellen of u een vraag wil stellen.

[0:44:36] Ja, dank voorzitter en excuses voor mijn late komst, dus dat ik uw bijdrage niet heb kunnen horen en ook niet een aantal vragen van mijn collega's heeft te maken met elders en ziekte van een collega.

[0:44:46] Ik heb wel een vraag aan mevrouw Park, maar ik weet dus niet of een van de collega's die al heeft gesteld.

[0:44:54] U stelde de rol van de Kamer zelf aan de orde in het tussen de oren krijgen van de risico's van het risicoprofilering en het helder krijgen van wat we niet zien.

[0:45:03] Maar ja, dat is natuurlijk best wel een uitdaging.

[0:45:06] Hoe krijgen we dat voor elkaar?

[0:45:10] Dank u wel.

[0:45:11] Ik ga zelf ook mee in deze ronde, dus dan heb ik zelf ook een vraag.

[0:45:16] En de vraag is aan de heer Terpstra.

[0:45:19] En het gaat eigenlijk over het feit dat de heer Terpstra heeft aangegeven dat, nou ja, direct onderscheid ras, dat dat het strengste beschermd is.

[0:45:29] Eigenlijk zou ik willen weten waarom.

[0:45:31] Hoe komt dat eigenlijk tot uiting in de praktijk?

[0:45:34] En hoe zit het met die voorzorgsbeginselen of maatregelen of normen?

[0:45:41] Hoe ziet u dat vertaald worden?

[0:45:43] Want u gaf aan dat het goed is dat dat wettelijk verankerd zou moeten worden.

[0:45:50] Oké, dank u wel.

[0:45:51] Dan kan ik al eerst de vraag geven aan de NCDA, denk ik.

[0:45:57] Dank u wel.

[0:46:00] Meneer Van Baarle vroeg wat moeten we doen om een beter overzicht te krijgen over wat gebeurt en in welke vorm van algoritmes zijn er.

[0:46:08] Bij de autoriteit persoonsgegevens is inmiddels de directie

[0:46:12] Algoritmes ingesteld.

[0:46:14] Die is juist ingesteld als toezichthouder voor algoritmes, niet alleen van de overheid, maar ook van de samenleving.

[0:46:24] Wat ik wel u noemde, het algoritmeregister, dat is ingesteld, dat is bedoeld voor de overheid, maar ook voor particuliere partijen.

[0:46:31] Wat mij daarin opviel is dat veel van de algoritmes wel benoemd worden, maar waar het eigenlijk om draait,

[0:46:38] namelijk welke datasets zijn er gebruikt om in het algoritme vast te leggen, dat daar vaak vaagheid over bestaat.

[0:46:47] Dus mijn idee is, dat is een idee, ik heb dat niet nagezocht, de idee is dat de regels voor dat algoritmegister misschien ook wat duidelijker zouden kunnen om ervoor te voorkomen dat alleen maar algemene zaken in zo'n algoritmegister terechtkomen, terwijl het waar het om gaat, voor die transparantie, dat je dat niet terug kunt vinden.

[0:47:09] Dank u wel.

[0:47:10] Dan gaan we naar de beantwoording van de vraag van de heer Van Waveren.

[0:47:15] Volgens mij was het de heer Terpstra.

[0:47:19] Dank u wel, voorzitter.

[0:47:21] De vraag was van de heer Van Waveren van ja, hoe zit dat precies met het onderscheid tussen die verschillende vormen van risicoprofilering?

[0:47:28] Maar ik denk dat de heer Van Waveren terecht een heel goed voorbeeld geeft van dat ze soms ook samen gaan.

[0:47:34] Inderdaad, bij de zelfscanskassa's zit daarachter bepaalde keuzes van en dat kun je ook bijvoorbeeld bij de douane hebben.

[0:47:41] Bijvoorbeeld, er is wetenschappelijk voor de eerste keer een check gedaan van

[0:47:46] Mensen die dus of zo dat soort spullen bij zich hebben, altijd controleren.

[0:47:50] Dat is dan, even los van de vraag of dat betrouwbaar is gegaan, maar dat is dan een soort van kennisgebaseerd risicoprofiel.

[0:47:57] En tegelijkertijd zijn de mensen die daar staan, moeten ook nog zelf een inschatting maken.

[0:48:01] Dus inderdaad, er bestaan combinaties.

[0:48:03] Maar het is, denk ik, toch goed om ze uit elkaar te halen, omdat bij de live-beslissingen, als het gaat om het toepassen van wat vagere begrippen die soms toch nodig zijn,

[0:48:12] Je moet als agent of als toezichtaar in een mensenmenigte kijken of mensen afwijkend gedrag vertonen of opvallend gedrag omdat mensen misschien rotzooi willen schoppen, uit zijn oprellen.

[0:48:28] Ja, daar zijn agenten ook op getraind.

[0:48:30] Maar er zit natuurlijk altijd een soort subjectiviteit bij.

[0:48:33] En dat element, dat moet je heel goed, als je mensen op die manier te werk laat gaan, moet je dat heel goed trainen om te zorgen dat daar geen vooroordelen de kop kunnen opsteken.

[0:48:45] En dat maakt dat anders.

[0:48:47] En dat betekent dus ook dat sommige organisaties beide moeten doen.

[0:48:50] Want ja, bijvoorbeeld een supermarkt.

[0:48:53] Die zal dus en naar de technische kant moeten kijken en naar de live kant.

[0:48:57] Het geldt overigens ook voor de politie.

[0:49:04] Wellicht wilt u ook meteen mijn vraag beantwoorden.

[0:49:06] Dat wil ik zeker.

[0:49:09] Dat ging over de vraag waarom is ras het strengst beschermd.

[0:49:14] Dat heeft ongetwijfeld met... Er zijn hele wetenschappelijke boeken volgeschreven over wat maakt discriminatiegronden nou discriminatiegronden en waarom is de ene grond

[0:49:23] steviger beschermd dan de anderen, daar is heel veel over te zeggen, maar het heeft ongetwijfeld ook met gewoon de zwarte historie van de mensheid te maken, waarbij juist opgrond van ras, etniciteit verschrikkelijke daden zijn gepleegd en hebben gezegd dat dit willen we nooit meer.

[0:49:40] En daarom is dat het meest stevig beschermd.

[0:49:44] Het heeft ook met de praktijk te maken van in wat voor soort situaties kan het überhaupt relevant zijn.

[0:49:49] Als die er niet zijn, hoef je daar ook geen uitzonderingen voor open te houden.

[0:50:01] Hoe zie je dat terug?

[0:50:02] Dat zie je terug in de wet, in de jurisprudentie.

[0:50:05] Kijk bijvoorbeeld naar de algemene wetgelijke behandeling.

[0:50:07] Er zijn verschillende gronden die daarin zijn opgenomen.

[0:50:10] Er zijn verschillende uitzonderingen opgenomen.

[0:50:12] Dat zie je ook in mensenrechtelijke verdragen.

[0:50:15] Zie je bijvoorbeeld een verschil tussen nationaliteit, eenzijdse ras, anderzijds.

[0:50:20] Dus op die manier zie je dat terug.

[0:50:22] En ook hoe de rechter daar weer omgaat.

[0:50:24] En we hadden ook een vraag over die wettelijke voorzorgsnormen, oftewel wettelijk verankeren.

[0:50:31] Het punt bij voorzorgsnormen is, die moeten soms heel veel specifieke uitwerking nodig hebben in een specifieke organisatie.

[0:50:41] Dus je moet goed nadenken over hoe verwoord je die dan precies als je die wettelijk gaat vormgeven.

[0:50:45] Het moet niet een soort technisch gedroogd worden waar niemand iets mee kan.

[0:50:51] Maar het college schat in dat het wel degelijk mogelijk is om een aantal van die belangrijke voorzorgsnormen wel te verankeren.

[0:50:57] dat je in ieder geval al organisaties kan checken of ze aan die voorzorgsnormen voldoen.

[0:51:02] Maar daar moet wel even goed over nagedacht worden, hoe doe je dat dan precies?

[0:51:05] Maar een voorbeeld daarvan zou ook kunnen zijn als een algoritmeregister.

[0:51:08] Kijk, eerst wel, een algoritmeregister is niet verplicht.

[0:51:11] Dat is een, zou je kunnen zeggen, dat is een wettelijk voorzorgsnorm.

[0:51:14] Maar eigenlijk ook heel basaal.

[0:51:15] Natuurlijk moet je weten wat je doet aan risicoprofilering.

[0:51:18] Het is eigenlijk van de zotte dat je dat niet zou weten.

[0:51:21] Maar ja, dat is ook aan de wetgever om zo'n register dan ook verplicht om te maken.

[0:51:28] Zou ik zeggen, dat valt daar ook onder.

[0:51:35] Ja, het roept een vraag op vanuit de heer Van Nispen.

[0:51:38] Ja.

[0:51:39] Ik zal het heel kort houden, ook omwille van de tijd.

[0:51:41] Is er nou een goede reden om bepaalde algoritmes niet transparant te maken, kortom, om het niet verplicht te maken dat het algoritme registert?

[0:51:52] In het algemeen zou je kunnen zeggen, er is sowieso geen reden om niet een algoritmeregister aan te houden.

[0:52:02] Het enige wat je zou kunnen zeggen is dat bij sommige algoritmes, en dan denk ik bijvoorbeeld aan de belastingdienst, volgens mij hebben we dit jaar geleden daar ook dat gesprek gehad, die bijvoorbeeld de inkomstenbelasting in de toets doet, die varieert soms met criteria van dit jaar checken we dat, dat jaar checken we dat.

[0:52:15] Als je dat van tevoren, dat soort dingen kenbaar maakt, ja dan is het

[0:52:21] Dan zou het kunnen zijn dat je heel veel gaat missen wat je niet wil missen.

[0:52:25] Dus dat is dan misschien onverstandig.

[0:52:27] Dat wil helemaal niet zeggen dat je niet in zijn algemeenheid heel veel wel kan zeggen over het algoritme en dan hooguit kan zeggen, nou hier hebben we een aantal factoren die kunnen we niet van tevoren openbaar maken.

[0:52:38] Dan zegt het college wel altijd, als dat soort redenen zouden bestaan, we zeggen dat niet,

[0:52:43] Dan moet er altijd een toetsende instantie zijn die daar wel naar kan kijken vooraf, zodat dat niet zich geheel aan het zicht onttrekt.

[0:52:49] Dus dat zou je dan onderdeel moeten maken van zo'n wettelijk regime.

[0:52:54] Dank u wel.

[0:52:54] Dan gaan we naar mevrouw Park voor de beantwoording van de vraag van mevrouw Katman.

[0:53:00] Ja, specifiek het handelingsperspectief, dat was natuurlijk ook de vraag van de heer Koops.

[0:53:05] En ja, ik zou dan even de taken van uw Kamer af willen lopen.

[0:53:10] Nou ja, goed, we hebben het al gehad over normering via wetgeving.

[0:53:13] Dat is een optie, dat is aan u, of u die normen wilt codificeren en daarmee verstevigen.

[0:53:21] Ja, de controlerende taak.

[0:53:25] Er moet gewoon beleid op zijn en dat moet niet alleen maar bij binnenlandse zaken zitten.

[0:53:30] Dat geldt natuurlijk voor elk departement en voor alle uitvoeringsinstanties die onder ieder departement hangen.

[0:53:36] En dat kunt u nagaan en ook daar kunt u mening over vormen of u dat afdoende vindt, wat daar ligt.

[0:53:43] En dan budgettaire.

[0:53:45] We hebben net al gezegd voor het doorzuipelen van die normen op de werkvloer.

[0:53:54] Daar is veel voor nodig en daar moeten middelen voor zijn.

[0:54:01] U kunt die toekennen.

[0:54:04] En dan nog een stukje het normerende karakter van ook het discours hier natuurlijk.

[0:54:11] Dat is belangrijk.

[0:54:13] Ja, en bewustwording.

[0:54:16] Ik vind het wel heel goed dat we hier nu voor een tweede keer in relatief korte tijd zitten om erover te praten.

[0:54:22] Dat is ook een duidelijk signaal aan een actie, dus dank daarvoor.

[0:54:30] Dank u wel.

[0:54:30] We naderen aan het einde van het eerste blok.

[0:54:35] Ik kijk nog even naar de heer Gebreap, of u nog een extra toelichting wilt geven aan iets.

[0:54:44] Nee, dank.

[0:54:46] Ik heb gezegd wat ik heb willen zeggen.

[0:54:49] Dan wil ik u bedanken hiervoor.

[0:54:52] En dan gaan we door zo direct met een korte onderbreking.

[0:54:55] Ik zal zeggen drie minuten met de tweede blok en dan komen de uitvoeringsorganisaties aan het woord.

[0:55:01] Het kan tussendoor zijn dat kamerleden moeten vertrekken.

[0:55:06] Dat is absoluut niet vanwege disinteresse, maar dat is gewoon omdat

[0:55:10] omdat er nog andere werk te doen is.

[0:55:12] Dus dan weten we dat.

[0:55:14] Dank u wel.

[1:00:50] Oké, we gaan weer door.

[1:00:54] Nu met de uitvoeringsorganisaties.

[1:00:58] Ik heet de heer Doeleman, welkom, van de Nationale Politie.

[1:01:03] Mevrouw Fels van DUO.

[1:01:05] En ik heet de heer De Ruiter van de UAV, welkom.

[1:01:09] En de heer Jansen van het Belastingdienst.

[1:01:11] En ook mevrouw Keijer van de Koninklijke Marsaussee.

[1:01:14] En ook jullie hebben een gezamenlijke presentatie voorbereid en daarna

[1:01:19] is er ruimte voor accenten die gelegd kunnen worden.

[1:01:22] En volgens mij kan ik mevrouw Vels het woord geven voor de gezamenlijke presentatie, klopt dat?

[1:01:27] Oké, nu het woord.

[1:01:31] Bedankt voor de uitnodiging voor deze technische briefing over risicoprofilering bij handhaving.

[1:01:38] Met risicoprofilering wordt onderscheid gemaakt en daar waar onderscheid gemaakt wordt, bestaat het risico op discriminatie.

[1:01:45] Net als iedereen hier aanwezig,

[1:01:48] willen we discriminatie voorkomen.

[1:01:50] En bij alle aanwezige uitvoeringsorganisaties wordt hier dan ook hard aangewerkt om dit te voorkomen.

[1:01:57] We zijn blij om te zien dat ook het ronde tafelgesprek van vorig jaar heeft gezorgd dat dit ook dit jaar weer een vervolg krijgt.

[1:02:06] De organisaties zijn net genoemd die hier aanwezig zijn bij deze technische briefing.

[1:02:13] Ik zal het eerste gedeelte van de presentatie voor mijn rekening nemen.

[1:02:17] dan het woord verder geven aan de politie en vervolgens ook aan mijn collega van de Koninklijke, Marjole C. In het eerste uur hebben we kennisinstituten en adviesorganisaties gehoord.

[1:02:31] Wij hopen dat zij ook herkennen dat wij de adviezen die zij geven over risicoprofilering in de uitvoeringspraktijk

[1:02:39] ter hart te nemen en dat we die ook opvolgen in de uitvoeringspraktijk.

[1:02:42] Dat vinden wij ook belangrijk.

[1:02:45] In het hierop volgende half uur zullen ook belangvaartbehartigers aan het woord komen.

[1:02:49] Vanuit de uitvoering blijven we uiteraard ook aanwezig om naar hen te luisteren en kennis te nemen van eventuele adviezen die zij voor ons hebben, want ook die inzichten zijn waardevol voor ons.

[1:03:01] De komende uur nemen we jullie mee in onze praktijkervaring met risicoprofilering.

[1:03:07] Eerst delen we een gezamenlijke kernboodschap en laten we zien welke raakvlakken we gevonden hebben.

[1:03:14] Na afloop van de gezamenlijke presentaties en de individuele toelichtingen door de organisaties, door accenten zoals iedereen noemde, bestaat er dan ook nog de gelegenheid om vragen te stellen.

[1:03:26] Het is goed om in het achterhoofd te houden bij deze presentatie dat de organisaties hier aanwezig erg van elkaar verschillen.

[1:03:33] De taak van de politie is volledig anders dan die van bijvoorbeeld DUO en die van de Koninklijke Maréchalsee is weer anders dan die van de Belastingdienst of het UIV.

[1:03:42] De politie en de Koninklijke Maréchalsee zetten risicoprofilering bijvoorbeeld ook in bij fysieke controles.

[1:03:48] Het College van de Rechten van de Mens werd dat ook al lijfcontroles genoemd.

[1:03:52] En bij het UWV, de Belastingdienst en DUO, zal er doorgaans met name sprake zijn van algoritmische risicoprofilering.

[1:04:01] Ook kunnen er verschillen zijn in de mate waarin organisaties afhankelijk zijn van risicoprofilering of de inzet daarvan.

[1:04:09] Wat ons in ieder geval bindt, is dat we ons hebben te verhouden tot de kaders die gelden bij de inzet van risicoprofilering.

[1:04:17] En ik wil daarbij graag ook benadrukken dat ook wij tot onze taakopvatting

[1:04:21] vinden horen dat discriminatie moet worden tegengegaan.

[1:04:27] We doen hier een gezamenlijk verhaal.

[1:04:28] We denken ook dat het gezamenlijk optrekken van overheden ook laat zien dat we een lerende overheid zijn.

[1:04:37] En we doen dat natuurlijk niet alleen met elkaar, maar ook met anderen daarbuiten.

[1:04:43] Dus we willen ook zelf heel graag leren van ervaringen, ook daar waar het soms niet altijd op de juiste wijze heeft uitgepakt.

[1:04:56] We hopen vandaag in ieder geval duidelijk te maken wat wij doen als uitvoerders om risicoprofilering zo rechtvaardig en effectief mogelijk te laten plaatsvinden.

[1:05:04] En dat gezegd hebbende zou ik graag doorgaan naar de kernboodschap.

[1:05:10] Discriminatie door risicoprofilering mag niet en willen we ook niet.

[1:05:15] De samenleving moet erop kunnen vertrouwen dat risicoprofilering verantwoord wordt ingezet zonder discriminatie.

[1:05:21] Risicoprofilering wordt ingezet bij handhaving als een vorm van controle op het naleven van regels.

[1:05:27] Bij risicoprofilering wordt onderscheid gemaakt en zoals eerder gezegd, daar waar onderscheid gemaakt wordt, kan dit leiden tot discriminatie.

[1:05:34] Om dat tegen te gaan, denken wij goed na over ontwerpkeuzes en selectiecriteria.

[1:05:40] We onderbouwen, of er sprake is van objectieve rechtvaardiging voor een gemaakt onderscheid,

[1:05:45] Risicoprofilering moet daarnaast ook proportioneel, effectief en ethisch verantwoord zijn.

[1:05:52] Met die gedachten in het achterhoofd, met die boodschap, hebben we vijf punten op papier gezet.

[1:05:59] Dat zijn de volgende punten.

[1:06:01] Eén, het begrip risicoprofilering en handhaving.

[1:06:06] Toetsingskaders en de inzet risicoprofilering.

[1:06:10] Drie, complexiteit van regelgeving.

[1:06:13] vier, de transparantie overgegevend en tenslotte vijf, de wettelijke grondslagen.

[1:06:32] Risicoprofilering is een breed begrip en komt in verschillende vormen voor.

[1:06:36] Dat kan variëren van fysieke controles tot computermodellen.

[1:06:40] Die modellen kunnen door de regel gebaseerde door de mens ontwikkelde systemen zijn, maar er kan ook sprake zijn van de inzet van een doorgaans eenvoudige vorm van AI.

[1:06:52] Dus dat gaat eigenlijk over niet-lerende, lerende en zelflerende vormen van algoritmes.

[1:07:01] Risicoprofilering vindt plaats op basis van verschillende criteria waarbij het belangrijk is om discriminatie te voorkomen en de impact op personen te bewaken.

[1:07:11] We weten immers ook dat impact op personen aanmerkelijk kan zijn.

[1:07:16] Handhaving passen we toe om oneigenlijk gebruik te voorkomen en risicoprofilering wordt ingezet om effectief invulling te geven aan handhaving.

[1:07:24] We zijn er ons ervan bewust dat risicoprofilering mogelijk kan leiden tot discriminatie.

[1:07:29] Overigens is het ook goed om daarbij te vermelden dat elk ander ongerechtvaardigd onderscheid ook niet is toegestaan.

[1:07:38] Algorithmische risicoprofilering op zich leidt niet tot besluiten.

[1:07:41] Dat zou zich ook niet verhouden tot het verbod op volledig geautomatiseerde besluitvorming.

[1:07:47] Het is van belang dat er binnen een proces sprake is van betekenisvolle menselijke tussenkomst.

[1:07:53] Risicoprofilering wordt veelal ingezet met het oog op effectieve controle op misbruik en oneigenlijk gebruik,

[1:07:59] of het nu gaat om vroegtijdige signalering bij dienstverlening of om toezicht.

[1:08:04] En volgens mij maakt de staatscommissie hier ook al een opmerking over dat de nadruk lijkt te liggen op de inzet van risicoprofilering bij handhaving.

[1:08:17] Maar profilering kan juist ook een manier zijn om bepaalde groepen burgers waarvan je denkt dat die extra ondersteuning nodig hebben, beter in beeld te krijgen.

[1:08:31] In slotte, toetsingskaders en de inzet van risicoprofilering.

[1:08:37] Toetsingskaders zijn er onder andere om discriminatie te voorkomen.

[1:08:41] De realiteit is ook dat risicoprofilering per definitie een onderscheid maakt.

[1:08:47] En om te voorkomen dat dit leidt tot discriminatie is ook bewustwording en bewustzijn nodig.

[1:08:56] Zowel mensen als modellen maken onderscheid en bij het gebruik van modellen zijn bewuste ontwerpkeuzes nodig om dit tegen te gaan.

[1:09:05] Directe en indirecte discriminatie zijn niet altijd eenvoudig te detecteren.

[1:09:09] Bij organisaties waar fysieke controles worden uitgevoerd geldt bijvoorbeeld dat in die gevallen de omgekeerde bewijslast geldt.

[1:09:16] Er moet worden aangetoond dat naast argumenten en criteria die medewerkers hebben aangegeven gebruikt te hebben, niet ook bijvoorbeeld huidskleur of herkomst een rol gespeeld kan hebben.

[1:09:29] Directe discriminatie en algoritmische risicoprofilering is vrijwel altijd verboden.

[1:09:34] In die gevallen zal het voornamelijk gaan ook op het risico op indirecte discriminatie.

[1:09:40] Wat ook niet eenvoudig is altijd te detecteren, daar is doorgaans veel onderzoek voor nodig.

[1:09:45] Er wordt naar oplossingen gezocht, maar dit blijft ook een uitdaging.

[1:09:49] Zeker juist omdat we die verantwoordelijkheid dragen om niet te discrimineren.

[1:09:54] Het is wel de vraag of discriminatie, ondanks alle inspanningen en voorzorgsmaatregelen die getroffen worden aan de voorkant, ook altijd en in alle gevallen voorkomen kan worden.

[1:10:06] We vinden het dan ook lastig om te bepalen wanneer het goed genoeg is.

[1:10:11] Dat is veelal afhankelijk van onderbouwingen op diverse aspecten, zoals bijvoorbeeld statistische onderbouwing en de onderbouwing van de rechtvaardigheidstoets.

[1:10:21] Het college van de rechten van de mens gaf in het blok hiervoor aan dat bijvoorbeeld externe toezicht nodig is.

[1:10:30] Maar misschien is dat alleen niet genoeg.

[1:10:34] Er wordt ook bijvoorbeeld wel gekeken naar wetenschappelijke onderbouwing, maar een wetenschappelijke onderbouwing betekent... En uit de gesprekken die wij met de wetenschap daarover gevoerd hebben, daar blijkt ook dat de wetenschap ons niet een stempel gaat geven van nu is het goed.

[1:10:51] Zij helpen ons wel richting geven, maar daar zit geen goedkeuring aan vast.

[1:10:58] Het is dus... Ten slotte, ik denk dat we verder zijn.

[1:11:07] Even kijken hoor.

[1:11:10] Goed dat je me even helpt.

[1:11:14] Zoals ik eerder zei, het gaat dus niet enkel om discriminatie, maar ook om elke ongeoorloofde onderscheid.

[1:11:19] Daarnaast is het ook niet zo dat het bij het tegengaan van discriminatie, dat dat echt het enige aspect is dat telt bij risicoprofilering.

[1:11:28] Het gaat vaak om veel fouten aan maatregelen die door uitvoeringsorganisaties moeten worden getroffen.

[1:11:35] Het gaat bijvoorbeeld ook om de statistische relevantie van je criteria, de effectiviteit moet je kunnen aantonen, wetenschappelijke onderbouwing, maar ook, en dat werd volgens mij door de Ombudsman gezegd, de uitlegbaarheid hiervan aan burgers en het informeren over de wijze waarop je deze vorm van geautomatiseerde besluitvorming toepast.

[1:11:56] Mooi bruggetje naar de volgende sheet, de complexiteit van regelgeving en dat het in de praktijk, in de uitvoeringspraktijk heel complex kan zijn.

[1:12:04] Om dat gewoon nader uit te leggen, geef ik graag mijn collega van de politie het woord.

[1:12:09] Dank je wel.

[1:12:11] Ja, dit is een sheet, er staat in één zin dat het complex is.

[1:12:14] Dat klinkt natuurlijk leuk, maar soms zegt een plaatje meer dan duizend woorden.

[1:12:18] Want waarom is die wetgeving en niet alleen de wetgeving, maar alle kaders, waarom is dat nou complex?

[1:12:22] Als je de volgende eventjes al wil

[1:12:25] Het is klein, maar links zie je een opzomming van allerlei kaders die bijvoorbeeld voor de politie allemaal gelden.

[1:12:34] Het IAMA, de EU kader.

[1:12:39] Binnenlandse zaken kader, heleboel kaders.

[1:12:42] Maar die kaders, als wij daar iets mee willen als uitvoeringsorganisatie, moeten we die terugbrengen naar iets wat werkbaar is.

[1:12:48] Iets wat volledig dekt, of zo volledig mogelijk dekt.

[1:12:52] Dat betekent dus dat wij als politie nu een algoritme kader politie ontwikkeld hebben, wat eigenlijk een samenvoeging is van al die verschillende kaders die er over ons uitgestort worden, die er bestaan, met alle goede intenties die daar zijn.

[1:13:07] Maar als ze iedere keer los aan ons gepresenteerd worden, dan wordt het heel moeilijk om die te incorporeren in onze werkwijzes.

[1:13:14] Daarom hebben we besloten om één algoritmekader voor de politie te maken.

[1:13:18] En dat algoritmekader helpt ons om risico's waar te nemen.

[1:13:22] Als we nieuwe algoritmes AI willen ontwikkelen, toepassen, aanschaffen, wat zijn dan de elementen waarvan wij denken, oh, hier moeten we goed naar kijken, hier moeten we zorg hebben over, wat heeft de impact hiervan?

[1:13:36] Dit is ook meteen een oproep.

[1:13:40] Niet nog meer kaders erbij.

[1:13:42] Want het is al ingewikkeld genoeg.

[1:13:44] En realiseer dat al die kaders ook altijd weer vertaald moeten worden naar de specifieke uitvoeringsorganisatie in kwestie.

[1:13:51] Want de politie doet ander werk dan DUO en moet dus ook naar andere elementen kijken.

[1:13:57] Dit kader zijn we wel heel blij mee.

[1:14:00] De vorige keer, vorig jaar dat ik hier was, heb ik ook verteld dat we daar mee bezig waren.

[1:14:04] Inmiddels is het af en we zien ook dat in Europa dit heel erg interessant geworden vond en wij proberen eigenlijk het algoritme kader van de politie het algemeen Europese kader te gaan laten worden voor de rechtshandhaving in Europa.

[1:14:20] Dus dat zou een mooi stap zijn als we daar het voortouw in kunnen nemen.

[1:14:25] En mag ik naar de volgende?

[1:14:27] Misschien even voor het technische begrip van wat we zagen net, kunt u nog iets meer uitleggen wat nou die verschillende blokjes en kleurtjes en vakjes zijn?

[1:14:36] Want alles ziet er inderdaad heel ingewikkeld uit, maar we snappen het nog steeds niet veel.

[1:14:38] Nee, precies.

[1:14:39] Misschien is vooral de boodschap dat het heel ingewikkeld is en heel veel.

[1:14:43] Dus je ziet hier die letters links, dat zijn allemaal verschillende kaders die er bestaan.

[1:14:49] En in die kaders zitten allemaal verschillende onderwerpen en elementen.

[1:14:52] En wat wij hebben gedaan is geprobeerd al die kaders over elkaar heen te leggen en dan te kijken welk element komt nou in welke kaders allemaal terug, welke hoofdelementen zitten daarin.

[1:15:03] En uiteindelijk hebben wij daar één, en dat is de volgende, één kader voor gemaakt voor de politie.

[1:15:08] En daar zitten elf hoofdonderwerpen in.

[1:15:11] En daarmee denken wij eigenlijk alle aspecten die in die andere kaders voorbijkomen in één keer af te dekken.

[1:15:17] En met daar de sub-onderwerpen die daar vervolgens onder staan.

[1:15:20] En zo kunnen we dus

[1:15:22] van ieder moment elementen, datenkwaliteit, discriminatie, al die elementen komen terug in ons kader en alles wat wij dus ontwikkelen moet langs dit kader gelegd worden.

[1:15:34] En ook hier is weer te zien wat een omvang dat kent.

[1:15:39] En hier zit natuurlijk vanuit een mensenrechtenperspectief, maar ook weer vanuit technisch perspectief, er zitten allerlei perspectieven in die we geprobeerd hebben in één werkbaar kader.

[1:15:49] Want als we natuurlijk zo'n grote organisatie als bijvoorbeeld de politie, je moet één helder kader hebben, anders wordt het onuitvoerbaar.

[1:15:57] En dan hebben we ook nog een proces ontwikkeld, want een kader alleen is onvoldoende.

[1:16:02] Je moet natuurlijk ook nog zorgen dat je dat incorporeert in je organisatie, in je werkwijze.

[1:16:06] De volgende laat zien, wij hebben daar het kwaliteits- en risicomanagementsysteem voor algoritmes en artificial intelligence voor gemaakt.

[1:16:14] U hoort dat ik dat vaker heb gezegd.

[1:16:16] Daarom hebben we dat ook afgekort naar CRAI en dit is ons proces waarlangs wij als politie algoritmes en AI ontwikkelen, aanschaffen.

[1:16:26] In dit proces zit dus dat kader.

[1:16:28] Maar er zit bijvoorbeeld ook in het gebruik van een datacatalogus, waarin wij al onze datasets vastleggen, waarin wij al onze algoritmes vastleggen, zodat wij als politie ook zicht hebben op wat we allemaal doen en gebruiken.

[1:16:42] Er zitten ook elementen in van organisatorische impact die het heeft.

[1:16:45] We moeten een algoritmeautoriteit hebben.

[1:16:48] We moeten een coördinatiefunctie hebben, want dit gaat niet vanzelf goed in zo'n grote organisatie.

[1:16:53] We hebben een adviescommissie.

[1:16:55] besluitvormingscommissie waarin we dat kader toetsen en kijken of het past.

[1:17:02] Want het is natuurlijk het ingewilders aan zo'n kader.

[1:17:04] Het is ook niet alleen maar normatief, maar er zitten heel vaak natuurlijk grijze gebieden in.

[1:17:09] Voor welke toepassing ben je bereid om welke inzet te doen?

[1:17:14] Wat is die proportionaliteit?

[1:17:16] Daar is dit kader voor.

[1:17:18] Er zit ook een lus in.

[1:17:19] Dat heb ik ook al voorbij horen komen.

[1:17:21] Het is niet als je algoritme af is dat je dan klaar bent.

[1:17:24] Je moet iedere keer weer toetsen.

[1:17:26] Is dat algoritme nog steeds relevant?

[1:17:28] Is de data die we erin stoppen niet ernstig veranderd?

[1:17:31] En doet dat iets met de uitkomst?

[1:17:32] Het zijn allemaal zaken die je in zo'n proces moet vastleggen.

[1:17:36] En dus ik hoop dat daarmee duidelijk is hoe complex het voor een uitvoeringsorganisatie is om al die regels ook in de praktijk hanteerbaar te laten zijn.

[1:17:47] Geef ik nu graag het woord aan mevrouw Keijer van de Kmar.

[1:17:57] Ik zag het lampje al niet branden.

[1:17:59] Goedemiddag.

[1:18:00] Transparantie over gegevens kwam ook al even in het eerste uur aan de orde.

[1:18:05] Veel burgers zijn natuurlijk benieuwd naar hoe handhaving plaatsvindt of willen, als ze zelf geselecteerd of gecontroleerd zijn, weten waarom dat zo is.

[1:18:13] Wettelijk gezien hoeven we geen details te geven over profielen.

[1:18:17] alleen dat we ze gebruiken en welke rol ze spelen in de besluitvorming.

[1:18:21] En de wet Open Overheid geeft ook de ruimte om die motivering vanuit criteria in de profielen achterwege te laten, namelijk wanneer het belang van toezicht en controle en zeker ook opsporing en vervolging van strafbare feiten in het geding is.

[1:18:35] Dat gezegd hebbende wil je als uitvoeringsorganisatie toch zo transparant mogelijk zijn, ook voor je legitimiteit in je optreden.

[1:18:43] En dat is echt zoeken naar balans.

[1:18:46] En voor een deel van de uitvoeringsorganisaties geldt dat keuzes ook worden gemaakt op basis van de combinatie van informatie vooraf, in combinatie met gedrag, of alleen op basis van waargenomen gedrag, wat eerder op de live controllers genoemd werd.

[1:19:03] En deze waarnemingen van gedrag zijn vaak essentieel, maar zijn soms ook moeilijk over te brengen.

[1:19:08] Vaak is het voor een persoon logisch en verklaarbaar gedrag, maar heeft het toch de aandacht getrokken om dat handhavens vanuit een ander perspectief te nakijken.

[1:19:15] Dat kwam ook al even aan de orde hoe belangrijk de uitleg vanuit de handhaving naar de burgers is.

[1:19:23] De volgende slijt.

[1:19:26] Als het gaat om wettelijke grondslagen, we hebben te maken met een snel veranderende samenleving en technologie met betrekking tot verzameling, analyse, toepassing en het al dan niet kunstmatig slimmer maken van data, dat ontwikkelt zich natuurlijk op hoge snelheid.

[1:19:41] En het is moeilijk voor wet- en regelgeving om dit bij te houden en om juist ook die risico's die daarmee gepaard gaan te beheersen in de toepassingen.

[1:19:48] En tegelijkertijd is het wel nodig om mee te groeien met de ontwikkelingen.

[1:19:52] Dus dan zullen rekenregels, algoritmes en AI, en ik besef dat deze begrippen verschillend en toch ook deels overlappend zijn, op verschillende wijzen nodig zijn voor de analyse, profilering en voor de bewijsvoering.

[1:20:06] Wat helpt in de uitvoering?

[1:20:09] Adviezen van het College van de Rechten voor de Mensen en van de autoriteit persoonsgegevens, bijvoorbeeld, zien wij als zeer waardevol om de vele kaders die al geschetst zijn, bruikbaar te maken voor de praktijk.

[1:20:21] Tegelijkertijd willen we ook eerlijk zijn hoe lastig het soms is om conform alle eisen te handhaven op regels die bijvoorbeeld betrekking hebben op persoonlijke omstandigheden.

[1:20:31] Er zijn best veel regelingen van de overheid die de persoonlijke levenssfeer raken.

[1:20:35] thuis of uitwonend, samenwonen of niet, zorg voor kinderen of niet, relatie of niet, bepaalde bezittingen en of te goede, schulden, te maken kosten voor zorg van jezelf of anderen, et cetera.

[1:20:48] En daar stuit de overheid met alle eisen die er gesteld worden aan het handelen de facto soms bijna op volledig of praktische onuitvoerbaarheid.

[1:20:58] Het samenwerken waarbij de kennis en ervaring van de verschillende overheden wordt gedeeld, dat komt steeds beter tot stand, waardoor ook het lerend vermogen van ons allen verbetert.

[1:21:09] En dat komt ook doordat we als uitvoeringsorganisaties nadrukkelijk andere stakeholders betrekken, zoals de wetenschap, externe partijen, belangenorganisaties en mensen die zelf aan risicoprofilering zijn onderworpen.

[1:21:24] En het gebruik van verschillende inzichten en perspectieven is echt cruciaal om goed te leren.

[1:21:30] Laatste slide.

[1:21:32] En in aanvulling op deze algemene gemeenschappelijke punten in deze presentatie willen we graag nog per uitvoeringsorganisatie kort vertellen wat we specifiek willen benadrukken.

[1:21:44] En dat doen we in alfabetische volgorde, dus als eerste de Belastingdienst.

[1:21:47] Als u dat goed vindt, voorzitter.

[1:21:49] Ja, sorry, uw microfoon.

[1:21:52] Ja, heel goed, maar we zijn al over de tijd heen, zwaar over de tijd heen, dus graag echt heel kort toelichting.

[1:22:01] Ik zal me erbij inkorten tot een aantal bullets.

[1:22:03] De eerste is, wat mij betreft, als je risicoprofilering inzet, moet je ook heel goed nadenken binnen welke context je dat doet en hoe je daarbij naar de burger kijkt.

[1:22:11] De Belastingdienst gaat uit van het vertrouwen dat de meeste burgers en bedrijven aan hun verplichtingen willen nakomen en dat het belangrijk is dat wij ze daar ook zo goed mogelijk bij helpen, dus daar ook dienstverlenend in zijn.

[1:22:20] En risicoprofileering of het inzet van selectie-instrumenten is daarbij ondersteunend aan de toestellingskant en de handhavingskant.

[1:22:28] Een punt wat ik zou willen benadrukken is, er zijn verschillende instrumenten.

[1:22:33] Je kunt selecties doen aan de hand van criteria die bijvoorbeeld in de wet staan.

[1:22:38] Je kunt ook hele geavanceerde datamodellen gebruiken.

[1:22:41] Maar onder alle omstandigheden vinden wij dat je als organisatie ook steekproeven moet doen.

[1:22:45] zodat je de breedte houdt, breed ziet wat speelt er nou in die hele domein en niet in een tunnel raakt.

[1:22:51] En ook iets kunt zeggen over de effectiviteit van je handhaving in relatie tot de uitkomsten van die steekproef.

[1:22:58] Daarnaast, selectie is voor ons als Belastingdienst ontmisbaar.

[1:23:01] We hebben net weer 10 miljoen aangifte inkomstenbelasting binnen en burgers hebben er ook recht op verwachten ook dat ze binnen afzienbare tijd antwoorden krijgen, een duidelijkheid krijgen en, als het van toepassing is, ook hun geld terugkrijgen.

[1:23:13] Dat kunnen wij niet doen

[1:23:14] op een of andere manier ook te selecteren.

[1:23:19] Laatste punt, als ik dan nog heel kort mag zijn, gaat over het toetsen op indirecte discriminatie.

[1:23:25] Daar zijn wij binnen mijn eigen directie ook bezig om daar de afgelopen jaren ook een eigen onderzoek naar te doen en ook instrumenten voor te ontwikkelen.

[1:23:32] Wij gebruiken daar zogenaamde bias- en fairnesstoetsen voor, waarbij multidisciplinair vanuit verschillende perspectieven wordt gekeken.

[1:23:39] Als ik dit algoritme nou inzet, welke vormen van onderscheid of misschien ongerechtvaardig onderscheid kan daar nou in voorkomen?

[1:23:47] Hoe zou je dat kunnen meten en hoe kun je dat vervolgens voorkomen?

[1:23:50] Het meten, statistisch meten, is het meten van bias.

[1:23:54] En fairness is de discussie ook eigenlijk van, als je dan een onderscheid gemeten hebt, hoe komt die dan?

[1:23:59] Kun je die dan verklaren?

[1:24:01] Is die dan gerechtvaardigd?

[1:24:02] Of moet je daar iets aan doen?

[1:24:04] Nou, bij het toepassen van modellen hebben wij in een van die voorbeelden ook gezien dat er een regel bleek te zijn die inderdaad een vorm van onwenselijk onderscheid gaf, waardoor je ook instrumentaren krijgt om te zeggen, dan zetten we die dus ook gewoon uit.

[1:24:17] Dit hebben wij laten toetsen door onze... Of toetsen laten adviseren door onze onafhankelijke adviescommissie.

[1:24:24] We hebben een adviescommissie bij het ministerie van Financiën van een aantal wetenschappers en experts.

[1:24:30] En we zijn ook wel blij dat ze aangeven dat dit echt een systematische manier van werken is en dat die ook helpt.

[1:24:35] Dus wij ontwikkelen die ook graag door.

[1:24:41] Goed.

[1:24:43] Voor DUO ligt dit wat anders.

[1:24:46] Wij zijn juist op dit moment breed aan het bezien op welke vorm wij controle willen inrichten.

[1:24:53] Dat kan zijn vormen van controle die we binnen handhavingsarm beleid toepassen.

[1:24:59] Dat kunnen andere vormen van controle zijn tot aan de inzet van risicoprofilering.

[1:25:04] Misschien is het goed om nog even uit te leggen wat ik daarbij versta onder handhavingsarmbeleid.

[1:25:09] In die gevallen gaat het over beleid die niet gevoelig is voor misbruik en oneigenlijk gebruik, doordat je bijvoorbeeld op basis van onafhankelijke bronnen het rechtmatige gebruik daarvan kan vaststellen.

[1:25:24] om ook nog een voorbeeld te geven van andere vormen van controle.

[1:25:27] Op dit moment doen wij binnen DUO bijvoorbeeld ook een pilot om aan de hand van bewijsstukken de controle op de uitwonende beurs plaats te doen vinden.

[1:25:39] Het gebruik van een selectiemodel is voor DUO dus niet per definitie vastgegeven, maar wordt ook niet op voorhand uitgesloten.

[1:25:47] Het uitkeren van studiefinisering is een van onze wettelijke taken

[1:25:52] net zozeer als dat het een wettelijke taak is om effectief misbruik en oneigenlijk gebruik tegen te gaan.

[1:25:58] Daarom is de inzet van een selectiemodel ook wel een belangrijke afweging binnen het herontwerp van het proces van de controle uit wonende beurs.

[1:26:05] Het betreft immers publieke gelden die ook verantwoord moeten worden.

[1:26:10] Maar de wijze waarop we dat willen doen is op dit moment nog een vraagstuk waar we over nadenken.

[1:26:17] Het is overigens ook nog niet zo heel eenvoudig om een nieuw selectiemodel te ontwikkelen.

[1:26:21] Zo is het bijvoorbeeld best lastig om een goede dataset te verwerven op basis waarvan je het risicomodel baseert, de criteria.

[1:26:30] En voor de zomer ontvangt uw Kamer ook nog een Kamerbrief waar specifiek ingegaan wordt op de ontwikkeling van het nieuwe selectiemodel en wat er op dit punt allemaal bij komt kijken.

[1:26:42] Misschien is het ook nog tot slot goed om te zeggen dat DUO dat niet alleen doet.

[1:26:48] Dat doen we samen met organisaties om ons heen.

[1:26:51] zoals bijvoorbeeld externe partijen, de wetenschap, belangenorganisaties, studentenorganisaties en ook betrokkenen die aan zo'n controle onderworpen zijn.

[1:27:03] Dat is zeer waardevol om te blijven leren ook van inzichten die zij ons geven om mede op basis daarvan goede invulling te kunnen geven van onze wettelijke taak.

[1:27:13] Dank.

[1:27:15] Oké, dank je wel.

[1:27:16] Wie kan er nog?

[1:27:17] het woord geven, graag kort.

[1:27:19] Ja, ik zal het heel kort doen.

[1:27:21] In ieder geval, wij gebruiken een toets om discriminatie te voorkomen wanneer wij profielen opstellen.

[1:27:30] Daar zitten uiteraard een hoop criteria aan vast, maar belangrijk is dat er sowieso meerdere criteria moeten worden opgenomen om dat algoritme in de praktijk in te zetten.

[1:27:43] Dus de datajurist doet daar ook een expliciete toets op discriminatie op en op het gebruik van meerdere criteria.

[1:27:52] Om de data te analyseren, bij ons is het echt als dit dan dat.

[1:27:58] Geen zelflerende algoritmes.

[1:28:01] En in de breedte, naast het gebruik van profielen, hebben we een aantal zaken, ook in vergelijking met vorig jaar, als het gaat om informatie gestuurd optreden, verder doorontwikkeld.

[1:28:11] We hebben feedback opgehaald over de bruikbaarheid van het handelingskader professioneel selecteren en controleren.

[1:28:17] En dat heeft geleid tot meer gerichte instructies voor de collega's in de operatie.

[1:28:22] We hebben brieven en debrieven verbeterd.

[1:28:24] De feedbackloop waar mevrouw Park het over had, hebben we in die zin ook verbeterd.

[1:28:30] En in opleidingen en trainingen, we hebben een pilot die we in september starten als het gaat om juist de leidinggevende rol.

[1:28:37] Het sturing geven aan professioneel selecteren en controleren.

[1:28:41] Dat in het heel kort.

[1:28:42] Dank u wel.

[1:28:43] Dank u wel voor uw toelichting.

[1:28:44] Dan kijk ik nog naar anderen.

[1:28:45] Is er nog iemand?

[1:28:47] Ja, meneer Doeleman.

[1:28:48] Ja, nog even kort, want we hebben het met name over de technische kant gehad, maar bij de politie hebben we natuurlijk ook het hele handelingskader professioneel controleren.

[1:28:56] Daar hebben we vorige keer ook over gesproken.

[1:28:57] Er zitten vier elementen in die ik ook al een paar keer heb voorbij horen komen selecteren, uitleggen, bejegenen en reflecteren.

[1:29:03] En dat handelingskader zijn we natuurlijk voortdurend aan het implementeren.

[1:29:08] Het zorgen dat iedereen dat goed in de vingers heeft.

[1:29:11] Daar zien we ook een stijging.

[1:29:12] We meten dat ook.

[1:29:13] We hebben verschillende manieren om dat te meten op meerdere niveaus.

[1:29:17] Of dat nou effectief is.

[1:29:18] En we zijn ook steeds meer bezig met hoe ga je nou zo'n opleiding goed doen.

[1:29:22] En we zien dat het met VR-brillen

[1:29:25] Dus mensen in een daadwerkelijke situatie plaatsen, ze allerlei verschillende situaties meegeven, dat dat helpt om dat kader op de goede manier ook in de organisatie verder te laten landen.

[1:29:36] Dank u wel.

[1:29:36] Dan de heer Ruiter.

[1:29:38] Dank u wel, voorzitter.

[1:29:40] Het risico als je de laatste in de rij bent, dat je weinig spreektijd overhoudt, dus ik hou het bij twee kernpunten.

[1:29:45] Vanuit de UWV zou ik graag willen benadrukken dat het nadenken over toezicht en handhaving past in de brede ontwikkeling van dienstverlening.

[1:29:53] En dat wij ons zeer bewust zijn dat de mensen die van ons afhankelijk zijn in een hele kwetsbare positie zitten.

[1:29:59] We vragen daarom niet in de laatste plaats op veel tafel aandacht voor vereenvoudiging van de regelgeving waar wij mee moeten werken.

[1:30:06] Want juist die complexiteit van regelgeving zorgt ervoor dat een foutje zo gemaakt is.

[1:30:11] Dat is dan ook de kern van onze toezichtsaanpak, waarbij algoritmes en de inzet van dataoplossingen niet aan de voorkant van onze toezichtsaanpak staat, maar juist aan de achterkant, waarbij de eerste stappen gaan over, is de wet eigenlijk wel handhaafbaar en op zo'n manier ook uitlegbaar voor burgers die daaraan onderworpen worden?

[1:30:28] Hebben wij onze dienstverlening op zo'n manier ingericht dat de kans op het maken van een foutje zo klein mogelijk is?

[1:30:33] weten onze medewerkers dan wat een risico-signaal betekent en hoe ze daarmee op moeten gaan en hoe ze cliënten optimaal kunnen voorlichten.

[1:30:41] En pas als dat niet werkt, komen wij tot data-oplossingen.

[1:30:44] En als wij die dan implementeren, doen wij dat niet over een nacht ijs.

[1:30:47] En ik sluit daarbij graag aan bij de voorgaande sprekers als het gaat over alle waarborgen die we daarvoor in place hebben, die natuurlijk niet precies hetzelfde zijn als die van de politie, maar daar wel sterk op lijken.

[1:30:58] En voor ons is belangrijk dat het nadenken over het voorkomen van discriminatie in het werken met algoritmes en toezichtsinstrumenten niet iets is wat op één dag klaar is, maar iets wat continu aandacht vraagt en eisen stelt aan ons als lerende organisatie of responsief zijn voor wat er uit de maatschappij komt.

[1:31:16] Dat betekent ook dat we ons toetsbaar opstellen en bijvoorbeeld de samenwerking zoeken met andere overheidsorganisaties, zoals daar bijvoorbeeld het CPB is, die net iets andere toetsen kan doen dan wij kunnen doen.

[1:31:26] Daar sluit ik graag bij af, voorzitter.

[1:31:28] Dank u wel voor de presentatie en de toelichting vanuit de uitvoeringsorganisaties.

[1:31:33] Nu ga ik even naar de Kamerleden om te kijken welke vragen ze hebben.

[1:31:35] Ik doe het weer in een blok van drie.

[1:31:39] Om te beginnen de heer Koops van NEC.

[1:31:42] Dank u meneer de voorzitter.

[1:31:45] Heel erg dank voor uw komst.

[1:31:47] Mag ik om te beginnen uitspreken hoe visueel

[1:31:50] bijzonder het is om hier drie uitvoeringsorganisaties te zien die als het ware door de sterke arm, links en rechts, worden omhelst en ingesloten.

[1:32:01] Dat is gewoon prachtig om te zien.

[1:32:03] En wat ons bekend is, wat iedereen weet, is dat er een mate van samenwerking altijd zal zijn tussen de vijf partijen die hier nu aan tafel zitten.

[1:32:10] En daar is mijn vraag op gericht.

[1:32:12] Wij hebben vanochtend na het meteen al gehoord, er is altijd een risico van indirecte discriminatie, dat bestaat, dat is een gevolg van het werken met bepaalde algoritme, en wij krijgen als opdracht gewoon mee, als Kamer, dat we moeten letten op wat we niet zien.

[1:32:26] Dat is zojuist gezegd, dat is natuurlijk een van de moeilijkste dingen, maar dat is gewoon iets waar wij aandacht voor moeten hebben, dus de signalen die niet zomaar ons bereiken.

[1:32:35] Dit is de achtergrond waartegen ik begin over gegevensuitwisseling.

[1:32:40] want dat werd genoemd als een punt van aandacht, dat kan als volkomen onbedoeld indirecte discriminatie als gevolg hebben.

[1:32:48] Dus mijn vraag is gericht hierop, bij de gegevensuitwisseling die over een concrete, individuele burger gaat, wordt altijd goed vastgelegd dat die gegevens worden uitgewisseld en waarom zij worden uitgewisseld?

[1:33:03] Dus wie vraagt, wie beantwoordt, is het proactief, is het reactief?

[1:33:09] Daar is mijn vraag op gericht.

[1:33:10] Wordt dat altijd goed vastgelegd?

[1:33:12] Want wij denken wel vanuit diezelfde burger die vermoedt dat hij het slachtoffer is van een, laat ik zeggen, onjuiste aanpak, dus dat hij onterecht is geselecteerd.

[1:33:22] Die moet wel kunnen achterhalen waar de informatie die over hem verzameld is en wordt gebruikt, waar die vandaan komt.

[1:33:28] Dus kort en goed, de gegevensuitwisseling.

[1:33:31] Daar is mijn vraag op gericht.

[1:33:32] En ik weet niet juist vanwege dit onderwerp wie de meest gereden partij is om antwoord erop te geven, maar ik zat eigenlijk een beetje te kijken naar meneer Jansen.

[1:33:39] van de belastingdienst.

[1:33:41] Oké, dat noteren wij.

[1:33:43] De heer Koops.

[1:33:45] Gaan we naar de heer Van Nispen.

[1:33:47] Ook van mij veel dank.

[1:33:49] En ik beluister toch een beetje uw vraag vanuit de uitvoering.

[1:33:55] Ik heel goed begrijp om begrip aan onze kant, of misschien ook wel bij de sprekers van Blok 1, dat het toch allemaal wel erg ingewikkeld is.

[1:34:05] En de heer Doeleman die maakte dat eigenlijk het meest expliciet.

[1:34:08] En daar wil ik best tot op zekere hoogte in meegaan, want uw werk is sowieso heel complex en heel ingewikkeld en heel belangrijk.

[1:34:14] Maar het inzetten van algoritmes is natuurlijk een keuze.

[1:34:18] En het is ook heel ingewikkeld gemaakt.

[1:34:20] En een aantal zaken die bepleit zijn in blok 1, daarvoor vroeg ik me toch af, heeft u daar nou iets in gehoord waar u het echt niet mee eens bent?

[1:34:27] Bijvoorbeeld dat algoritmes transparant moeten zijn, bijvoorbeeld dat er betekenisvolle menselijke tussenkomsten moeten zijn.

[1:34:33] Kunnen we aan toevoegen dat er bijvoorbeeld een blinde beoordeling is zonder kennis te nemen van de resultaten die u uithorpt?

[1:34:38] Dat kan ook vooroordelen voorkomen.

[1:34:39] Ze kunnen nog wel even doorgaan.

[1:34:40] Dus mijn concrete vraag aan de heer Doeleman is,

[1:34:44] Ik snap het plaatje niet, maar ik wil best aannemen dat het allemaal heel erg ingewikkeld is.

[1:34:49] Maar juist één kader die al die uitgangspunten bevat, dat kan toch juist helpen om weer terug te gaan naar niet discrimineren, naar transparant zijn, et cetera.

[1:34:58] Dus kortom, heeft u iets gehoord in blok 1 waarvan u zegt, nou, daar was ik het nou echt niet mee eens.

[1:35:01] Dat doen wij toch heel anders bij bijvoorbeeld de politie.

[1:35:06] Dank u wel voor uw vraag, de heer Van Nispen.

[1:35:09] Dan gaan we naar de heer Van Baarle.

[1:35:12] Ja, ook in de richting van deze sprekers, dank voor de toelichting tot zover.

[1:35:18] Ik zou mijn vragen ook graag aan de heer Doeleman willen stellen, omdat het plaatje mij ook triggerde.

[1:35:25] Het is inderdaad een hele brei aan richtlijnen die we in de richting van uitvoeringsorganisaties communiceren, ook een hoop handreikingen vanuit de rijksoverheid.

[1:35:38] En dat heeft natuurlijk een reden.

[1:35:39] Dat zijn onderwerpen die we belangrijk vinden.

[1:35:41] Het is goed dat die richtlijnen er zijn.

[1:35:43] Tegelijkertijd, de technologie wordt steeds complexer, de samenleving wordt steeds complexer.

[1:35:47] Ik kan me voorstellen dat er nog heel veel handreikingen en richtlijnen zullen volgen.

[1:35:52] In het vorige blok hoorden wij moeten we nou een aantal van die waarborgen niet gewoon wettelijk gaan expliciteren zodat voor alle uitvoeringsorganisaties ook helderheid is van uit al die richtlijnen wat is de minimale standaard die de rijksoverheid vraagt.

[1:36:09] Is dat iets waarmee wij als Kamer of als Rijksoverheid uitvoeringsorganisaties zouden kunnen helpen om de complexiteit te reduceren, dat we als Rijksoverheid dat in de wet gaan zetten?

[1:36:21] Of zegt u als uitvoeringsorganisaties, hebben we liever al die richtlijnen en handreikingen en gaan we daar zelf mede ooit op?

[1:36:32] Dank u wel voor uw vraag.

[1:36:33] Dan ga ik eerst naar meneer Jansen voor de vraag van de heer Koops.

[1:36:38] Ja, dank u wel, dank voor uw vraag.

[1:36:40] U vroeg naar gegevensuitwisseling en of daar altijd wordt vastgelegd waarom informatie wordt uitgewisseld.

[1:36:46] Misschien vooraf, als ik naar informatieuitwisseling in combinatie met risicoprofilering denk, dan gaan bij mij ook altijd alarmbellen rinkelen.

[1:36:54] We hebben in het verleden natuurlijk al voldoende situaties gezien waarbij risicosignalen op één of andere manier werden doorgegeven, intern binnen allerlei processen en of tussen verschillende organisaties.

[1:37:03] En dat versterkt natuurlijk het risico dat als je ergens een fout maakt, dat die fout zich exponentieel doorzet.

[1:37:09] Dus dat vind ik buitengewoon risicovol om te doen.

[1:37:16] Los daarvan, als er in de uitvoering sprake is van onderzoek naar een bedrijf,

[1:37:22] bedrijf pakken, bedrijf, dan kunnen daar signalen voor zijn waarbij in een samenwerking tussen organisaties aan zo'n casus gewerkt wordt.

[1:37:32] Daar zie ik ook, voor zover ik dat zicht daarop heb, want ik ben van de directie algoritme samenbiedende belastingdienst, voor zover ik daar in de praktijk zichtbaar op heb, dat ook daar de alertheid op

[1:37:42] Waarom wisselen we hier uit?

[1:37:43] Mag dat ook?

[1:37:44] Welke grondzag is daarvoor en hoe doen we dat?

[1:37:47] Denk ik vele malen actiever, alerter is dan, laten we zeggen, tien jaar geleden.

[1:37:53] Als men nou vraagt, kan ik die garantie geven?

[1:37:55] Nee, die ga ik u niet geven.

[1:37:56] Dat dat altijd gebeurt, altijd wordt vastgelegd.

[1:37:58] Maar het zou denk ik wel moeten.

[1:38:03] Dank u wel.

[1:38:04] Dan gaan we naar de heer Doeleman met de vraag van de heer Van Nispen.

[1:38:10] Ja, de vraag was of ik gekke dingen gehoord heb in het voorgaande deel.

[1:38:14] Nee, helemaal niet.

[1:38:14] Volgens mij zien we juist dat een heleboel van de dingen die we aan het doen zijn heel erg passen bij de wensen van die organisaties die aangeven van hoe zorg je nou dat je zorgvuldig omgaat met die data van de burger, met algoritmes, met selecteren.

[1:38:30] Ik ben ook groot voorstander van transparantie.

[1:38:33] Als politie zijn we groot voorstander van transparantie.

[1:38:36] Wij publiceren daarom ook in het algoritmeregister.

[1:38:39] Het is zelfs een van de stappen in het proces wat ik zojuist heb laten zien.

[1:38:43] Om heel duidelijk dat te markeren.

[1:38:46] We willen publiceren.

[1:38:47] Er zijn natuurlijk altijd uitzonderingen en daar hebben we het al eventjes over gehad.

[1:38:50] In het kader van de opsporing is het soms niet verstandig om dingen aan de grote klok te hangen.

[1:38:57] Maar in zijn algemeenheid is het uitgangspunt zoveel mogelijk transparantie.

[1:39:01] Wij zijn er voor de burger, dus die moet ook weten wat wij doen.

[1:39:05] Dus vanuit die optiek zitten we daar helemaal op dezelfde lijn.

[1:39:10] En als het gaat over, dan stap ik maar meteen even door als u het goed vindt, en naar wat zou er nou nog kunnen komen om de complexiteit ook te reduceren.

[1:39:20] Soms is dat ook gewoon een heldere grondslag.

[1:39:22] Dus bijvoorbeeld wat we zien is dat de technologie zo dadig hard gaat dat de wetgeving daar af en toe op achterloopt.

[1:39:29] De WPG, de wet politiegegevens, is al ernstig oud, is al zeer aan onderhoud toe, al jaren.

[1:39:38] Maar daar staat bijvoorbeeld niet een heldere grondslag in om modellen te trainen.

[1:39:42] En die zouden we wel graag hebben, want dan is het goed helder voor iedereen welke grondslag de politie kan gebruiken om modellen te trainen.

[1:39:52] maken wel gebruik van de WPG, maar het blijft altijd een beetje onduidelijk hoe dat precies zit.

[1:39:58] Dus daar zouden wij in ieder geval erg mee geholpen zijn als dat soort grondslagen expliciet en helder worden.

[1:40:06] Dank u wel voor het beantwoorden van twee vragen meteen.

[1:40:10] Dan gaan we naar het volgende blok met de heer Van de Waveren.

[1:40:15] Ik wil ook m'n vraag aan de heer Doeleman stellen, voorzitter.

[1:40:18] Misschien komt het ook door de praktische presentatie, dat hij die vraag oproept.

[1:40:22] Maar dat hele afwegingskader, wat dan weer een onderdeel is van het uitgebreide proces, wat uiteindelijk leidt tot toepassing in de praktijk en publicatie in het algoritmeregister.

[1:40:31] Ik dacht, ik kijk toch even op het algoritmeregister, wat daar nou in staat van de politie.

[1:40:35] Er staan zes algoritmes in, waarvan er maar eentje echt zou kunnen raken aan dit thema.

[1:40:41] en die anderen zitten meer in de administratie, zeg maar, dan in de duiding.

[1:40:47] Dan kan ik of drie scenario's bedenken, maar misschien is het een andere, of we tuigen iets heel ingewikkelds op, iets wat we eigenlijk bijna nooit doen, of er wordt nog niet goed uitgevoerd en aangegeven gepubliceerd, of u verwacht een enorme pijplijn aan algoritmes de komende tijd die door het systeem heen moeten.

[1:41:04] Welke is dat, of zie ik een optie over het hoofd?

[1:41:09] Dank u wel, dan gaan we naar mevrouw Katman.

[1:41:11] Ja, dank voorzitter.

[1:41:12] In het onderdeel van de presentatie toen mevrouw Vels, volgens mij aan het woord, dus ik zou graag de vraag aan u willen stellen.

[1:41:19] We gingen er wat snel doorheen.

[1:41:20] Toen was eigenlijk de constatering van discriminatie is moeilijk te detecteren.

[1:41:26] Als het gaat bij risicoprofineering, bij de inzet dan van algoritme, zou ik heel graag nog wat meer inzicht willen in

[1:41:33] Waarom het zo moeilijk detecteren is, is dat door ingewikkelde technologie.

[1:41:39] Omdat je zou kunnen denken, bij een standaard toetsing achteraf zou je in ieder geval rode draden kunnen identificeren.

[1:41:46] En daarbij wil ik wel alvast gezegd hebben, dat ik het helemaal met mevrouw Vels eens ben, foutloos zijn is ongelooflijk moeilijk, dan wel niet bijna onmogelijk.

[1:41:55] Dus dat is niet waarom ik deze vraag stel.

[1:42:02] Dank u wel voor uw vragen.

[1:42:03] Ik zou graag ook een vraag willen stellen aan de heer De Ruiter.

[1:42:09] Er is door de Kamer een motie aangenomen.

[1:42:11] Het is namelijk dat een APK-algoritme, dus dat de algoritme jaarlijks gecontroleerd wordt op discriminatie, op mensenrechtsschendingen.

[1:42:22] Op welke manier is dat ingevoerd binnen uw organisatie?

[1:42:28] Dan gaan we dus allereerst naar de heer Doeleman voor de beantwoording van de heer Van Waveren.

[1:42:34] Ja, dus de vulling van het algoritme gisteren.

[1:42:36] Overigens kwam er net voorbij of het nou verplicht is of niet, maar op dit moment is het nog niet verplicht, maar het gaat wel verplicht worden.

[1:42:42] Dus we zitten nu in de overgangsfase waarin alle uitvoeringsorganisaties de tijd hebben om te inventariseren welke algoritmes en AI's ze allemaal hebben.

[1:42:50] Daar zit wel categorisering aan.

[1:42:52] Dus je hebt verschillende categorieën en die zeggen iets over de impactvolheid.

[1:42:57] En als je die definitie er goed naast legt, dan komen er maar een redelijk beperkt aantal algoritmes in aanmerking om daadwerkelijk verplicht te publiceren.

[1:43:11] Wij hebben overigens wel het uitgangspunt dat we kijken of we niet zoveel mogelijk in de toekomst kunnen gaan publiceren om die transparantie

[1:43:18] te geven, maar daar zit dan dus geen verplichting op.

[1:43:23] Dat is even de reden dat er nog niet heel veel in zit.

[1:43:27] Wat wel erin zit op dit moment, zijn echt de dingen die moeten.

[1:43:31] En we hebben er nog een paar in de pijplijn, maar dat zijn geen tientallen.

[1:43:40] Dan ga ik naar mevrouw Vels voor de beantwoording van de vraag van mevrouw Kapman.

[1:43:46] Ik denk dat het vooral lastig is om te zien wat we niet zien.

[1:43:50] Bij de controle uit wonende beurs wisten we waar we naar op zoek waren en hebben we gericht onderzoek gedaan.

[1:43:57] Misschien is het ook nog wel even goed om daarbij stil te staan, bij zowel de proxy als echt op de persoon gekoppelde gegevens.

[1:44:06] We hebben in eerste instantie een extern onderzoek gedaan waar op basis van die proxies bleek dat vooral personen met migratieachtergrond

[1:44:16] geraakt werden en uit ons interne onderzoek, waar we uiteindelijk gezamenlijk met het CBS hebben opgetrokken, bleek dat nog sterker te zijn.

[1:44:24] En het is daarbij denk ik ook goed dat we dus niet alleen op zoek zijn naar eventuele indirect discriminerende effecten, maar ook elke vorm van ongeoorloofd onderscheid.

[1:44:37] En zo kwam er ook een externe partij bij ons op de lijn die weer zei

[1:44:43] Je kan op criteria individueel beoordelen, maar soms juist als je criteria weer combineert, ik weet niet of ik het helemaal goed zeg, kan het nog weer anders uitpakken.

[1:44:55] In ieder geval heeft dat onderzoek lang geduurd.

[1:44:58] We zijn ook wel aan het kijken of wij dat op bepaalde wijze

[1:45:03] intern zouden kunnen doen, dat we bijensmetingen kunnen gaan doen.

[1:45:10] En dat moet uiteraard ook op het moment dat wij opnieuw een selectiemodel inzetten.

[1:45:15] Daarbij moeten ook wel voldoende voorzorgsmaatregelen getroffen worden die dus ook zien dat dat soort gegevens op een rechtmatige wijze verwerkt worden.

[1:45:24] En daar mogen geen onduidelijkheden over bestaan.

[1:45:29] Dus dat maakt het lastig.

[1:45:30] En ik denk ook dat het feit dat ons zowel het externe als het interne onderzoek ook best wel lang... Nou ja, daar zijn toch wel wat maanden overheen gegaan, dat dat ook wel aantoont dat het niet eenvoudig is.

[1:45:44] Dank u wel, dan de heer Druiten.

[1:45:46] Dank u wel, voorzitter.

[1:45:47] Uw vraag ging over het APK-algoritme.

[1:45:50] In ons beleid is vastgelegd dat wij ieder algoritme dat wij in het toezichtsdomein gebruiken, jaarlijks onderhouden.

[1:45:57] Dat gaat eigenlijk op alle aspecten van het algoritme, dus op de statistiek die we daar gebruiken, op de data die we gebruiken, een beetje technisch, maar de match tussen de trainingset en de productie.

[1:46:08] Dus dat is eigenlijk al sinds een jaar en dag onze praktijk en ik zou daar graag nog aan willen toevoegen dat dat niet alleen een jaarlijkse exercitie is, maar dat wij eigenlijk maandelijks of zoveel

[1:46:20] Of zoveel vaker als nodig is, een beetje afhankelijk van het type algoritme.

[1:46:23] We eigenlijk continu monitoren wat is de uitwerp van het algoritme om die term te herhalen en past dat bij wat we hadden verwacht of zien we daar gekke afwijking in.

[1:46:32] Daarbij is één kanttekening te plaatsen.

[1:46:34] Dat doen we natuurlijk op basis van de data en de kenmerken die wij mogen verwerken.

[1:46:38] En het meest kritische is natuurlijk het kenmerk nationaliteit en dat zit niet standaard in onze analysedatabases.

[1:46:45] Dus daar maken we stappen met het CPB om te kijken hoe we dat kunnen ondervangen.

[1:46:54] Dank u wel.

[1:46:55] Er is nog ruimte voor twee of drie korte vragen.

[1:46:59] Ik ga even inventariseren naar de collega's.

[1:47:01] Wie nog een vraag heeft?

[1:47:02] Ik zie de heer Koops.

[1:47:05] Verder nog andere?

[1:47:06] Ja, ik zie mevrouw Katman zie ik ook nog.

[1:47:08] Nou, dan gaan we dat doen.

[1:47:09] En misschien wellicht heb ik zelf nog een vraag.

[1:47:11] Dan begin ik bij de heer Koops.

[1:47:14] Deze keer is mijn vraag gericht aan de heer Doeleman.

[1:47:16] U bent doelwit, als het ware, deze ochtend.

[1:47:21] Waar het om gaat, even in het vervolg dus op het antwoord wat ik zojuist kreeg van de heer Jansen over die gegevensuitwisseling, deelt u de perceptie dat het in alle gevallen noodzakelijk is om bij gegevensuitwisselingen tussen een van deze vijf partijen bijvoorbeeld, dat het vast moet liggen en inzichtelijk moet zijn voor de burger welke gegevens over die persoon worden uitgewisseld?

[1:47:45] Oké, dank u wel.

[1:47:46] Dan ga ik naar mevrouw Katman.

[1:47:49] Ja, dank voorzitter.

[1:47:50] Ik vind het moeilijk om uw vraag... Want er zijn meerdere mensen die er een opmerking over hebben gemaakt.

[1:47:55] Maar misschien ga ik het toch maar weer aan mevrouw Velst stellen.

[1:48:01] Want er is meer dan maar ook gezegd over de afweging om gewoon geen algoritme toe te passen.

[1:48:09] Dat vind ik eigenlijk misschien wel een van de belangrijkste afwegingen die in alle modellen terug moeten komen.

[1:48:19] En er zijn een aantal organisaties die dit ook doen.

[1:48:22] De heer De Ruiter klinkt het ook, misschien moet ik hem maar nu stellen.

[1:48:25] Wij vragen zich altijd de vraag, moeten we dit nou wel doen en anders dan doen we het lekker niet.

[1:48:29] Welke criteria hanteert u om een algoritme niet toe te passen?

[1:48:38] Dank u wel voor de vraag.

[1:48:40] Ik had eigenlijk eenzelfde soort vraag en ik werd ook getriggerd door het complexe plaatje.

[1:48:49] En ik herinner me dat in de vorige blokken werd

[1:48:52] Volgens mij wordt het door de staatscommissie ook aangegeven van, in hoeverre is het wel effectief om dat te doen?

[1:48:57] En daarnaast zijn er ook risico's dat grondrechten van mensen ook nog geschonden worden.

[1:49:03] Dus eigenlijk de vraag, waarom is het toch belangrijk om het wel te doen?

[1:49:07] Of misschien wel, ja, waarom doen we het eigenlijk?

[1:49:12] En die vraag is aan de heer Doeleman.

[1:49:15] Laten we eerst beginnen met Doeleman.

[1:49:16] Volgens mij kunt u twee vragen tegelijkertijd doen.

[1:49:18] Goed.

[1:49:20] Naar de eerste vraag of het in zijn algemeenheid alle vormen van gegevensuitwisselingen transparant voor de burger moeten zijn.

[1:49:26] Ik denk dat dat vanuit een opsporingsperspectief en intelligence perspectief niet altijd gewenst is.

[1:49:32] Dus daar zitten natuurlijk, wij hebben soms andere taken waarbij je niet kan zeggen dat alles helemaal transparant moet zijn.

[1:49:40] Wat wel zo is, is dat wij in principe voor elke bevraging, elke uitwisseling zijn gegevensuitwisselingsleveringsovereenkomsten

[1:49:48] Wij moeten aangeven, als we een bevraging doen op systemen, waarom dat is en in het kader van welke artikelen van de WPG.

[1:49:55] Dus ik denk dat er wel heel veel op dat gebied gebeurt.

[1:49:58] Of je in zijn algemeenheid kan stellen dat dat voor alles zou moeten zijn, dat zou ik niet direct hier kunnen bekrachtigen.

[1:50:06] En uw vraag was waarom toch dit nodig is.

[1:50:12] een beetje in de openingsstatement iets over aangeven zodat we zien dat natuurlijk de technologie voortschrijdt en daarmee ook de maatschappij en het gebruik en bijvoorbeeld de criminelen gebruiken ook steeds meer dit soort modellen, die gebruiken AI.

[1:50:30] die gebruiken deze technologie ook tegen ons en tegen onze maatschappij.

[1:50:35] En willen we daar iets tegen kunnen doen, dan moeten we altijd de opties open houden om ook dit soort technologie andersom toe te kunnen passen.

[1:50:42] Dus ik denk dat het van belang is dat we ons realiseren en ook de uitvoerbaarheid, de druk op de uitvoeringsorganisaties capaciteit maken, dat we altijd op zoek moeten blijven naar

[1:50:55] technologie die ons verder kan helpen, waarbij het altijd van belang is om ervoor te zorgen dat dat niet discriminerend is.

[1:51:04] Dan naar mevrouw Vels voor de vraag van mevrouw Kallum.

[1:51:09] en dat ging over de afweging of je überhaupt wel een algoritme in moet zetten.

[1:51:16] Dat is denk ik een goede vraag.

[1:51:17] Ik geloof dat het college van de recht van de mens al even refereerde aan dat het met alle data toepassing soms een soort van zelfsprekendheid geworden was om alles met algoritmes vorm te geven, processen, of een algoritme in een proces als hulpmiddel in te zetten.

[1:51:34] Er gebeurt al veel, maar er moeten ook nog wat stappen gezet worden.

[1:51:42] Wij zijn op dit moment binnen DUO dus ook op zoek naar een manier om

[1:51:48] ethiek ook goed te borgen in onze organisatie, dat vraagstuk.

[1:51:54] Want als we toegespitsten, ook op risicoprofilering, als je de afweging maakt, als je alle stappen doorlopen bent, je hebt het statistisch onderbouwd, het is effectief.

[1:52:07] Als je al die vragen positief hebt kunnen beantwoorden, is het ook nog steeds de vraag, vinden we het dan ook wenselijk.

[1:52:14] En ik denk dat dat een hele goede vraag is om uitvoerig bij stil te staan en die je ook gewoon niet alleen borgt door dat achteraf op één moment te toetsen, maar ook als vraagstuk waar je ook continu bij het zetten van al die stappen je overbuigt.

[1:52:33] Ik denk dat dat... Ja.

[1:52:36] Dank u wel voor uw toelichting.

[1:52:37] Ja, er is nog ruimte, ongeveer twee minuten, voor mensen die inderdaad nog extra willen toelichten.

[1:52:44] Dus ik geef hier de heer De Ruiter het woord.

[1:52:48] Ik ervaar de vraag van het lid Katman een beetje als een duovraag.

[1:52:52] Dus als u mij toestaat, voorzitter, zou ik daar graag ook nog iets over willen zeggen.

[1:52:57] En daarbij zou ik dan willen zeggen dat de afweging wanneer een algoritme wel of niet in zit,

[1:53:02] geen algoritmische afweging is.

[1:53:04] Dus dat is niet per definitie met allerlei harde criteria of statistische berekeningen.

[1:53:09] Voor UWV gaat dat om de vraag over wat staat er eigenlijk in de wet en hoe hebben wij onze dienstverlening ingericht en dan komen we heel vaak op termen als is het doenlijk voor een burger en daarmee refereer ik natuurlijk aan wat de wetenschappelijke raad voor regeringsbeleid heeft gezegd over het doenvermogen en alles daaromheen.

[1:53:28] Als de wet of het proces in zich al ondoenlijk is dan is dat het eerste wat je zou moeten beetpakken voordat je toekomt aan allerlei algoritmische verhandelingen en dat geldt eigenlijk ook over

[1:53:38] als het gaat over kennis, kunde, voorlichting en wat iets meer zijn.

[1:53:43] Mocht je dan tot de afweging komen dat die eerste drie stappen, waar het gaat over de kwaliteit van de wetgeving, de kwaliteit van de inrichting en kennis en kunde, het beeld geven dat dat niet afdoende is en dat er echt een reden is om nog algorithms in te zetten in die toezichtspraktijk, dan stellen wij ons in lijn met wat mevrouw Fels daar ook over zei, eigenlijk drie vragen.

[1:54:03] Mogen we dit?

[1:54:04] En dan kijken we natuurlijk heel erg naar juridische grondslagen en alles wat daar speelt.

[1:54:09] We kijken naar kunnen we dit?

[1:54:10] Waar het gaat over kunnen wij een model maken wat ook enigszins statistisch relevant is?

[1:54:15] Kunnen we over betrouwbare datasets beschikken en dat type vragen?

[1:54:19] En als laatste willen we dit?

[1:54:21] En dan gaat het over ethische vraagstukken in lijn met wat heeft de wetgever eigenlijk bedoeld, wat er in deze artikelen staat, maar ook toetsend aan ons eigen kompas daadethiek met is dit eigenlijk wel wie wij willen zijn als UWV.

[1:54:33] En dat zijn geen hele harde afwegingen, maar wel afwegingen die we in een breed en ook in een bestuurlijk perspectief met elkaar maken.

[1:54:43] Dank u wel.

[1:54:43] En ik zie ook de heer Jansen.

[1:54:46] Als ik daar één aanvulling op zou mogen maken, want ik sluit graag aan bij mijn collega's.

[1:54:50] Ik denk ook dat het belangrijk is om de vraag te stellen en wat is het effect nou op de maatschappij of de burger als we dit niet doen?

[1:54:58] Dus je moet je afvragen wat gebeurt er als je het wel doet, maar ook als je het niet doet.

[1:55:01] En zeker in contexten waarin algoritmes worden ingezet in een dienstverledenende zin of bijvoorbeeld ook in de context van de Belastingdienst

[1:55:08] mensen die fouten in hun eigen nadeel gemaakt hebben, als daar te corrigeren of te zorgen dat zij tot hun recht komen, dan zit er ook een vraagstuk aan van wat als je dat nog niet met algoritmes zou doen?

[1:55:21] Kan je dat dan ook doen?

[1:55:25] Dank u wel.

[1:55:26] Volgens mij kunnen wij blok 2 afronden.

[1:55:29] Ik wil de gasten bedanken voor de beantwoording van alle vragen en ook voor de presentatie.

[1:55:34] Erg behulpzaam.

[1:55:36] En dan gaan we met een korte onderbreking door naar blok drie.

[1:55:40] En in blok drie komen de belangenbehartigers aan het woord.

[1:55:44] Dus tot zo over twee, drie, vier, vijf minuten.

[1:55:48] Dank.

[2:01:08] Oké, we gaan weer beginnen.

[2:01:27] We gaan beginnen met het laatste blok, blok drie, met Belangenbehartiger.

[2:01:31] En daarvoor hebben wij twee gasten.

[2:01:35] Allereerst mevrouw Gerbert Kloss van Amnesty International en Jair Schalkwijk van Consulateliet.

[2:01:41] En ik geef allereerst het woord aan Jair Schalkwijk.

[2:01:48] Zo, dank u wel.

[2:01:51] Controle Autoliet is een onafhankelijke organisatie die zich sinds 2012 inzet tegen etnisch profileren door wetshandhavers.

[2:02:00] En wij zijn vandaag uitgenodigd om te reflecteren op risicoprofilering in de wetshandhaving door uitvoeringsorganisaties, waarvoor dank.

[2:02:10] Kamerleden, u kunt de input van vandaag meenemen in het commissiedebat Discriminatie, Racisme en Mensenrechten op 5 juni aanstaande.

[2:02:19] En het kabinet heeft voor dat commissiedebat ook een brief toegestuurd aan u. En in deze brief staat één zin die ik er graag eventjes uitlicht.

[2:02:30] Ik richt mij in deze bijdrage daarna op directe discriminatie op grond van ras.

[2:02:37] en Gerber Klost van Amnesty naast mij zal daarna verder gaan over indirecte discriminatie.

[2:02:44] De zin in de brief van het kabinet luidt als volgt.

[2:02:48] Het College voor de Mensenrechten heeft op 28 januari jongstleden een geactualiseerd toetsingskader uitgebracht, onder andere naar aanleiding van de uitspraak van het gerechtshof in de zaak over het gebruik van ras en etniciteit bij MTV-controles.

[2:03:02] De eventuele gevolgen voor het beleid van de overheid worden opnieuw bezien.

[2:03:09] Vandaag gaven het college voor de mensenrechten, de ombudsman, de staatscommissie en de NCDR een gezamenlijke presentatie waarin zij een onderscheid maakten tussen directe en indirecte discriminatie.

[2:03:24] En over directe discriminatie zei de spreker van het college namens deze organisaties, risicoprofilering die rechtstreeks is gebaseerd op een criterium op grond van ras is altijd verboden.

[2:03:37] Daarna gaven de uitvoeringsorganisaties een gezamenlijke presentatie.

[2:03:41] Politie, Kemar, Belastingdienst, UWV en DUO.

[2:03:45] En daarin zei de spreker van DUO namens alle organisaties, mevrouw Fels, directe discriminatie bij algoritmische risicoprofilering is in ieder geval verboden.

[2:03:59] Mensenrechtenorganisaties en uitvoeringsorganisaties vinden elkaar hierin dus.

[2:04:04] En dat is een nieuwe, belangrijke en positieve ontwikkeling

[2:04:09] Maar de uitvoeringsorganisaties vroegen u om niet nog meer kaders te ontwerpen en niet nog meer wetgeving op te tuigen.

[2:04:19] Terwijl de Nationale Ombudsman bijvoorbeeld juist aan u vroeg om te zorgen voor duidelijke normering.

[2:04:26] Dus wat moet de Kamer nou doen?

[2:04:30] Het kabinet schreef in de afgelopen twee jaar meerdere brieven aan de Tweede Kamer over de uitspraak

[2:04:38] van het Haagse gerechtshof in zaken etnisch profileren door de Koninklijke Maatschappij bij grenscontroles.

[2:04:44] En daarin heeft het kabinet meerdere keren geschreven dat de uitspraak van het Haagse gerechtshof geen gevolgen heeft voor andere overheidsorganisaties.

[2:04:55] En in de brief voor het commissiedebat van 5 juni schrijft het kabinet nu dat de eventuele gevolgen voor het beleid worden herzien.

[2:05:04] Ik vraag u, wat valt er te bezien

[2:05:09] specifiek waar het gaat om directe discriminatie.

[2:05:14] RAS mag niet mede een criterium zijn bij risicoprofilering in het kader van wetshandhaving.

[2:05:19] En stelt het kabinet iets anders, zoals in deze brief voor het commissiedebat van 5 juni, dan wijkt het kabinet daarmee af van de uitspraak van het Haagse gerechtshof uit 2023, dan wijkt het kabinet af van het advies

[2:05:34] van het toetsingskader, dat staat in het toetsingskader voor risicoprofilering van het College voor de Mensenrechten, en wijkt het kabinet af van de gezamenlijke presentaties van alle mensen die u vandaag heeft horen spreken.

[2:05:47] Dus namens controlealteliet wil ik de Kamer graag vragen om ervoor te zorgen dat de brede overeenstemming die er nu kennelijk is, waar het gaat om een direct onderscheid op ras bij risicoprofilering in het kader van weshandhaving, wettelijk vast te leggen, om het daarmee

[2:06:04] niet langer afhankelijk te maken van de uitleg die toekomstige kabinetten, toekomstige leidinggevenden van uitvoeringsorganisaties en toekomstige rechters aan dat verbod op directe discriminatie kunnen geven.

[2:06:22] Daar laat ik het bij.

[2:06:23] Dank u wel.

[2:06:26] Dank u wel.

[2:06:26] Dan gaan we naar mevrouw Kloss.

[2:06:31] Uw microfoon.

[2:06:35] Hartelijk dank voor de uitnodiging om hier vandaag nog enkele zaken toe te lichten.

[2:06:41] Prangende kwesties, accenten noemden de vorige sprekers het.

[2:06:45] Ja, hier vertelde zojuist iets over directe discriminatie.

[2:06:50] Ik ga kort in op indirecte discriminatie.

[2:06:57] Wat ik in ieder geval wil zeggen als belangrijke ontwikkeling is dat het hele denken over discriminerende risicoprofilering, etnisch profileren en discriminerende risicoprofilering op andere gronden zich de afgelopen jaren enorm heeft ontwikkeld.

[2:07:10] Ging dat voorheen over het klassieke veiligheidsdomein hebben we het nu inderdaad over veel breder.

[2:07:14] Dat is heel goed.

[2:07:16] Waar het voorheen

[2:07:17] Enkele organisaties, is het nu de hele overheid breed, wordt er gezien dat er heel veel meer moet gebeuren.

[2:07:24] Daar wordt het complex van en ingewikkeld en nog taaier.

[2:07:28] Maar het is eigenlijk des te belangrijker dat al die organisaties vaak met elkaar om de tafel zitten, daarover rapporteren en u ook zo goed aangesloten blijft.

[2:07:37] Dus hartelijk dank aan iedereen hier voor de enorme inzet.

[2:07:42] Wij proberen als

[2:07:44] organisatieën constructieve bijdrage te leveren en uiteraard vanuit een heel kritisch perspectief.

[2:07:51] Dat is een beetje onze rol.

[2:07:56] Over risicoprofilering is al veel gezegd.

[2:08:00] Er bleef eigenlijk één vraag of opmerking over, naar aanleiding van de verschillende definities, de omschrijving van wat er onder die risicoprofilering wordt verstaan.

[2:08:10] Dat kwam al in de vorige blokken aan de orde.

[2:08:13] Het is, denk ik, echt heel belangrijk om een goed onderscheid te maken tussen de inzet op het identificeren van risicoprofilering ten behoeve van het identificeren van potentiële normovertreders.

[2:08:24] tradingen bij fraude- en criminaliteitsbestrijding en risicoprofilering in de context van het identificeren van, het signaleren van eventuele hulpverlening, om dat daar buiten te houden, omdat dat naar mijn sterrige idee, of mijn sterrige idee echt iets anders is.

[2:08:44] Het signaleren van eventuele risico's die hulpverlening nodig, ondersteuning door de overheid ten behoeve van hulpverlening van iemand vereist, is echt iets anders.

[2:08:57] En het wordt heel verwarrend als je dat gaat vermengen.

[2:09:01] Dat nog even over de omschrijving van het begrip risicoprofilering.

[2:09:06] Dan over indirecte discriminatie.

[2:09:09] Nou, ik was blij verheugd te horen en daarin zie je ook een ontwikkeling dat er in de breedte

[2:09:14] inderdaad wordt erkend dat er inherente discriminatierisico's zijn aan elke vorm van risicoprofilering.

[2:09:21] Die wetenschap brengt dat er een duidelijke... Vanuit de verplichting om discriminatie te voorkomen en bestrijden maakt dat ook duidelijk dat die verplichting concreet moet worden ingevuld.

[2:09:35] De sprekers in het eerste blok wezen daarop en het is, denk ik, heel belangrijk en NRC neemt daarin

[2:09:42] iets scherpere positie dan andere.

[2:09:44] Het is niet een risico waar je rekening mee moet houden.

[2:09:46] We zeggen als dat risico niet is afgedekt, zolang dat niet is afgedekt, gebruik je geen enkele vorm van risicoprofilering, dus een nee tenzij benadering.

[2:09:57] En goed, met de roep om wat voor regels hebben we nou nodig?

[2:10:00] Hebben we nou meer regels nodig?

[2:10:02] Nou, dit is denk ik een goed voorbeeld waarbij de Kamer echt hier in het

[2:10:08] voort te nemen, want hier zitten een aantal landelijke uitvoeringsorganisaties maar in.

[2:10:13] Vele honderden of enkele honderden gemeenten en allerlei vormen van regionale samenwerkingsverbanden, waar ook regionale intelligence rieks.

[2:10:22] Er zijn ongelooflijk veel organen, overheidsorganen, waar risicoprofilering plaatsvindt en die bereiken we over het algemeen veel minder goed, MC in ieder geval niet.

[2:10:35] Maar die zijn ook hier niet aanwezig en duidelijk, een hele duidelijke regel zal zijn, nee,

[2:10:40] Tenzij, en dan tenzij heeft MSD uitvoerig uitgewerkt in een rapport, daar zal ik niet te veel op ingaan.

[2:10:47] Gisteren heeft de staatscommissie een briefadvies aan het kabinet gestuurd.

[2:10:53] Daar krijgt u vast, of heeft u vermoedelijk ook al een afschrift van gekregen.

[2:10:57] Zij bepleiten de invoering van een gelijkheidstoets in de publieke sector.

[2:11:02] Een gelijkheidsplicht, sorry, dat is een plicht

[2:11:06] Daar wordt de verplichting die volgt uit de mensenrechtenverdragen, die volgt uit het discriminatieverbod van artikel 1 grondwet, wordt daarmee concreet geformuleerd voor alle overheden.

[2:11:23] naar aanleiding van die verplichting, zoals die er bijvoorbeeld ook in het Verenigd Koninkrijk in Ierland is, zijn ze periodiek verplicht om maatregelen te nemen, periodiek te rapporteren over de maatregelen die genomen zijn, de effecten van die maatregelen, de voortgang, en het zo inzichtelijk te maken.

[2:11:44] Ik hoor niemand zuchten, maar er wordt over het algemeen tamelijk allergisch gereageerd op meer regels.

[2:11:49] Dit is niet meer regels, dit is het formuleren van een plicht die er al is.

[2:11:53] En wat we gezien hebben de afgelopen... Ik ben namens Amnesty, inderdaad ook samen met Control Alt Elite, zijn we sinds 2012 vragen we aandacht voor het probleem van discriminerende risicoprofilering.

[2:12:06] We hebben van Medof aangezegd dat die voorzorgsplicht er is, dat je het probleem aan de voorkant moet oplossen en niet aan de achterkant.

[2:12:14] Dus het zou heel goed zijn om dat nu echt duidelijk te maken.

[2:12:19] Toch nog even terug naar dat punt van effectiviteit.

[2:12:23] Het is meerdere keren naar voren gebracht.

[2:12:26] Er wordt heel veel over gesproken dat het goedkoper zou zijn, doelmatiger.

[2:12:32] Er is risicogericht toezicht, risicoprofilering zou ook effectiever zijn.

[2:12:40] Er wordt ook algemeen gesteld of beweerd dat a-selecte controles

[2:12:48] ineffectief zijn.

[2:12:52] We kunnen daar eindeloos over praten.

[2:12:54] Amnesty is bezig op dit moment met daar een soort whitepaper over te schrijven, over die hele discussie rondom effectiviteit.

[2:13:00] Maar wat we in ieder geval, voor zover wij weten, zijn alle claims die mensen doen voor ons nog onbewezen.

[2:13:07] Omdat je namelijk goed moet beschrijven, wat is effectiviteit?

[2:13:11] Effectiviteit gaat niet om een hogere kans ten opzichte van kans met een a-selecte steekproef, want dat zou ervan uitgaan dat die steekproef die je neemt in systemen,

[2:13:22] dat dat een representatie is van de samenleving en dat die objectief zou zijn, terwijl... Nou ja, goed.

[2:13:31] De samenleving, daar zit inherent een structurele achterstand in, is daar ingebakken, dus het is al helemaal geen goed uitgangspunt om... Nou ja, laat ik zo zeggen, er valt veel op af te dingen om een risicoprofiel en de hitrate daarvan, of het vangspercentage, of de voorspellende kwaliteit,

[2:13:52] te vergelijken met die van een steekproef.

[2:13:55] Zo noem ik maar eventjes, tip ik even één klein aspect aan van de discussie over effectiviteit.

[2:14:02] En goed, het spreekt misschien voor zich, maar vanuit een mensrechtelijk perspectief is het feit dat iets effectiever is, is op zichzelf geen rechtvaardiging.

[2:14:11] Iets wat niet mag, mag niet.

[2:14:13] En discriminatie, zowel directe als indirecte discriminatie, is gewoon verboden.

[2:14:18] Ik denk dat ik gezien de tijd niet inga op hoe die precieze effectiviteitstoets in het nondiscriminatierecht is ingebakken, maar ik wil je graag nog op een later tijdstip nog wat informatie over toesturen.

[2:14:34] Dan de kwestie van sociale status.

[2:14:38] Sorry, we hebben nog twaalf minuten ongeveer.

[2:14:42] Dus als er tot een afronding kan komen, dan kunnen er ook vragen gesteld worden.

[2:14:47] Het is misschien interessant om naar voren te brengen dat, eerst gesproken over de risicoprofilering die bij duo, bij de controles, op de toeslagen, op de uitwonende beurs,

[2:14:58] Daar is de kwestie dat er direct onderscheid was op grond van sociale status.

[2:15:04] In het risicomodel zat opleiding.

[2:15:08] MBO 1 en 2 kregen een hogere risicoscoren toegewezen dan MBO 3, 4.

[2:15:14] Laat staan, HBO, een universitaire student aan de universiteiten.

[2:15:20] Vanuit de kennelijke veronderstelling dat zij

[2:15:23] vaker misbruik zouden maken van de uitwonende beurs.

[2:15:28] Dit is een typisch voorbeeld van een aanname die onbewezen is, maar al zou die zo zijn.

[2:15:34] Er is hoogstens sprake van statistische correlatie, maar dat heeft natuurlijk geen enkele... Het feit dat je op een bepaald onderwijstype zit, heeft helemaal geen enkele relevantie voor de neiging om je schuld te maken aan strafbare feiten.

[2:15:47] Dat is statistische correlatie, verwarren met causaliteit en heel problematisch, want het versterkt... Die discriminatie op sociaal-economische status versterkt natuurlijk en moet je beoordelen in het licht van de...

[2:16:00] ...achtergestelde positie van mensen in het mbo... ...wat doorwerkt in alle kansen op latere... ...kansen op terreinen als werk en onderwijs, gezondheid.

[2:16:11] En tot slot nog even nationaliteit.

[2:16:13] Dat is ook naar voren gekomen.

[2:16:15] Daar zien we... Dat gaat om staatsburgerschap in strikte zin en niks meer dan dat.

[2:16:19] Op het moment dat je aan nationaliteit... ...een risicokans toekent...

[2:16:28] dan ben je niet aan het scoren op... Dan beoordeel je iets niet op basis van of iemand wel of niet een nationaliteit heeft, een bepaalde nationaliteit heeft, wat natuurlijk een relevant gegeven is.

[2:16:40] Dan zijn bij toekenning, we hebben toekenning van een visum bijvoorbeeld, maar als je dat gebruikt om een risico in te schatten op het feit dat mensen bijvoorbeeld hun visum vereisten overschrijden,

[2:16:52] dan ben je feitelijk bezig met discriminatie op grond van ras.

[2:16:56] Het visum algoritme van buitenlandse zaken, wat zo werkt, is nog in de lucht, dus wat MSI betreft zou het een goed moment zijn aan uw Kamer om daar een einde aan te maken.

[2:17:09] Dat was het, dank.

[2:17:11] Dank u wel voor de toelichting.

[2:17:14] Uw microfoon staat nog aan.

[2:17:16] Dan gaan we naar de Kamerleden en ik kijk de heer Koops aan.

[2:17:20] Misschien kunnen we het

[2:17:21] Na goed gezien de tijd kunnen we wellicht gewoon iedereen eventjes aan het woord laten.

[2:17:25] Ja, Koops.

[2:17:27] Dank u, meneer de voorzitter.

[2:17:28] En ik zal het in raad kort moeten houden.

[2:17:30] Heel veel dank voor uw komst, allebei.

[2:17:32] Een volkomen heldere boodschap ook, die zojuist wordt afgegeven.

[2:17:35] En daarom kom ik op een soort van praktisch ding dat al tijden eigenlijk door mijn hoofd zeurt.

[2:17:39] En dat gaat met name over

[2:17:41] Correlatie is geen rechtvaardiging, maar vergroot structurele discriminatie.

[2:17:45] Dat is zo.

[2:17:46] Dat is zo.

[2:17:48] Dat zet ik dan tegenover, als het ware, het zesde zintuig van de goede diender, zoals ik dat ook wel eens eerder heb genoemd.

[2:17:56] Dat is deels aan die correlatie gekoppeld, als het ware.

[2:18:01] Dus de vraag is, hoe treed je daar praktisch tegenop?

[2:18:05] Want je wilt wel dat controleurs en opspoorders goed hun werk doen.

[2:18:11] Wat ik bedoel te vragen is dus, wat is nou een praktische oplossing om selectie op basis van correlatie te voorkomen, of in ieder geval discriminatie daar het gevolg van is te voorkomen?

[2:18:25] Oké, en die is gericht aan... Meneer Schokwijk.

[2:18:31] Om het even, eerlijk gezegd.

[2:18:34] Oké, dank u wel.

[2:18:34] Dan ga ik naar de heer Van Nispen.

[2:18:38] Ja, dank.

[2:18:40] Voorzitter, ook aan beide sprekers heel veel dank.

[2:18:42] Ik zou eigenlijk ook kort en zalver de vraag willen stellen, hebben jullie iets gehoord in blok 2 van de uitvoerders, iets waar jullie je vervolgens zorgen over maken?

[2:18:51] Zeggen we, ja, maar dit is toch niet helemaal zoals het zou moeten of... En niet ten aanzien van de persoon of een bepaalde zin, maar meer over het beleid en hoe er is geantwoord op vragen of wat er in de presentatie zat.

[2:19:05] En ik richt deze vraag aan mevrouw Klos.

[2:19:08] Als ik zo moet vertrekken, dan is dat omdat ik om half twee ergens vol moet zitten, dus ik moet daar echt op tijd zijn.

[2:19:12] Maar ik zal het antwoord terugluisteren, dat beloof ik u. Dank u wel.

[2:19:16] De heer Van Waveren.

[2:19:18] Dank u wel.

[2:19:19] Ja, ik had eigenlijk een eerste vraag over die hogere kansen en die state-proof, maar ik denk dat die wat langere uitleg nodig heeft.

[2:19:24] En daar hebben we nog wat te goed, dus die ga ik niet stellen.

[2:19:27] Maar ben ik wel benieuwd naar, zeg ik er meteen bij.

[2:19:30] Maar de discussie die we in het begin hadden over live versus algoritmisch en dossieronderzoek,

[2:19:37] Ik hoor mevrouw Klos net ook zeggen, eigenlijk je moet met nee tenzij, dus je moet honderd procent zeker weten dat het veilig kan.

[2:19:44] Bij een algoritme, een dossier is dat uiteindelijk altijd te herleiden en zou je dat kunnen aantonen?

[2:19:50] Bestaat dat wat u betreft of wat MNIST betreft in live onderzoek ook, waar dat misschien nooit helemaal zover te herleiden is, hoe iemand dat in de praktijk toepast?

[2:20:01] Oké, dank voor de vraag van de heer Van Waveren.

[2:20:05] Volgens mij wil de heer Van Nispen nog één ding toevoegen.

[2:20:07] Ja, ik vergat één ding wat ik heel graag het willen vragen, dus daarom probeer ik dat er nog aan te vrommelen, namelijk wat daar dan de rol van de minister van Binnenlandse Zaken in zou kunnen zijn ten aanzien van het hele beleid en de algoritmes en de risicoprofielen.

[2:20:24] Dank u wel.

[2:20:24] Dan ga ik naar mevrouw Katman.

[2:20:26] Ja, dank voorzitter.

[2:20:27] Ik heb in het verleden heel kort even de eer gehad om wethouder aan te zijn in Rotterdam en dat resulteert in korte tijd naar heel veel werkbezoeken naar bedrijven in de haven en of dat nou de petrochemie is of gewoon container terminals.

[2:20:42] Daar is gewoon Safety First, zo'n bizarre bedrijfspolitie, die zit gewoon in het DNA van het bedrijf.

[2:20:49] Hoe vaak je daar ook komt, je kijkt het veiligheidsfilmpje, al ben je in de kantooromgeving, je hebt je helm op, gewoon omdat ze naar allemaal incidenten hebben bedacht, wij moeten dit in ons DNA krijgen, want anders blijven die incidenten komen.

[2:21:02] En zo is het eigenlijk ook als we het hebben over risicoprofilering en het voorkomen van discriminatie daarbij, dat het echt gaat om

[2:21:10] We moeten het in het DNA krijgen van al onze organisaties.

[2:21:14] En heeft u het idee, en ik denk dat ik het aan één iemand moet stellen, gezien de tijd aan de heer Schalkwijk, dat dat aan het gebeuren is in het maken van beleid op dit moment?

[2:21:27] Dank u wel hiervoor.

[2:21:28] En ik heb zelf nog een vraag.

[2:21:30] Er werd net gezegd, het wettelijke vastleggen, dat dat belangrijk is.

[2:21:35] En graag wilde ik weten, ook naar aanleiding van het arrest

[2:21:39] Wat er is geweest, de uitspraak van het gerechtshof, wat er is geweest, wat voegt wettelijke vastlegging nog extra toe?

[2:21:49] Die vraag stel ik aan de heer Schalkwijk in eerste instantie.

[2:21:53] Dan gaan we naar de beantwoording.

[2:21:55] Ik begin eerst bij de heer Schalkwijk.

[2:21:58] Bedankt voor de vragen.

[2:22:00] We hebben nog vijf minuten, begrijp ik.

[2:22:01] Dat betekent dat we tweeënhalve minuut per persoon hebben om vijf vragen te beantwoorden.

[2:22:07] Nou ja, je mag wat mij betreft ook een beetje uitkomen.

[2:22:09] Ik ga mijn best doen om te proberen om de vragen gezamenlijk te beantwoorden.

[2:22:14] Een praktische oplossing om discriminatie als gevolg van het zesde zintuig te voorkomen is door een duidelijke norm te stellen over wat wel en niet mag.

[2:22:28] En dat is eigenlijk ook het antwoord op uw vraag.

[2:22:33] Hoe krijg je een duidelijke norm aangaande risicoprofilering in het DNA van een uitvoeringsorganisatie?

[2:22:40] Dat begint met duidelijk stellen wat wel en niet mag.

[2:22:45] En de uitspraak van het Haagse gerechtshof van 2023

[2:22:51] heeft een begin gemaakt met het stellen van die norm.

[2:22:55] En uitvoeringsorganisaties zoals de politie en de Camar hebben die handschoen ook opgenomen en in 2024 het beleid in lijn gebracht, hun beleid in lijn gebracht met die uitspraak.

[2:23:08] Nog steeds hebben wij vragen over de uitvoering in de praktijk, maar ook uitvoering in de praktijk begint met het stellen van een duidelijke norm.

[2:23:16] Dus als er niet een norm is, kan je ook niet verwachten dat mensen zich eraan houden in de praktijk bij de uitvoering, toch?

[2:23:21] En wat wettelijke vastlegging toevoegt aan de huidige stand van zaken, is dat de Tweede Kamer en ook het kabinet een veel duidelijker norm zou kunnen en wat ons betreft moeten stellen over, en goed, mijn bijdrage richt ik me dan specifiek op

[2:23:40] een directe discriminatie en veel duidelijker een norm daarover zou moeten en kunnen stellen.

[2:23:46] Want die normstelling ontbreekt.

[2:23:49] Daarom was het ook echt een nieuwe ontwikkeling om te horen dat alle vijf de uitvoeringsorganisaties daar zo eensgezind over zijn.

[2:23:56] En daarmee eigenlijk ook iets lijken te zeggen wat ingaat tegen wat het kabinet de afgelopen twee jaar heeft gezegd.

[2:24:03] Dus heel veel ruimte voor de Kamer, breed draagvlak zo te zien, om in ieder geval minstens dat te regelen.

[2:24:11] En hopelijk meer.

[2:24:16] Dank u wel.

[2:24:16] Dan gaan we naar mevrouw Kloss.

[2:24:20] Maar was er iets van het uit de vorige blok van de uitvoering wat leidde tot zorg of vraagtekens bij mij?

[2:24:26] En dat was toch wel het punt dat zowel de vertegenwoordiger van de politie als van de koninklijke marechaussee hinten op uitzonderingen vanwege risico's, ten aanzien van het publiek maken, transparantie, het algoritmeregister en de transparantie over de gebruikte systemen vanwege de vrees voor tricking the system.

[2:24:46] Ik denk

[2:24:47] Uiteraard hoeft niet alles op Facebook, maar het is natuurlijk ongelofelijk... Daar gaat het bij transparantie ook niet om.

[2:24:54] Daar gaat het erom dat een uitvoeringsinstantie en juist politie en Koninklijke Mauritius C, waarvan de risicoprofilering en de selectiebeslissingen en controles die daarop volgen, de labeling van mensen met bijvoorbeeld een CTR-code, juist doordat ze wat gigantische repercussies voor mensen heeft,

[2:25:13] Nou, noem het maar op, dan mag ik op de reis een baan te krijgen, et cetera.

[2:25:19] Dat moet je heel goed, juist voor dat soort instanties moeten er, en dat soort gevoelige hoogrisico-algoritmes moeten er geen uitzonderingen zijn.

[2:25:28] Maar nogmaals, dat hoeft natuurlijk niet op Facebook, maar daarmee sla je het eigenlijk een beetje plat, wat transparantie is.

[2:25:35] Verder nog over het beteugelen van die live, de selectiebeslissing op straat, wegen verkeerswetcontroles, ID-controles.

[2:25:41] Ik denk dat het ontzettend belangrijk is dat iedereen voor ogen heeft dat het gaat om controles van mensen die geen verdachten zijn.

[2:25:48] En ik vraag me werkelijk af waarom we überhaupt, zolang er is één onderzoek geweest in de afgelopen jaren, letterlijk één, slechts één onderzoek naar

[2:25:58] wat die controles opleveren, die zogenaamde proactieve verkeerscontroles.

[2:26:03] De opbrengst wordt overschat, de impact op mensen wordt onderschat.

[2:26:08] Dat is de conclusie.

[2:26:09] En het vangspercentage is ontzettend bescheiden.

[2:26:14] De politie zegt, het levert ons heel veel relevante informatie op.

[2:26:16] Ja, zeggen wij dan.

[2:26:17] Die komt daarna dan weer in de systemen.

[2:26:19] Het is zeer de vraag en daar zitten ook oplossingen voor u. Er zijn een aantal blanco bevoegdheden.

[2:26:23] Dat zijn de Wegenverkeerswet en het MTV-toezicht.

[2:26:28] Nou, daarvan is bekend dat een nagenoeg blanco bevoegdheid waar de uitvoering heel veel discretie heeft, ja, dat is handelingsvrijheid.

[2:26:38] Dat is natuurlijk gewoon vragen om situaties waarin in ieder geval bij een deel van de

[2:26:45] de uitvoering vooroordelen, doorwerken in de beslissingen.

[2:26:51] Dan nog... De rol van de minister van Weerlandse Zaken, sorry, die is als coördinerend bewindspersoon, zou het heel goed zijn dat die inderdaad veel vokaler is en niet alleen in haar rol binnen het kabinet, maar zeker ook als minister van Grondrechtenbescherming en Mensrechtenbescherming

[2:27:14] de rest van het land, zou ik bijna zeggen.

[2:27:16] Dus al die gemeenten, uitvoeringsinstanties, samenwerkingsverbanden, regionalen, etc.

[2:27:23] Dat zou heel belangrijk zijn.

[2:27:25] Want ik ben er echt van overtuigd dat het debat zoals het hier de afgelopen jaren zich heeft ontwikkeld, zowel in de Kamer, tussen Kamer en Uitvoering en organisaties zoals Amnesty & Control, Alteliet, dat bereikt inderdaad de gemiddelde

[2:27:41] Dat komt vaak niet heel veel verder dan onze kringen.

[2:27:45] En dat spijt me, dat zit hem ook in de beperking aan onze kant en uw kant, maar daar zou de minister van Binnenlandse Zaken, denk ik, veel meer kunnen doen.

[2:27:51] Dank.

[2:27:54] Nou, dank u wel.

[2:27:55] Volgens mij komen we nu tot een einde.

[2:27:59] Het is één minuut over half twee.

[2:28:01] Ik wil de sprekers hartstikke bedanken voor de duidelijkheid waarmee zij gesproken hebben.

[2:28:08] Sprekers ook die we eerder gehoord hebben van de kennisinstituten, uitvoeringsorganisaties en dus ook van de belangen.

[2:28:15] Bij hart ging ook de belangstelling vanuit de Kamer.

[2:28:19] En volgens mij kunnen wij de informatie die we vandaag gehoord hebben goed gebruiken voor de komende debatten die daaraan zitten te komen.

[2:28:27] En ik wil iedereen bedanken.

[2:28:29] En er is nog een mogelijkheid om na te praten buiten de zaal uiteraard.

[2:28:33] Ik zal er zelf ook een kwartiertje zijn.

[2:28:36] Bedankt wel en prettige dag verder.

[2:28:38] Ik sluit hierbij deze Texans briefing.

[2:28:42] Altijd willen gebruiken.