Parlementaire enquêtecommissie Fraudebeleid en Dienstverlening – openbaar verhoor de heer Koemans

[0:00:17] Ik open de vergadering en ik verzoek de griffier om de volgende getuigen van vandaag de heer koemans naar binnen te leiden.

[0:00:42] Welkom, meneer koelmans die wordt vandaag gehoord als getuige dit verworven plaatsvinden.

[0:00:48] U heeft ervoor gekozen de belofte af te leggen en ik verzoek u met belofte te bevestigen dat ik de gehele waarheid en niets dan de waarheid zeggen,

[0:00:55] zegt u mij de beloven. Dat beloof ik. Dan staat hier nu onderdelen.

[0:01:13] Goedemiddag meneer koelmans. Ditmaal

[0:01:16] heet ik u van harte welkom namens de hele enquete commissie fraude, beleid en dienstverlening.

[0:01:21] De commissie onderzoekt het hoe en waarom

[0:01:25] overheid een bepaalde manier fraude heeft bestreden en tekort is geschoten in dienstverlening.

[0:01:30] Ik wil u vragen om tijdens het verhoor microfoon aan te laten staan en ik zie al helemaal een klein stukje tikkeltje hoger dan wel goed.

[0:01:39] Ik wil u erop wijzen dat de bijstandsverlening er niet namens u het woord dient te nemen tijdens dit verhoor

[0:01:46] en het voorstel afgenomen worden door de leden maatoug en mevrouw simons.

[0:01:51] Voordat we gaan beginnen. Controleer ik even of het duidelijk is

[0:01:54] alles duidelijk dankuwel.

[0:01:56] Dan stel ik voor dat we gaan beginnen en geef ik het woord aan mevrouw maar toe.

[0:02:00] Goedendag, meneer koelmans. Goedemiddag. U werd van één juni tweeduizend dertien tot vier juni tweeduizend zestien als manager en de tekst van deloitte ingehuurd door de dienst toeslagen van de belastingdienst.

[0:02:12] Daar hield hij zich bezig met de doorontwikkeling van het risico classificatie model van dienst toeslagen en het overdragen van kennis over de werking van het model aan medewerkers van de dienst opgeslagen. In dit verhoor wil de commissie het met u hebben over de opdrachtverlening aan deloitte,

[0:02:28] de samenwerking tussen deloitte in de dienst toeslagen en de werking van het risico classificatie model van de dienst toeslagen.

[0:02:38] Voordat we daarnaartoe gaan, willen wij aan uw vragen en toen ik begon bij deloitte hoe welke trainingen heeft gekregen. Hoe ging u een boarding?

[0:02:52] Ruwweg klopt het wat u wat u in de inleiding zij met die kanttekening dat ik medio juni bij dit project, medio juni tweeduizend dertien bij dit project betrokken ben geraakt. Ik ben op één juni in dienst gekomen bij deloitte.

[0:03:04] Ik heb ben in dienst gekomen om dat te doen waar ik in mijn bij mijn vorige werkgever in mijn in mijn studie ervaring opgedaan, namelijk het analyseren van data medio juni. Wat ik zei kon ik meewerken aan het eerste project waarop een aantal collega's zal kort werkzaam was.

[0:03:19] Want gaan we even terug naar die één juni toen in dienst kan bij deloitte. Welke trainingen heeft u gekregen bij uw nieuwe werkgever. Toen ik begon als nieuwe medewerker bij deloitte.

[0:03:30] Nou wat mij in ieder geval nog bijstaat trainingen rondom onafhankelijkheid omdat wij collega's in de in de in de orde te hebben accountants die dienstverlening

[0:03:39] voor de rest mij geen geen onboarding trainingen meer concreet bij.

[0:03:43] Dus geen projectmanagement of technische trainingen bij u bij uw nieuwe functie.

[0:03:49] Die had u niet aan het begin.

[0:03:52] Er staat me niet bij.

[0:03:53] De trainingen over de code of conduct of cultuur van het bedrijf of kennis over hoe dingen gaan bij deloitte die ze die wel kunt u daar wat over vertellen.

[0:04:03] Daar zijn dat zijn dat zijn online trainingen die die aangeboden worden meestal trainingen die worden afgesloten met een met een examen van een aantal vragen. Dat is dat is die trainingen ruwweg in zijn werk gaan bij ons.

[0:04:16] Meneer koeman kunt u iets vertellen over de inhoud van die trainingen over bijvoorbeeld de code of conduct.

[0:04:22] Nee daar ben ik ook niet de voorbereid. Dus ik ik kan u nu zo uit mijn hoofd zonder voorbereiding niks over zeggen.

[0:04:30] U kunt zich niet herinneren en u weet niet wat de code of conduct van het bedrijf waar u werkzaam bent.

[0:04:36] Volgens mij heb ik aangegeven dat ik niet niet u nu niet zoiets onder ede kan verklaren over de inhoud van de trainingen die je die meer dan tien jaar geleden hebben plaatsgevonden.

[0:04:46] Goed aangeeft. Ik ga ook niet vragen dingen te vertellen die je niet weet waar kunt u dan in algemene zin iets zeggen over die trainingen en de code of conduct van deloitte.

[0:05:00] Ik vind het een hele ingewikkelde vraag in die zin dat wij inderdaad een code, een code of conduct hebben over hoe wij ons gedragen projecten de manier waarop wij samenwerken met met onze klanten, de manier waarop wij met onze collega's samenwerken en daar zullen die training overgegaan zijn. Maar waar staat mij niet meer precies bij wat die trainingen van tien jaar geleden precies wel of niet in zicht hadden.

[0:05:24] U gaf net aan medio juni tweeduizend dertien begint u bij bij het project bij toeslagen en op zesentwintig april tweeduizend dertien eerder daarvoor al voor deloitte ingehuurd door de dienst toeslagen om te helpen bij de doorontwikkeling van het risico classificatie model en vanaf uw aanwezigheid. Medio juni tweeduizend dertien tot aan vier januari tweeduizend zestien. Heeft u bij dat team gezeten. Kunt u vertellen wat uw functie van manager ik inhield.

[0:05:54] Ja, wij hanteren voor elke opdracht die wij nooit aannemen een structuur van een eindverantwoordelijke partner daarbij extra die uiteindelijk de eindverantwoordelijkheid draagt. Dat was iemand anders in deze opdracht. Mijn rol als manager bestaat eruit om de operationele aansturing van het van het deloitte team te doen gecombineerd met het met het zijn van het aanspreekpunt voor de opdrachtgever in dit geval belastingdienst toeslagen bij gesprekken over de werkzaamheden van het deloitte team en de en de voortgang van de van de verstrekte opdracht.

[0:06:24] En kunt u vertellen wat operationeel management betekent.

[0:06:29] Dat bedoelde ik op een manier dat dat de twee collega's twee deloitte, collega's die die ook op het project werkzaam waren met mij typen in principe onder mijn aansturing werken dat ik aangeef wat ik wat ik verwacht wat zij wat zij moeten doen.

[0:06:44] Welke analyses zou moeten uitvoeren hoe zij in in dit voorbeeld ook hoe zij hoe zij de de vraag van de klant eigenlijk in de in de in de rekenmodule in de sas software die wij die daar gebruikt werd, konden implementeren.

[0:06:58] En de collega's van deloitte waren vanaf zesentwintig april betrokken. Welke overdracht heeft u gekregen toen ikzelf begon.

[0:07:08] Er waren er waren collega's die al die al langer betrokken waren. Er is een er is een overlap geweest met met degene die voor mij die manager rol had.

[0:07:18] En in welke overdracht heeft u van die collega's gekregen.

[0:07:22] Overdag in die zin dat wij dat wij

[0:07:24] een periode gelijktijdig aan het project hebben gewerkt en en dat we samen hebben gedaan waarin uitgelegd hoe die wat wat belangrijk was ook uitgelegd is natuurlijk wat onze opdracht was. Wat was de opdracht. Onze opdracht was tweeledig eigenlijk eigenlijk bestond uit twee stromen ene stroom in meewerken aan het zelflerend maken van het bestaande model voor voor risicoclassificatie voor de huur en kinderopvangtoeslag.

[0:07:53] Dat deden, waardoor door de door de zogenaamde trainees casus te gebruiken om uiteindelijk een statistisch model te schatten. Noem je dat om op dat moment het model te te laten zijn en de stroom. De andere kant op is om vervolgens dat model. Wat dan gemaakt op basis van die trainees casus om dat te laten gebruiken om dat toe te passen op alle toeslagaanvragen,

[0:08:19] zodat al die toeslagen aanvragen op op risico konden ingeschat worden.

[0:08:24] En kunt u de commissie vertellen wat wat de samenwerkingsovereenkomst vast tussen deloitte en de dienst toeslagen.

[0:08:35] Het contract wat er lag moet moeten moeten zien als een als een formeel als een detachering opdracht. Wij noemen dat loon staf. Wij waren eigenlijk extra inhuur extra handjes om de de data analyse. Mensen die die werkzaam waren bij toeslagen.

[0:08:50] Vier stuks vier, vier mensen in het grootste gedeelte van de tijd om die ook te helpen.

[0:08:56] En en u gaf net aan een collega's van u had de eerste fase gedaan. U heeft samen even tegelijkertijd gewerkt en daarna nam u het operationeel management over en waarbij was die collega's betrokken geweest.

[0:09:10] Die was vanaf het begin van de inhuur van deloitte betrokken geweest heeft hij mij verteld.

[0:09:14] Dus ook de totstandkoming van het risicoclassificatie model.

[0:09:18] Ik heb begrepen dat er daarvoor ook al risicoclassificatie model was, maar we hebben in ieder geval is hij betrokken geweest heeft hij mij gezegd vanaf die zesentwintig april tweeduizend dertien. Oké.

[0:09:27] En hoe waren de taken verdeeld tussen de dienst toeslagen en deloitte?

[0:09:32] Er was een belangrijke goeie vragen denk ik inderdaad goed om aan te geven dat er dat er een governance taakverdeling was inderdaad.

[0:09:39] Worden gebruikt, die een governance governance.

[0:09:41] De taakverdeling. Ik denk ik de best mogelijke nederlandse vertaling

[0:09:48] mijn rol en van een van de andere deloitte, collega's inderdaad was ook waren er vooral die twee stromen die ik u schetste de enerzijds het leren maken de ene kant op zou je kunnen zeggen en kunnen toepassen. De andere kant op. Uiteindelijk gehoord natuurlijk ook bij dat dat voor die beide stromen moet de data zoals die bij toeslagen aanwezig was zeg maar verzameld worden op op één plek in die in die software in die rekenmodule.

[0:10:12] Dat moet allemaal in rij en gelid zetten zetten, zou ik dat willen noemen ze allemaal op in de juiste formaat gemaakt worden, zodat dat model kan gebruiken en zodat het model ook toegepast kan worden op die op die aanvragen.

[0:10:26] Telkens werd dat model natuurlijk opnieuw geschatte en met met nieuwe trainees casus die weer.

[0:10:32] Ik onderbreek u even gaan straks uitgebreid op het model in u heeft net heel duidelijk aangegeven wat uw taken aan de hand in de governance. Als ik het juiste woord gebruiken was in die taakverdeling. En wat lag dan bij de dienst toeslagen.

[0:10:47] Laat daar lager dan in in principe alle andere de zaken als die de interne afstemming over het model zaken als privacy charter sharpe security bijvoorbeeld. Dat zijn dat dat zijn zaken die dan die van belang zijn in die dus bij toeslagen.

[0:11:01] Verlagen en die governance die was afgesproken en opgeschreven.

[0:11:07] Die was in ieder geval die was in ieder geval afgesproken. Daar daar is ook nageleefd.

[0:11:10] Ik.

[0:11:11] Ik kan me zo geen geen document herinneren waar het immers opgeschreven.

[0:11:14] Behalve dan de de formele opdracht bevestiging aan deloitte waarin we die detachering afspraken hebben gemaakt.

[0:11:20] En in die detachering afspraken stond dan niet de de governance of taakverdeling.

[0:11:25] In die detachering afspraak staat wat wat er van de van de deloitte mensen verwacht wordt wat wat de voorwaarden zijn voor de inhuur.

[0:11:33] En hoeveel medewerkers van deloitte waren in de periode van april tweeduizend dertien tot januari tweeduizend zestien werkzaam voor de toeslagen.

[0:11:42] De kern van onze inzet zit vooral in de periode vanaf vanaf de start zesentwintig april tweeduizend dertien en ik zoek heel even ondertussen

[0:11:50] naar de precieze cijfers ziet dat wil weten

[0:11:53] zit de kern zit vooral in de periode tot de zomer van tweeduizend veertien.

[0:11:58] Daarna is er nog wat incidentele machiel kleinere dienstverlening geweest.

[0:12:05] Ik zoek even op hoeveel mensen er

[0:12:08] precies in die

[0:12:10] in dat eerste jaar

[0:12:12] is er is dat vooral het antwoord op uw vragen in het eerste jaar waarin de kern van onze inzet zat.

[0:12:16] Nee dat heeft u aangeeft. Maar voor de hele periode april tweeduizend dertien tot januari tweeduizend zestien neemt de tijd door. Als u het even moeten opzoeken.

[0:12:36] Ik.

[0:12:44] Ik kom op tien mensen in totaal, inclusief mijzelf

[0:12:49] als naar wat ik zou willen zeggen dat de buitenomtrek van iedereen die er die er op enig moment bij betrokken is geweest vanaf die zesentwintig april. Ik begrijp van collega's begrepen dat er ook nog twee collega's zijn geweest die wel in de voorfase betrokken zijn voor die zesentwintig april tweeduizend dertien.

[0:13:02] Maar niet meer vanaf. Daarna dus dus die mensen in totaal ga je geeft heel duidelijk aan de koelmans en het meest intensief in de eerste periode tot de zomer tweeduizend.

[0:13:11] Die met nadruk zeker niet alle tien tegelijk was in mijn ogen een klein team waarmee we daar daar werkten in die in die in die kern periode van juni tweeduizend dertien,

[0:13:19] De zomer tweeduizend veertien en daarin u het operationeel management en twee collega's die u aanstuurde

[0:13:26] in we hadden het net over de taakverdeling die dan wel in die de regering overeenkomsten een beetje terugkwam. Maar die governance die was niet in het stuk

[0:13:35] vastgelegd

[0:13:36] zijn er stukken

[0:13:38] zoals verslagen van project, overleg of voortgangsverslagen van de samenwerking tussen deloitte in de dienst toeslagen,

[0:13:48] Heel heel weinig.

[0:13:49] De daar zijn er wel enkele van

[0:13:53] vooral van de beginfase waarin waarin het model ontwikkeld is.

[0:13:59] U helpt ons door door specifiek te zijn. Dus heel weinig is een aantal wel uit de beginfase. En wat wat staat er dan in die verslagen en van project overleggen of voortgangsverslagen

[0:14:12] dingen die welzijn vastgelegd.

[0:14:16] Ik weet niet precies wat erin staat heeft dat heeft vooral mee te maken dat wij dat wij dat onderdeel van die detachering afspraken. Ook was dat het hele hele project op op de systemen van van toeslag van de belastingdienst werd uitgevoerd met onze eigen inlog naam voor onze medewerkers e mailadres dus een deel van de vastlegging zult u zeker. Daar kunnen aantreffen. Maar heb ik nu niet de beschikking over.

[0:14:37] En u gaf aan heel weinig dus heel veel voortgang project overleggen voortgangsverslagen die design dus niet vastgelegd,

[0:14:46] kan ik dan concluderen uit uw woorden.

[0:14:47] Dan mag ik concluderen. Oké,

[0:14:52] Kunt u de commissie vertellen wat de basis was voor de betaling van deloitte en ik beloof u. We gaan heel erg. De inhoud in later maar wil je een goed begrijpen wat.

[0:15:00] Dat was dat als onze urenregistratie die wij die waarbij hilde en op basis daarvan werd per e-mail met de opdrachtgever afgestemd. Dit zijn gemaakte uren van de afgelopen maand. Dan volgt daar een facturen over.

[0:15:13] De medewerkers hielden de uren bij die gemaakt werden.

[0:15:17] En als een nieuwe applicatie wordt gebouwd of als een applicatie wordt doorontwikkeld wordt er vaak eerst een functioneel ontwerp gemaakt. Hierin staan staat beschreven wat de applicatie moet kunnen. En hoe de applicatie moet werken is er een functioneel ontwerp van het risico classificatie model gemaakt.

[0:15:38] Niet dat ik weet waar wij hebben wij werkte eigenlijk in in kort cyclische periode zou kunnen zeggen in een soort auto op straat model werd ontwikkeld, getest. Het werd geaccepteerd of niet. Vervolgens werd in productie genomen.

[0:15:53] Toen u begon medio juni. Hoe heeft u dan. Hoe heeft u het model zo snel mogelijk tot die genomen. Op welke manier heeft u dat dan kunnen doen.

[0:16:04] Door in de software te kijken. Ik had bij mijn vorige werkgever zeven jaar ervaring in zo goed als elke dag programmering in de programmering taal die ook bij de dienst toeslagen.

[0:16:13] Die gebruikt werd in welke.

[0:16:14] Meneer was dat de sas s a s in hoofdluis.

[0:16:17] En op de website van deloitte staat risk en hoor je word als een van de diensten waarvoor deloitte kan worden ingehuurd. Er staat hier onder andere meer dat experts van deloitte de meest geavanceerde statistische methoden gebruiken om afwijkingen zoals fraude te detecteren en viel je opdracht bij de dienst toeslagen onder de dienst. Er is risk en daar hoor je niks op een voorloper daarvan.

[0:16:42] Dan over. Vraagt u mij dat is dit is typisch een vraag die die u aan de eindverantwoordelijke partner of zou kunnen stellen. Ik kan u het antwoord niet geven.

[0:16:51] En u werd ingehuurd om het risicoclassificatie model van de dienst toeslagen. Door te ontwikkelen.

[0:16:57] Was dit een bijzondere opdracht of is dit voor deloitte een redelijk gangbare dienstverlening.

[0:17:09] Ik vind het ingewikkelde vraag. Uw vraag me als het ware te de de gevoelsmatige antwoord gevoelsmatig antwoord te geven, vind ik ingewikkeld onder ede.

[0:17:19] Nou niet gevoelsmatig maar naar uw inschatting vanuit uw ervaring was dit een hele bijzondere klus was dit een gangbare klussen leek die op de andere klussen vanuit portfolio. Wat u gedaan heeft in de jaren dat hij werkte.

[0:17:30] En het leek het leek zeker op. Het leek zeker op andere klusjes collega's hadden hier ook ervaring mee.

[0:17:37] Dus in die zin een gangbare opdracht.

[0:17:41] Ik denk

[0:17:42] er was het nou ook gangbaar om die vastlegging zo weinig te doen zoals we eerder hebben vastgesteld.

[0:17:52] Ik denk ook terugkijkend is dat zeker iets wat wat anders had gemoeten is ook zeker iets wat tegenwoordig echt heel echt heel anders gaat

[0:18:00] in mijn ogen was het op dat moment was op dat moment gangbaar om het om het op deze manier te doen. Ik keek er op dat moment niet van op

[0:18:08] maar maar op dit moment gaat het. Ze gaan dat soort projecten en de vastlegging daarvan zeker anders.

[0:18:14] Dus dus de werkwijze van doe je deloitte ook op dat moment als er klussen gedaan werden. Analytics was niet de vasthouden van logs niet hebben. Het vastleggen van beslissingen rond model en daar geen verslaglegging moeten doen. Dat was de reguliere werkwijze van die nooit bij dit soort projecten.

[0:18:32] Dan kan in ieder geval aangeven dat het op mij niet vreemd niet vreemd overkwam op dat moment hoe dat op dat moment in andere projecten ging dat daar kan ik niks over zeggen.

[0:18:41] En week de dienstverlening aan de dienst toeslagen op onderdelen af van wat gebruikelijk is bij uitvoeringsinstanties

[0:18:48] of was ook dat een gemiddelde gang van zaken vanuit uw kennis en ervaring.

[0:18:53] Je kunt u iets specifieker zijn? Welk punt bedoelt u dat?

[0:18:56] Dus de detachering overeenkomsten. De dienstverlening die je aan de dienst toeslagen geven werd in het kader van dit project.

[0:19:03] Dat dat ze dat is dat is gebruikelijk is een aantal forum en waarin we waarin we dat aanbieden het type dienstverlening. Dit is een dit is zeker ook een gebruikelijke voegen.

[0:19:11] Ik geef het woord aan mijn collega's, mevrouw simons

[0:19:14] dankuwel college en goedemiddag. Meneer koelmans. Ik wil het met u hebben over de eisen op het gebied van de bescherming van persoonsgegevens, zoals in de toen geldende wet bescherming persoonsgegevens waren opgenomen.

[0:19:29] Mijn eerste vraag aan u is waar in de opdrachtverlening voor de doorontwikkeling van het risico classificatie model eisen op het gebied van de bescherming van persoonsgegevens opgenomen.

[0:19:42] Nee. Wat ik aan uw collega's net schetste. Wij werden ingehuurd als een team van experts die die het wiskundige model statistische model zelflerend komen maken en plus nog die andere stroming die die ik u schetsen.

[0:19:55] En de opdracht verlenen. In dit geval de dienst toeslagen heeft er op dat moment niet bij deloitte bij u en uw collega's op aangedrongen om u ervan te vergewissen dat ook de de bescherming van persoonsgegevens

[0:20:10] een belangrijke factor

[0:20:11] moest zijn.

[0:20:13] Wel wel de in de zin dat uiteraard het hele model alle persoonsgegevens nooit de de it omgeving van de belastingdienst hebben verlaten. Dus uiteraard hebben wij dat niet geanalyseerd op de systemen van deloitte.

[0:20:25] Dat doen we dat doen we ook nooit.

[0:20:28] Dus in die zin wel.

[0:20:30] Als ik u goed begrijp, zegt u. Het werken binnen

[0:20:33] de omgeving van toeslagen dan wel de belastingdienst. Dat was eigenlijk al een vorm van het borgen van de bescherming van die persoonsgegevens.

[0:20:44] Dat is in ieder geval dat is een in ieder geval een manier om dat om dat te doen. Ik denk dat u met me eens kunt zijn als als dat niet zou gebeuren dan dan waren die gegevens bij een andere organisatie beland

[0:20:57] dat niemand dat dat wil.

[0:21:00] Heeft deloitte zich ervan vergewist of het model dat de nooit

[0:21:03] de bouwen

[0:21:04] uberhaupt voldeed aan de toen geldende wet bescherming persoonsgegevens.

[0:21:11] Ik schetsen net een collega die die governance die taakverdeling, waarbij bij deze aspecten duidelijk belegd waren bij de dienst toeslagen.

[0:21:21] Ik heb er gedurende de looptijd van die opdracht ook nooit getwijfeld in dat die taakverdeling die nageleefd werd of dat er niet dat er over dit soort aspecten niet nagedacht werd

[0:21:30] dus in die zin ontvangt per gewist. Jazeker. Daar komt bovenop dat.

[0:21:35] Dat ikzelf de vraag nog nog eens herhalen

[0:21:40] of deloitte zich ervan vergewist heeft dat het model, want deloitte hielp bouwen voldeed aan de toen geldende wet bescherming persoonsgegevens

[0:21:50] in uw

[0:21:50] de antwoord zojuist zei u.

[0:21:53] Op basis van de governance afspraken

[0:21:55] gingen wij ervan uit dat die verantwoordelijkheid lag bij de dienst toeslagen. Mijn vraag is of u zich desondanks

[0:22:03] ervan vergewist heeft

[0:22:05] dat er ook gehandeld werd

[0:22:08] volgens de toen geldende wet bescherming persoonsgegevens.

[0:22:13] Ik zeker. Er werd ook er werd ook wel over gesproken met met opdracht met opdrachtgever. Ik weet dat er in die tijd ook een privacy impact assessment uitgevoerd

[0:22:21] en en dat er overleg is geweest met het college bescherming persoonsgegevens.

[0:22:26] Heeft u de uitkomsten van die privacy.

[0:22:31] Zij welke je impact assessment, een.

[0:22:33] Is dat

[0:22:35] die heeft u gezien.

[0:22:36] Nee

[0:22:37] ik ben wel ik ben wel geïnterviewd door degene die een externe partij die die de privacy impact assessment heeft.

[0:22:43] Heeft.

[0:22:44] Opgesteld als ik het zo mag noemen.

[0:22:46] Maar het resultaat. Het daadwerkelijke product. Heeft u niet gezien.

[0:22:50] Dat klopt.

[0:22:54] Heeft deloitte de opdracht van de dienst toeslagen getoetst aan het normenkader of een code voor goed bestuur.

[0:23:02] De opdrachten worden bij ons altijd

[0:23:06] altijd getoetst of de oftewel aan voorwaarden voor opdracht acceptatie voldaan wordt.

[0:23:10] Maar maar ik schets u al dat ik dat ik in de loop van de opdrachten wij hierbij betrokken bij graag. Ik ben niet betrokken geweest.

[0:23:18] Bij die opdracht acceptatie.

[0:23:23] U bent niet betrokken geweest bij de opdracht acceptatie. Weet u of er

[0:23:28] wellicht voor uw tijd een dergelijke toets is geweest.

[0:23:35] Ik stap in een in een in een lopende opdrachten. Ik vind ik vertrouwen op de op de systemen die daar die daarbij werkgever voor zijn.

[0:23:42] Weet u of er wellicht voor uw aantreden van een toets is geweest. Ja of nee.

[0:23:47] Een toetsen op het gebied van.

[0:23:49] Op het gebied van een normenkader, een code voor goed bestuur,

[0:23:54] Ik weet niet of dat of dat onderdeel uitmaakte van die opdracht reputatie. Daar kan ik niet zeggen. Nee.

[0:24:02] Wat houdt een dergelijke code in u zegt er wordt altijd

[0:24:06] standaard getoetst.

[0:24:08] Maar u was daar wil zij.

[0:24:09] Ik bedoel de code of conduct die mijn.

[0:24:12] Toen ik u de vraag stelde zij.

[0:24:15] Ik was er zelf niet bij maar bij een opdracht acceptatie vindt ook altijd een toets plaats die toetst aan een normenkader of aan een code voor goed bestuur en u zei ik was er zelf niet bij. Maar u zei tegelijkertijd ook dat vind. Dat gebeurt wel.

[0:24:29] Voor altijd daar hebben wij een systeem voor waar.

[0:24:32] Daar iets meer over vertellen waar kijkt zo'n code of zo'n toets dan naar.

[0:24:37] Die heeft die die kijkt onder andere naar onder welke voorwaarden wordt deze opdracht kan deze voorwaarden geaccepteerd worden, bijvoorbeeld op gebied van onafhankelijkheid in relatie tot tot onze accountants die collega's die wat ik u net al wat uw collega's net schetste

[0:24:56] en er wordt gekeken naar andere andere vanuit onze misschien de risico's die in een opdracht kunnen zitten. Daar is je daar eens een systeem voor wat dat wat dat bijhoudt deze opdracht die die was die was doordat systeem gekomen.

[0:25:10] Voldeed in dat opzicht

[0:25:12] aan.

[0:25:13] Die code.

[0:25:14] Ja dat dat ze dat zou op zich een een norm. Dat is we in dat ze in die zin is er wel een vorm van een normenkader. Daar heeft u gelijk in.

[0:25:21] Dankuwel

[0:25:23] zijn volgens uw persoonsgegevens zoals leeftijd geslacht nationaliteit

[0:25:27] aantoonbaar noodzakelijk voor het bepalen van een verhoogd risico op fouten toeslagaanvragen

[0:25:32] of misschien zelfs wel toeslagfraude.

[0:25:36] De criteria waaraan getoetst werd en dus ook de indicatoren die wij gebruikt hebben in het statistisch model design, design door de dienst toeslagen door.

[0:25:44] De pers van noodzakelijk. Meneer koelmans.

[0:25:47] Dat is niet mijn expertise. Daar kan ik niks over verklaren.

[0:25:52] U kunt niet aangeven

[0:25:55] welke

[0:25:57] kenmerken dan wel gegevens defacto noodzakelijk zijn voor een dergelijke risicoclassificatie model.

[0:26:04] Is niet mijn specialisme. Nee ik ben een wiskundige. Ik heb ik heb lang in in data analyse geweest bij een vorige werkgever. Ik ben ik als deskundige aangenomen bij deloitte. Dit is ingewikkelde materie waar u naar waar u naar refereert. De toeslagen toeslagen toeslagenwet alle wetgeving die ermee te maken heeft. Als ik het zo mag zeggen. Die is ook ingewikkeld. Ik kan u dat niet verklaren.

[0:26:27] Je kunt u als wiskundige iets zeggen over hoe indicatoren risico regels zich tot elkaar verhouden. Om tot een juiste analyse te komen,

[0:26:40] moet er een bepaalde balans zijn tussen indicatoren kun je alle indicatoren in één model stoppen om tot een goede uitkomst te komen. Hoe wiskundig gezien.

[0:26:51] Ja, hoe dit hoe dit model wat uiteindelijk opgesteld. Hoe dat werkte is dat er dat er dus data verzameld is die die bij toeslagen aanwezig was. Daar zijn inderdaad indicatoren van gemaakt die mogelijk opgenomen zouden kunnen worden in het model en die zijn vervolgens op statistische relevantie getoetst om op de vraag of zij ook of die indicatoren individueel ook het onderscheid kunnen aangeven tussen de hoog risico in de laag risico aanvragen.

[0:27:20] En die statistische relevantie kunt u daar in z'n algemeenheid iets over zeggen als ik u de indicatoren, leeftijd geslacht, nationaliteit en dergelijke voorhout.

[0:27:29] Dan is er dus ook voor die indicatoren getoetst of er statistische relevantie was in relatie tot het risicoselectie model.

[0:27:37] En is het dan aan kunnen we dan aannemen dat omdat zij vervolgens ook gebruikt zijn. De conclusie was dat er statistische waarde was.

[0:27:45] Als je als je als deze indicatoren gebruikt zijn dan dan was dat er blijkbaar inderdaad.

[0:27:50] Wordt dan besloten

[0:27:53] wat en of er statistische waarde is,

[0:27:57] Daar zijn statistische toetsen voor. Dus dat zijn. U zou het kunnen zien als rekenen regels deze met de methode die gekozen is. Dus er zijn meerdere methodes die statistische methodes of of kunstmatige intelligentie methodes die in aanmerking zouden kunnen komen. Die zijn ten opzichte van elkaar afgewogen. Er is uiteindelijk voor gekozen om dit type model te gebruiken. Juist vanwege de uitleg waarheid van het model ze dat ook achteraf nog vast te stellen. Waarom is een bepaalde bepaalde aanvraag als hoog risico aangemerkt waar waar komt dat dan door zou gezegd. Daarom is voor deze methode gekozen

[0:28:33] die statistische relevantie zit in die methode uiteindelijk door. Doordat er doordat de matrix rekenen plaatsvindt, komen er bepaalde statistische maatstaven uit.

[0:28:43] En er geen wiskundige ben er ook niet echt voor onderlegd. Vreselijk. Kunt u mij uitleggen of je in de algemeenheid kunt zeggen dat

[0:28:53] het niet uitmaakt welke

[0:28:56] indicatoren je ergens instopt. Maar ze zullen altijd een relatie tot elkaar of een correlatie is, kunnen altijd met elkaar gebruikt worden.

[0:29:03] Klopt dat. Je kunt het altijd proberen. Maar dat wil niet zeggen dat dat het altijd lukt.

[0:29:09] Duidelijk.

[0:29:11] We hebben in deze parlementaire enquete al vaker gehad over de fraude die bekend is geworden als de bulgarenfraude vanmorgen nog met de heer veringmeier en vorige week met onder meer de heer weekers en de heer blankenstein en daaruit is naar voren gekomen dat het management team van de belastingdienst op vijfentwintig april tweeduizend dertien heeft besloten om naar aanleiding van deze specifieke fraude. Het risicoclassificatie model bij de dienst toeslagen versneld in te zetten. Het contract met de lloyd is vervolgens een dag later getekend op zesentwintig april tweeduizend.

[0:29:40] Dertien,

[0:29:41] En weer een dag later op zevenentwintig april de aanvang van het kroning weekend waarin koning willem alexander tot koning werd gekroond voortvarend door te pakken en men heeft besloten het risico classificatie model in dat weekend verder te ontwikkelen te testen en meteen daarna in gebruik te nemen. Heeft u enig idee of de ondertekening van het contract met deloitte voor dit specifieke project een direct gevolg is geweest van de actuele gebeurtenissen zoals dus die bulgarenfraude.

[0:30:14] Ik kan er alleen maar naar raden. Ik was er niet bij.

[0:30:18] Durft u te raden.

[0:30:20] Wat u wat u zegt klinkt mij logisch in de oren. Maar nogmaals ik was ik was er niet bij. Dus ik weet het niet heel duidelijk.

[0:30:26] Dan gaan we naar het weekend zevenentwintig tot en met dertig april tweeduizend dertien. Ik zei het al. Men gaat aan de slag om dat risicoclassificatie model verder te ontwikkelen, te testen en te meten

[0:30:38] om het daarna meteen in gebruik te nemen naar uit ons onderzoek en uit het gesprek met de heer veringmeier. Vanmorgen blijkt dat medewerkers van deloitte hierbij aanwezig waren. Weet u wat de rol was van die medewerkers tijdens dat weekend.

[0:30:53] Dat zal op basis van dat contract waar ik aan refereerde tot stand gekomen zijn, maar ook hier geldt ik was ik was er niet.

[0:30:59] En weet u of dat die twee medewerkers waren waar u eerder aan refereerde toen hij zei er waren al mensen actief voor april tweeduizend dertien zouden dat dezelfde medewerkers

[0:31:07] kunnen zijn geweest.

[0:31:10] Als ik als ik heb aangegeven dat er al medewerkers van deloitte aan werkte voor april tweeduizend dertien. Dan heb ik mij vergist.

[0:31:17] Volgens mij waren er medewerkers van deloitte bij betrokken. Vanaf zes, zevenentwintig zei u net ook zevenentwintig april tweeduizend dertien is niet vervoer april. Goed waarvan akte en terug naar uw vraag want die heb ik niet helemaal.

[0:31:30] Verantwoord van mijn vraag was of u weet wat de rol van deze medewerkers is geweest in uw antwoord daarop was dat u dat niet kunt zeggen omdat we daar niet bij was.

[0:31:38] Goed dan vertelde u eerder ook dat er geen functioneel ontwerp was en dat er geen schriftelijke stukken waren over de voortgang van het project. Wat was de omstandigheid waarin is besloten om het model

[0:31:48] na die fraude in dat weekend versneld te ontwikkelen. De oorzaak van het ontbreken van die documenten is het gangbaar dat er niets wordt.

[0:31:58] Daar kan ik niks over zeggen omdat ik er niet bij was.

[0:32:00] Was het in die tijd gangbaar om

[0:32:03] niet bij te houden hoe een project zich ontwikkelt

[0:32:10] met in die periode bedoel ik. Rond tweeduizend dertien.

[0:32:15] Dat denk ik niet. Nee maar, nogmaals, ik wil. Ik was daar specifiek niet bij. Dus ik kan dat ik daar niet beoordelen verbaasd.

[0:32:20] Dat u dat er rondom een dergelijke project en een dergelijke weekend geen documenten

[0:32:25] zijn te vinden waarop de voortgang en de ontwikkeling is beschreven.

[0:32:31] Als je het mij persoonlijk vraagt dan verbaast mij dat ik denk dat dat zeker beter had gemoeten inderdaad met terug terugkijkend inderdaad vanaf nu.

[0:32:38] Heeft u vaker aan projecten gewerkt? Waar er geen verslaglegging

[0:32:42] geweest is.

[0:32:47] Nee. Als iets over als het zo graag niet. Nee

[0:32:51] nee.

[0:32:52] Duidelijk

[0:32:54] was het risico classificatie model, dat met de hulp van deloitte werd doorontwikkeld, een model dat in staat was om fraude te detecteren.

[0:33:03] In mijn ogen was het model bedoeld om hoog risico aanvragen te selecteren. Die werden.

[0:33:09] Wordt hoger risico op wat.

[0:33:11] Hoog risico op fouten of fraude.

[0:33:12] De fouten of fraude

[0:33:17] was het uw opdrachtgever. De dienst toeslagen duidelijk wat het risicomodel wel en niet kon.

[0:33:26] Ja.

[0:33:28] Heeft u bedoelt u op een specifiek punt.

[0:33:32] Er schijnt nogal wat misverstand te zijn

[0:33:35] of dit model. Nou bedoeld was om fout en dan wel fraude

[0:33:39] op te sporen. Wij hebben

[0:33:42] vanmorgen gehoord dat het model ontwikkeld was

[0:33:45] om fouten op te sporen. Geenszins de bedoeling was dat het ingezet zal worden om fraude op te sporen en ik hoor u zeggen het is ontworpen en ontwikkeld om zowel fouten als fraude op te sporen.

[0:34:00] Want ik denk als wiskundige namelijk dat er dat je op basis van de data die daar was niet het onderscheid kan maken tussen fouten of fraude.

[0:34:07] Was dat intentie toneel.

[0:34:10] Het zijn toch twee verschillende dingen. Dus het lijkt mij handig om dat onderscheid wel te kunnen maken.

[0:34:18] Ik kan me voorstellen dat handig kan zijn om dat onderscheid te kunnen maken. Ik kan u op basis van de statistiek geen model geven wat het kan,

[0:34:24] zegt u nu.

[0:34:26] Ik kan niet zeggen dat er een model bestaat dat

[0:34:31] alleen fouten opspoort. Ik kan me niet voorstellen dat een model is dat alleen fraude opspoort, maar ik kan me voorstellen dat er een model is dat zowel fouten als fraude opspoort.

[0:34:40] Maar wat wat was in uw optiek?

[0:34:46] De bedoeling van dit model

[0:34:48] werkt het verzocht om dat er een behoefte was om fraude op te sporen of werd er verzocht om dat er behoefte was om fouten op te sporen.

[0:35:01] In mijn optiek allebei.

[0:35:03] Er zijn die twee dingen door het model niet uit elkaar te trekken.

[0:35:09] Dus dan is het ook een model om fraude op te sporen.

[0:35:12] En als ik het model gebruikt weet ik niet

[0:35:15] wat fout dan wel fraude is.

[0:35:17] Dat klopt.

[0:35:19] Dankuwel. Dan zegt u het model.

[0:35:24] Dan kom ik terug bij mijn vraag

[0:35:25] was deze uitleg die u hier nu geeft

[0:35:28] in uw opinie ook duidelijk voor de dienst toeslagen

[0:35:32] wist de dienst toeslagen met welk model. Zij werkte namelijk een model dat geen onderscheid kan maken tussen fouten en fraude.

[0:35:39] Ja daar twijfel ik niet aan.

[0:35:41] Hoe weet u zo zeker? Waarom heeft u geen twijfel?

[0:35:53] Omdat omdat volgens mij in in die in die periode. Maar ik vraag me wel iets te iets zeggen over een periode van tien jaar terug. Maar in mijn ogen was dat altijd duidelijk werd er werd er op die manier ook op de werkvloer over gesproken.

[0:36:05] De de aanvragen die die het hoogste scoren in de risicoselectie

[0:36:13] die die hadden een hogere kans op het bevatten van fouten of fraude en het was volstrekt duidelijk voor voor alle betrokkenen dat het onderscheid tussen die twee niet gemaakt kan worden op basis van de data.

[0:36:24] Dankuwel.

[0:36:28] Ik

[0:36:31] wil met u even spreken over de

[0:36:35] onder andere over de betrokkenheid van de directeur toeslagen bij dit model. Wat is nou het product dat er nooit levert aan de dienst toeslagen. Hoe zou je dat omschrijven.

[0:36:45] Alles van die twee stromen die ik al aan uw collega's beschreef die die twee die vooral de tweede stroming die leidt uiteindelijk tot een tot een lijst met hoog risico aanvragen.

[0:36:55] De tweede stroom was

[0:36:57] de met de training casus. Bedoelt u de juiste.

[0:36:59] De andere zwaar waar het model gebruikt wordt om alle toeslag uit alle toeslagen aanvragen voor kinderopvang, dan wel huurtoeslag. Want dat waren er twee toeslag soorten waar het voor gebruikt werd. Andere twee werden niet voor gebruikt

[0:37:13] om die van een risico score te voorzien.

[0:37:17] Vervolgens werd werd daarop gefilterd dat er toeslagen wilde kijken naar de naar de nieuwe aanvragen of de aanvragen die tot een verhoging van de toeslag bedrag leiden.

[0:37:29] De aanvraag die daar die ook nog eens daaraan voldeden en een hoog en dus een verhoogd risico hadden die werden als lijst opgeleverd aan een toezicht team van toeslagen.

[0:37:39] De omvang van die lijst die die verschillende in principe per maand. Typisch honderd, honderdvijftig zal misschien een keer driehonderd casussen per toeslag soort per maand

[0:37:49] de dat vertelde ons werd ingericht op basis van de beschikbare capaciteit,

[0:37:54] En als u in

[0:37:57] max twee, drie woorden zou moeten zeggen welk product nooit leverde aan dienst toeslagen.

[0:38:02] Kan ik dat niet in twee, drie woorden. Er is een aanvulling op de twee stromen die ik aan uw collega's schetste

[0:38:10] en daar is ook voor nodig dat die data verzameld wordt en in het juiste rijden.

[0:38:13] Dit zijn. Wat heeft de dienst toeslagen gekocht bij deloitte?

[0:38:19] Handjes. Ingehuurd detachering.

[0:38:21] Detachering en dat ging dan ook om het zelflerend te maken

[0:38:25] van dat model ook.

[0:38:27] En aan wie leveren u dit product op.

[0:38:32] Waar ze de directeur het mt van toeslagen als als de formele opdrachtgever in de praktijk hadden wij de meeste afstemming had ik de meeste afstemming met de teamleider handhavingsregime intelligence.

[0:38:42] Dat was op dat moment.

[0:38:44] Als de heer veringmeier,

[0:38:45] Duidelijk

[0:38:46] wat was de rol hebben. Zoals u weet, de heer blankenstein hier natuurlijk vorige week gesproken die vertelden al iets over zijn rol bij de selectie door het risico classificatie model in de commissie. Wil je u hier nu ook enkele vragen over stellen? Wat was de rol van de directeur toeslagen in het proces.

[0:39:03] Wij zagen hem ook als als formele opdrachtgever

[0:39:07] en die lijst die ik die ik u schetst van van toeslag aanvragen met een verhoogd risico die ook aan aanvullende criteria voldeden. Die werden aan de directeur aan het mt opgeleverd voorzien van de dankuwel van de

[0:39:24] van de indicatoren die bij die die maand in die versie van het model model werd derk een telkens aangescherpt, maar die in diverse van het model ook gebruikt werden.

[0:39:32] Dan zich telkens aangescherpt? Hoe vaak bedoelt u dan.

[0:39:36] In principe één keer per maand. Dus in in de dagen voordat er weer de toeslagen tot uitbetaling van de van toeslagen over ging, hadden wij weer een nieuwe nieuwe trainees. Kees is verzameld. En wat nog oude de diverse die werden samengevoegd op basis van op basis van die trainees casus werd weer een nieuw zou je kunnen zeggen model ontwikkeld.

[0:40:01] Dat is aan de in de in in de auto op straat die ik noemde weer een nieuw model ontwikkeld. Dat werd vervolgens getest op alle op alle nieuwe nieuwe en verhoogde toeslag aanvragen. Dat werd de a van geaccepteerd of niet. En vervolgens werd het dan meestal in productie genomen.

[0:40:18] Wie besloten om de aanvragen van mensen die waren uitgeworpen door het systeem op te schorten.

[0:40:23] Daar besloot toeslagen over.

[0:40:24] Verslagen en directeur toeslagen zich ook bezig met de risicoselectie zelf.

[0:40:31] In het begin tijd van mijn van mijn inhuur was het was de directeur zelf ook betrokken. Iemand anders uit het uit het management team was was er daarna ook wel bij betrokken. Later werd het werden die die gunst zoals wij ze noemde die die maar die maandelijkse classificatie en de hele beoordeling erop en het akkoord daarop werd ook wel gedaan door de teamleider handhavingsregime intelligence.

[0:40:55] En

[0:40:58] ik vraag het u waarom denkt u was er tussenkomst van de directeur toeslagen bij het selecteren van de risico indicatoren.

[0:41:08] Nou ik zal niet zeggen dat we dat zijn dat zijn betrokkenheid bij het selecteren van de risico indicatoren. Want dat gebeurde namelijk op basis van statistische statistische rekenmodule die u schetst dus vanuit de technische team

[0:41:20] werd aan met een voorstel gekomen.

[0:41:23] Dat was wel er was wel enige vorm van het van acceptatie. Nogmaals in die auto op straat. De avond acceptatie was was nodig.

[0:41:31] En kreeg directeur dan gewoon een lijst voorgelegd om daar een akkoord op te geven. Hoe hoe ging dat

[0:41:36] in zijn werk.

[0:41:38] Er werd een lijst voor. Er was formeel was er een lijst van.

[0:41:43] Een formele lijst,

[0:41:44] Zegt. Dus ik vind ik verstond niet goed.

[0:41:47] Is. Er was formeel een lijst van.

[0:41:49] Ja ik kan me niet herinneren of wij of wij die lijst staan ook of er individuele nummers aan de directeur toonde. Als dat als dat uw vraag is belangrijk is wel dat ook die van testen. Daar kwam daar kwam een percentages uit

[0:42:03] percentages van de a van de geselecteerde aanvragen die volgens de experts van toeslagen ook een verhoogd risico hadden dat percentages werd er ook bij opgeleverd,

[0:42:12] zodat met dat in de hand ook beslist kan worden over het al dan niet accepteren van die.

[0:42:18] Daar wil ik later met u nog even op terugkomen. U toen ik u vroeg van krijgt. De directeur toeslagen dan een lijst of iets dergelijks. Toen associeer u dat eigenlijk meteen met zijn nummers

[0:42:31] zij. Het is niet zo dat de directeur dan een lijst met nummers krijgen. Maar dan moet je eraan denken

[0:42:38] is dat is wat er te zien was bij een uit worp neemt u neemt dus alstublieft even mee.

[0:42:45] Maar uiteindelijk inderdaad is die die lijst,

[0:42:49] Zou kort. Het hele. Er is een

[0:42:53] uit dorp op enig moment.

[0:42:56] Daar kunt u ons als meenemen in dat proces. Wat gebeurt er allemaal.

[0:43:00] Nou dan kan ik daar kan ik weinig over zeggen want wij vanuit de technische team leveren wij die lijst op aan het aan dat toezicht team van toeslagen.

[0:43:09] De lijst.

[0:43:11] Dat waren dat waren in de praktijk waren dat waren het zijn nummers die lijst. Maar ze waar ze stonden erop omdat

[0:43:22] sorry. Het waren. Ik moet precies zijn waar ik ben je zijn nummers voorzien van een toeslag soort ja want iemand kan bijvoorbeeld voor voor de huurtoeslag wel op die lijst staan. Maar voor de voor de kinderopvangtoeslag niet dus toeslag soort beestje en combinaties stonden op die lijst.

[0:43:39] Daar gingen toe. Het toezicht team van toeslagen mee aan de slag.

[0:43:43] Dus er kwam een lijst met bsn-nummer uitgeworpen uit het systeem en daarmee ging het

[0:43:48] het team van toeslagen. Weet je ook welk team.

[0:43:53] Nee ik weet niet hoe dat team heet. Nee nee misschien als aanvulling om nog nog iets preciezer te zijn is

[0:44:00] die

[0:44:02] in de praktijk was het technisch nodig om die te selecteren je. Ze stonden op die lijst die meer zijn stonden op die lijst omdat omdat ze geselecteerd omdat hun toeslag aanvragen geselecteerd was.

[0:44:13] Ik schets u net al dat dat in mijn ogen de toeslagen systematiek ingewikkeld is. Maar iemand kan meerdere meerdere aanvragen doen. Iemand kan gedurende de maand meerdere wijzigingen indienen, kunnen dit kan persoon zelf doen, kunnen uit andere bronnen kunnen wijzigingen komen die leiden tot verandering van de toeslag

[0:44:30] nummer aanvragen aardig aanvragen. Precies maar toeslag aanvragen werden geselecteerd.

[0:44:35] En is het daarvoor nodig.

[0:44:38] Ga er even naar het woord noodzakelijk om dat aan de hand van een bsn nummer

[0:44:44] te kwalificeren

[0:44:46] waren er andere manieren geweest

[0:44:49] om aanvragen te beoordelen zonder bsn nummer.

[0:44:57] Voor statistische model denk ik dat dat er ook andere mogelijkheden zijn. Je zult wel enige vorm van een unieke identificatie nodig hebben

[0:45:04] die dan die natuurlijk uiteindelijk aan een beetje zijn te koppelen is om omdat als systemen voor zijn, maar technisch gesproken kan dat ook een kan het ook een ander soort nummer zijn

[0:45:13] ris-nummer.

[0:45:14] De nummers zou dat een nieuw gegenereerd nummer

[0:45:18] kunnen zijn. Of zegt u van het moet een bestaande.

[0:45:21] Met de nieuw gegenereerd nummer wordt het wordt de hele procedure natuurlijk ingewikkelder. Maar dat kan zeker wel.

[0:45:28] En die lijst werd vervolgens aan de heer blankenstein voorgelegd, begrijp ik u goed.

[0:45:33] Die die wet toezicht tien voorgelegd wat ik al schetste. Ik kan ik kan me niet herinneren of of er nou individuele basis en me aan de heer blankenstein lieten zien

[0:45:44] wel wel inderdaad dat percentages wat ik u noemde

[0:45:49] er gecombineerd met de met welke risico indicatoren bij die een specifiek daadwerkelijk gebruikt verder.

[0:45:56] Dus dan zijn we hebben we het over de risico indicatoren en wij hebben begrepen dat de directeur toeslagen zich niet bemoeide met de risico indicatoren

[0:46:06] en daar ben ik even verward of nou net iets anders verklaren.

[0:46:12] U zei eerder dat ik.

[0:46:13] Ik zei u net om precies te zijn. De directeur toeslagen bemoeide zich niet bemoeit, zich niet met de selectie van de van de indicatoren duidelijk d. De technische team op basis van statistiek.

[0:46:24] Duidelijk en op basis waarvan deed dat technische team dat dan. Welke keuzes zagen. Zij moesten zij maken.

[0:46:32] Daar liggen even ervan uitgaan dat het type model gekozen is. Dan liggen er trainingscursussen om trainees casus onder die het verschil moeten maken tussen de tussen de hoog risico in de laag risico aanvragen

[0:46:43] en dan zijn er statistische maatstaven om te beslissen en dat zit ook dat zit ingebouwd in de software die gebruikt werd

[0:46:51] statistische maatstaven om te beslissen welke indicatoren wel en welke niet gebruikt worden die maand.

[0:46:57] En wat het model in staat om alle risico indicatoren mee te nemen of moest er echt eerst een selectie voor maken.

[0:47:03] Had het model het gekund met meer indicatoren of wellicht minder indicatoren.

[0:47:10] Nou hoe dat in zijn werk gaat is dat er dat er enkele tientallen indicatoren waren waren geprogrammeerd door het technische team die het moet je zou kunnen gebruiken.

[0:47:20] Vervolgens wordt er op basis van statistiek komt het model met was statistisch optimaal is. En dan werden er typisch tien tot vijftien

[0:47:29] indicatoren gebruikt die maand.

[0:47:31] Dankuwel dan met de directeur toeslagen verder interesse in het risico classificatie model en de doorontwikkeling ervan.

[0:47:39] Los van de indicatoren.

[0:47:43] In de zin van een geinteresseerden opdrachtgever zeker.

[0:47:47] Kunt u dat nog specificeren? Wat is waar wacht je dan in geinteresseerd.

[0:47:53] Nee, dit is meer is meer een algemeen beeld wat ik heb ik kan ik kan niet zeggen dat dat hij nou dat de directeur specifiek bepaalde vragen heeft gesteld of of andere

[0:48:04] in die zin hele directe betrokkenheid had het met het model.

[0:48:08] Nee maar dan neem ik neem ik volgens mij niet weg dat dat hij geinteresseerden opdrachtgever was dit een onderdeel was van van zijn team waar hij uiteindelijk eind verantwoordelijk volwassen. Dus een gewone gewoon interesse zou ik zeggen zoals zoals de directeur.

[0:48:26] Dankuwel? Ik geef het woord voor nu aan collega's maatoug

[0:48:31] meneer koeman. Ze hebben het in het verordeningen een paar keer over het mail. Het model, het risico classificatie model en u gaf ook aan. Er zijn verschillende typen modellen. We vinden ook in ons onderzoeken de stukken dat wij een van de eerste presentaties gesproken is dat de keuze is dat je kunt kiezen voor regressie een voor de nieuwe sneakers. Een support vector machines. Wat voor type model is het uiteindelijk geworden? Logistieke regressie. Dat is anarchistisch regressie

[0:49:01] en u gaf net in het stuk van het verhoor met mevrouw simons aan dat u bent geïnterviewd voor een peer.

[0:49:12] De gegevens effectbeoordeling. Wanneer was dat.

[0:49:16] Dat was in het voorjaar van tweeduizend veertien.

[0:49:18] Voorjaar van tweeduizend veertien en door wie bent u toen?

[0:49:22] Die geïnterviewd. Dat weet ik niet meer.

[0:49:24] Je kunt u vertellen wat voor kunt u ons iets vertellen over het gesprek wat u toen al meegegeven of de hoofdpunten eruit.

[0:49:33] Op hoofdlijnen. Weet ik nog dat dat ik erover gesproken hebben en die die mevrouw haar heb uitgelegd hoe we techniek hoe dat model werkte. Het staat mij nog zo goed verhoging weten weet ook zeker dat het gesprek heeft plaatsgevonden omdat die mevrouw corrigeerde op de afkorting pia.

[0:49:51] Dat was de correctie dan.

[0:49:53] De ako van assessment zijn of van analyse geloof ik. En soms hou je dat soort details waardoor je in gesprek nog herinneren.

[0:50:01] In gesprek met een mevrouw en weet u nog bij welke afdeling welke hoek

[0:50:06] deze mevrouw werkte.

[0:50:08] Volgens mij was mevrouw niet werkzaam bij belastingdienst toeslagen was een externe partij.

[0:50:13] En

[0:50:15] u gaf ook aan dat u de pia of de gek waar de letters voor staan niet gezien heeft.

[0:50:22] Weet u wanneer die uiteindelijk verschenen is.

[0:50:25] Nee dat weet ik niet.

[0:50:30] Ik wil het met u hebben over de rol van deloitte in de doorontwikkeling en toepassing van het risico classificatie model, waarvan we nu weten dat het een logistieke regressie model is wat ook logisch is, want de uitkomst variabelen was.

[0:50:42] Een nul van een zou kunnen zeggen. Zo is het u met goed ingelezen.

[0:50:46] Hoe ver was de dienst toeslagen al gevorderd met de ontwikkeling van het risico classificatie model op het moment dat deloitte erbij werd betrokken.

[0:50:55] Ik kan u alleen iets zeggen over de staat van het model toe ik erbij betrokken raakte

[0:50:59] toen we toen was er een een werkende model in de medio juni tweeduizend dertien.

[0:51:05] En wat betekent dat een werkend model.

[0:51:09] Dat dat betekent dat er dat dat er data dat dat er een systeem is een plek zogezegd in in it termen één plek waar waar die data aanwezig is. Waar het model geschat kan worden gemaakt kan worden en vervolgens al toegepast kan worden op alle toeslagaanvragen.

[0:51:28] Dus een werk model zegt niks over de kwaliteit van de schatting.

[0:51:31] Dat klopt.

[0:51:32] Een werkend model is. Het staat er. Het doet het.

[0:51:37] Het doet iets

[0:51:39] oké doet iets.

[0:51:40] Oké. Het was ook geaccepteerd en er was een punt. Maar het klopt wat u zegt

[0:51:50] het kan theoretisch kan het ook zo zijn dat dat er opzich een werkend model is maar dat de kwaliteit heel laag is. Dat is theoretische mogelijkheid natuurlijk.

[0:51:57] Want toen u begon medio juni. Wat was toen hoeveel werk er toen goed verklaard.

[0:52:03] Dat waren eigenlijk vanaf dat moment in ieder geval vanaf dat moment waren dat hogere percentages. Wat wat doordat toezicht team ook als hoog risico beoordeeld werd in de in de zin van negentig, vijfennegentig procent van de output werd ook als hoog risico aangemerkt.

[0:52:18] Ja. Nu wordt het interessant. Dus ik

[0:52:22] wij zien in de gegevens effectbeoordeling die uiteindelijk in twintig, eenentwintig, die als een versie die openbaar is en die wij ook hebben. Daar wordt aangegeven dat er een aantal risico's in model zitten.

[0:52:34] Een van de risico's is

[0:52:36] het risico kan ontstaan dat de verdeling het model niet evenredig is dat er selectie paaltjes is. We hebben in het voor hiervoor gehoord. Er zijn geen aselecte steekproeven gebruikt en we weten ook het in de verhouding van de testcases meer foute keuzes een goede keizers waren

[0:52:51] wat we ook weten is dat een van de databronnen die gebruikt is die ook in fantastisch geladen is de god hoor.

[0:53:01] En dat beter voor de mensen die die al langer meest luisteren bij deze horen. Dat is hoog bedrag

[0:53:08] tussen haakjes staat er dus een hoog risico.

[0:53:10] Maar we weten nu dat het niet altijd zo was. Mijn vraag aan u is

[0:53:14] als er een werkend model is.

[0:53:18] Wat betekent dat dan. En wat zegt dat over de uitkomsten. En wat zegt het als een selectie teams zegt hier sprake van hoger risico, want we zijn uitgegaan van het feit dat een hoog bedrag was.

[0:53:32] Dat zegt in ieder geval dat dat ik die die redenering niet deel want het feit dat het een hoog bedrag is, zegt in mijn ogen niks over het risico.

[0:53:42] Interessant want was dit was dit een van de variabelen model.

[0:53:49] De hoogte van toeslag bedrag.

[0:53:51] Nee hoor.

[0:53:52] Is een van de bron bestanden?

[0:53:54] Dan als u mij toestaat, spreek ik dan even in de in de openbaarmaking van het risicoselectie model. Ik weet dat niet uit mijn hoofd.

[0:54:02] Laten we dan even wat algemener maken.

[0:54:06] U was niet betrokken bij het konings ik in de totstandkoming. U gaf aan u doet projectmanagement. Twee mensen heeft hij aangestuurd. We gaan zo naar de verdere werking van het model. En hoe dat in de praktijk geen in de periode.

[0:54:20] Maar als een model ontwikkeld getest en in productie gaat in drie dagen kun je dan de data kwaliteit toetsen.

[0:54:27] Ja.

[0:54:28] Hoe doe je dat dan.

[0:54:32] De data kwaliteit toetsen. Dat dat is vooral door door te kijken naar de in haar de input data

[0:54:38] of dat er een aantal cheques voor om te kijken of die of die input data input data plausibel uitziet of die datum.

[0:54:45] De correct is en is dat gebeurd.

[0:54:48] Heeft ie nooit gedaan bij de ontwikkeling en testing van het model.

[0:54:53] Ik kan u alleen verklaren over over de periode waar ik bij betrokken was. En toen is inderdaad werd bij elke run ook getoetst op de op de kwaliteit van input data.

[0:55:02] Maar vanaf het moment dat het model in gebruik wordt genomen, wordt het over de hele toeslagen populatie toegepast. Dus terwijl men bezig gaat, gaan we zo heen wordt het verbeterd. Maar het gaat even op het moment dat besloten wordt. Wij kunnen dit model in productie nemen,

[0:55:19] is er op dat moment door uw collega's van wie u een overdracht heeft gekregen toetsing plaatsgevonden op de data die was aangeleverd en

[0:55:27] en de kwaliteit daarvan zal zijn in het model is,

[0:55:30] Doelt u op het gronings weekend?

[0:55:33] Daar was ik niet bij. Daar kan ik niks over zeggen.

[0:55:35] Maar weet u of uw collega's dat gedaan hebben, want we heeft een overdracht gekregen.

[0:55:40] Dat weet ik niet.

[0:55:43] Dat weet u niet. Oké. Was u op de hoogte van de risico's en ik noemde er net eentje uit die gegevens effectbeoordeling tweeduizend, eenentwintig die selectie is in het model.

[0:55:55] Zeker.

[0:55:56] Dus dat is zeker is dat een belangrijk punt om om rekening mee te houden. Daarom belangrijk om inderdaad die trainees kees te kijken en ik zoek even

[0:56:08] naar mijn voorbereiding op dit punt in de raad, want het is terecht dat u deze vraag stelt de situatie bij toeslagen was zo dat er dat risicoselectie niet de enige reden was om om controles bij bepaalde aanvraag.

[0:56:22] Meneer koelmans. Ik ik onderbreek u toch even.

[0:56:25] Ik vraag me niet naar de toepassing het verdere gebruik. Het gaat ons nu in dit verhoor onder het begrip van het model en ook het technische begrip van het model. Dus wat daarna gebeurt. Dat is niet wat ik vroeg. Het gaat specifiek om op welke manier is er gewaarborgd in de training van het model in de invoering van het model dat die selectie. Waar is.

[0:56:43] Dit is dat zit dat zit in de samenstelling van de trainings casus die kwamen voor een deel naarmate het moeder al langer in gebruik was ook uit de risicoselectie zelf. Maar die kwamen zeker ook uit andere uit andere controles die bij toeslagen hadden plaatsgevonden

[0:56:56] thematisch toezicht vinden plaats te komen tips binnen bij bij toeslagen ook vanuit die bronnen werden er training kees.

[0:57:04] De gevoegd en heeft u vanuit uw technische verantwoordelijkheid in die governance aangegeven dat het nodig was om een aselecte steekproef ook te doen voor die testing om selectie te voorkomen en is dat gebeurd.

[0:57:17] Ik weet. Ik kan u niet zeggen dat dat wij ook wel lijst te hebben opgeleverd om die aselecte steekproef mogelijk te maken.

[0:57:26] Er gehoord.

[0:57:27] Hebben wij hebben daar ook. Wij hebben er ook training kees over teruggekoppeld gekregen.

[0:57:33] Dus dan is mijn conclusie dat er gebeurt moet zijn,

[0:57:39] Oké. En

[0:57:42] u gaf net in het verhoor met mevrouw simons aan dat er wiskundige allerlei tests gedaan kunnen worden of ook gedaan worden om de samenhang tussen variabelen te bekijken? Kunt u daar de commissie over vertellen over op welke manier welke test deloitte heeft gedaan om te kijken hoe de indicatoren onderling samenhangen en elkaar beïnvloeden.

[0:58:11] De ingehuurde medewerkers hebben inderdaad met de technische team wat bestond uit mensen van deloitte en en toeslagen samen hebben die tests uitgevoerd. Misschien mag ik dan nog even eraan eraan toevoegen.

[0:58:21] Dus dat zijn dat zijn de test die die de statistische relevantie van een indicator beoordelen en daarmee ook aangeven of of een variabele nog iets extra toevoegt ten opzichte van de werk. Een beetje trapsgewijs zou je kunnen zeggen. Trapsgewijs. Er wordt een technische termen van een bepaald model uitgegaan wordt gekeken en variabele die daar nog niet in gebruik is. Voegt het iets toe om die toe te voegen.

[0:58:46] Ja of nee. Oké.

[0:58:47] Ik zou graag met u stap voor stap erdoorheen willen in u helpt ons door daar zo duidelijk en concreet mogelijk in te zijn. Dus allereerst hoeveel risico indicatoren werden er oorspronkelijk door toeslagen verstrekt.

[0:59:02] Sorry. Dat bedoelde oorspronkelijk wat bedoeld om een bepaalde.

[0:59:06] Het liefst zichtbaar bij de totstandkoming van het model. En anders vanaf het moment dat u daar weet van heeft.

[0:59:13] In mijn herinnering waren er enkele tientallen indicatoren, waarbij sommige als je wel voor de huurtoeslag als voor de kinderopvangtoeslag gebruikt werden en sommige kunt u zich voorstellen aan die specifiek over de huur gaan of over het aantal uren kinderopvang

[0:59:26] natuurlijk alleen over één van die twee.

[0:59:27] En kunt u enkele voorbeelden geven.

[0:59:30] Van die indicatoren bij de kinderopvangtoeslag. Weet ik bijvoorbeeld nog de afstand tussen het woonadres van de van de aanvrager en de locatie van de kinderopvang.

[0:59:42] Daar is naar gekeken en.

[0:59:45] Kunt u kunt u nog een voorbeeld geven.

[0:59:50] Bij de bij de huurtoeslag bijvoorbeeld het percentages van het inkomen. Wat wat aan huur uitgegeven werd.

[0:59:56] In voor de duidelijkheid toen hij medio juni begon. Toen was er geen verslaglegging van. Uit deze brainstorm komen deze indicatoren of deze variabelen of dit was de logica toendertijd. Dat dat was er allemaal niet. Het enige wat u had als toegang tot de technische applicatie waar die waar die nu kon zien. Deze indicatoren zitten erin.

[1:00:14] Ik had juist samen.

[1:00:18] Ja. En in die technische applicatie kunt u daar daar zie je hoe het geprogrammeerd is natuurlijk ook daar geen technische termen afleiden hoe dat dan.

[1:00:25] Maar er staat niet een log in. We kijken naar afstand. Want of aantal kinderen is relevant. Want of dat klopt. De basistekst voor george munt. Want of dat dat stond er die gegevens. Dat had die reden,

[1:00:38] De achter de risico-indicatoren als als ik het zo mag vertalen. Die die stond niet op papier. Althans ik heb niet gezien.

[1:00:45] Ja. En toen toen ging kwam de doorontwikkeling

[1:00:48] in welke risico risico indicatoren aan toegevoegd door deloitte of door toeslagen of in samenwerking in in de fase dat er dat het verbeterd werd het model.

[1:00:58] Jaar ruwweg in dat jaar zijn. Het is zo is wel eens een enkele keer een risico indicator toegevoegd, met name omdat er op dat gebeurde dan omdat er op een andere manier een onterechte aanvraag naar boven was gekomen die niet door het risicomodel onderkend was.

[1:01:15] Dan werd hem eens gevraagd hoe klopt het nou dat het risicomodel die niet onderkend heeft,

[1:01:19] is er die technisch iets fout gegaan? Er was technische niks fout gegaan. Maar het model was nog niet in staat om die aanvraag te onderkennen.

[1:01:28] Ik herinner me dat er wel eens een indicator. Daarom is toegevoegd aan daarom aan de set is toegevoegd.

[1:01:33] Ik kan niet zeggen welke dat dan precies was. Oké dan weet ik niet meer.

[1:01:38] En is er een indicator toegevoegd die die opeens heel veel verklaarde dat het model echt vooruit sprongen in verklaringen variatie.

[1:01:47] Nee dat kan niet de enorme sprong maken. Dat kan eigenlijk niet meer want het model. Ik ga u al had al een hoge percentages negentig, vijfennegentig procent.

[1:01:56] Maar het begint nu toch.

[1:01:58] In in begin, toen ik erbij betrokken raakten zeker wel.

[1:02:00] Oké, maar het begin toen hij voor het eerst dat weet u nog het percentages. Toen was.

[1:02:05] Doet u op het gronings uit?

[1:02:07] Kan ik u alleen maar gericht aan voor wat u gaat het met de heer blankenstein.

[1:02:11] Maar dat is dus niet informatie die aan u wordt overgedragen. Toen u begon door uw collega's

[1:02:16] van een model vergaderen variant is nu x.

[1:02:19] Nee nee oké. En dan die test. Want welke test heeft u gedaan om te kijken.

[1:02:26] Goede indicatoren elkaar onderling beïnvloeden bij die doorontwikkeling

[1:02:31] of doet het model uit zichzelf in de programmering zoals die geschreven is.

[1:02:39] Nee, dat ze sorry dat zijn dat zijn details die die op de systemen van toeslagen toen zeker aanwezig zijn geweest, maar die ik nu uit mijn hoofd zo niet meer weten en ik schets u net ook. Er is geen. Er is geen over. Er is geen.

[1:02:52] Er is nooit een model geweest. Nooit data geweest op de de systeem zie ik heb dat niet kunnen terugzoeken.

[1:02:59] Ja

[1:03:00] ik ga deze vraag toch anders formuleren. Deze model. Je bent bezig model beter te laten werken. Er gaan indicatoren in en uit het wisselt elke maand worden wordt een andere met dezelfde basis set indicatoren meegenomen.

[1:03:12] Dat het enorm verschil. De elke maand.

[1:03:14] Want er kwam er af en toe wat bij na. Dat heeft hij net allemaal heel duidelijk verklaard in de periode. Dat begon medio juni is er gekeken op een andere manier descriptief of in het model zelf om te kijken. Dit is hoe de variabelen samenhangen.

[1:03:36] U had het eerder over. Ik heb wiskunde gestudeerd. We gaan heel veel test die je daarvoor doet welke tests werden in de techniek van het model gedaan.

[1:03:44] En bedoeld om bij het bij het maken van een model.

[1:03:46] Wij maken maar elke keer bij de her schatting ook weer.

[1:03:52] Ik weet niet meer precies welke statistische tests dagen daar gebruik zijn dat ze dat zit in de systemen. Dat zit in die logs. Maar ik kan me dat ik mijn hoofd niet herinneren.

[1:04:01] En klopt het dat dit in de governance onder de verantwoordelijkheid van deloitte viel.

[1:04:08] Nou ik zie dit wel. Ik zie dit niet in ieder geval als het als de verantwoordelijkheid van het technische team wat er wat er wat er werkte bestaande uit mensen van van de belastingdienst toeslagen van deloitte.

[1:04:19] En is er ooit een variabele uitgehaald omdat bleek dat de variabelen eigenlijk hetzelfde verklaarde als een andere variabelen omdat die twee in interactie waren of

[1:04:29] met een lelijk engels woord de spulletjes relatie hadden is dat wel eens gebeurd in de in de fase van doorontwikkeling.

[1:04:37] Ongetwijfeld is er is met zekerheid kan ik zeggen. Er zijn ook zeker variabele niet meer gebruikt. Dus het is niet zo dat er alleen maar variabelen aan toegevoegd werden. Er werden ook variabelen in een volgende run niet meer gebruikt, maar zonder de redenering. Want u zei wat is er is er eentje uitgehaald want

[1:04:55] enzovoort. Met die redenering die jongens er bij in mijn ogen. Dat is dat is niet wat er wat de statistische informatie aangeeft.

[1:05:03] Ik concludeer dat die ons hier niet zijn geen detail vragen maar ons gewoon niet concrete informatie kunt geven en was het de bedoeling om de risico indicatoren in één keer gelijktijdig te wegen. Ja, waarom.

[1:05:16] Omdat omdat ik van toeslagen begrijp dat dat de methodiek daarvoor juist anders was dat er inderdaad naar naar een specifieke indicator af en toe gekeken werd en dat iedereen die aan aan het criterium wat voor die indicator. God zeg maar voldeed dat die allemaal dan extra gecontroleerd zouden moeten worden dat dat leidde tot tot ongewenste situatie. Want dat model. Dat zou ook een vorm van een model kunnen noemen. Alleen dan heel heel grofmazig.

[1:05:45] Dat leidde niet tot de gewenste uitkomsten. Misschien mag misschien mag ik u daar een voorbeeld van geven.

[1:05:51] Ik begrijp dat er dat er eerder gekeken is naar naar

[1:05:57] aanvragen voor kinderopvangtoeslag, waarbij het kind wat naar de opvang gaat niet op hetzelfde adres woont als de als de persoon die het aanvraagt.

[1:06:07] Denkt u waarschijnlijk in eerste instantie dat dat zou kunnen zijn.

[1:06:11] Maar dus daar was een daar was een soort van model zou kunnen zeggen voor gemaakt. Er was naar gekeken in met een data analyse tot men bij de controle er achterkwam dat er iets zoiets bestaat als co ouderschap, waarbij de ouders uit elkaar zijn. Het kind woont bij de ene ouder in de gemeentelijke basisadministratie, maar de andere ouder vraagt de toeslag aan

[1:06:31] niet gewenst om daar controles op te doen. Juist. Daarom was mijn op zoek naar een model wat alle variabelen ineens college.

[1:06:37] Ja,

[1:06:39] zijn dit soort dingen die die want dit was in het model daarvoor dus voor de methode die die door deloitte is ingevoerd dat dit soort dingen zijn die eruit haalt ook in een pilot fase.

[1:06:54] Dit was meer een exemplarisch voorbeeld van iets wat mij toen verteld is in die periode.

[1:06:59] Maar in algemene zin. U doet vaak projecten. Je bedenkt. Hij denkt dit is logisch. Op basis van expert george munt je later datum. Je hebt de data. Je gaat het uitwerken en dan kom je bij het gebruik achterheen. Wacht even

[1:07:09] hier is wel een goede verklaring voor zijn dat een soort dingen die je normaal bij een pilot fase uithaalt.

[1:07:13] In algemene zin. Ja oké.

[1:07:17] We hebben het al een beetje geraakt. Maar hoeveel indicatoren zijn er daadwerkelijk in het model opgenomen. Weet u dat?

[1:07:23] Typisch werden door tussen de tien en vijftien echt gebruikt door het door het model statistisch relevant. Geacht model had nog meer variabelen tot tot haar beschikking.

[1:07:34] En die die bleven die met het model werden die ook gewoon echt permanent verwijderd. Die gegevens die niet geen statistische relevantie.

[1:07:41] Wij hadden degene die die geen statistische relevantie hadden we daarvan was de redenering dat hij bij de volgende run met met andere trainees cees weer wel relevant kon zijn die al die data nooit het afhoudend die data die data blijft behouden. Indicator werd dus niet gebruikt in een model. Oké.

[1:07:59] Maar er werden er werden geen indicatoren afgevoerd na zoveel runs bleek deze doet gewoon niks.

[1:08:07] Nee ik kan me niet herinneren dat we dat we dat we een dat we indicatoren afgevoerd uit die

[1:08:13] uit die lijst van alle tientallen variabelen.

[1:08:18] Ik ga deze vraag stellen een beetje kort door de bocht. Maar om het gewoon duidelijker te krijgen aan hoeveel indicatoren moeten aanvragen tegelijkertijd voldoen om een voorafgaande controle te krijgen om bovenaan die lijst te komen.

[1:08:31] Dat is dat is zo in het algemeen niet te zeggen. Maar typische aan gewijd dat mensen dan acht, tien of twaalf risicofactoren gelijktijdig voldeden.

[1:08:41] Maar wat maakt u schetst, schetst u al de situatie dat de de bovenkant van de hoge risico luisteren ik even zo mag noemen. Dus opgeleverd werd aan het toezicht die met de omvang van die lijst met bepaald

[1:08:52] door door de capaciteit die toeslagen daarvoor beschikken.

[1:08:55] Daar had en hoe worden de risico indicatoren gewogen en gecombineerd. Om de totale risico score te berekenen. Kunt u dat die simpele taal vertellen.

[1:09:07] Ja, dat ze dat is ingewikkeld uit te leggen. Dat zit in die logistieke regressie. Maar u kunt het zien als een soort rekenmodule misschien u zich in een excel zie een hele grote excel sheet voorstellen met met honderd duizenden regels en dus die tien tot vijftien variabelen in kolommen weergegeven

[1:09:25] en daar is een bepaalde bepaalde weging op waarbij dus per aanvraag een bepaalde weging doet van die vijftien risicofactoren, waar bij sommige dan voor die aanvraag een risicofactor nul kunnen hebben. Ook aan die draagt niks bij of of die draagt wel wat mij namelijk een verhoging van het risico of bepaalde indicatoren kon ook tot een verlaging van het risico leiden. Er zijn zeker ook factoren. Als daaraan voldaan werd, was er juist sprake van een lagere.

[1:09:52] De risico. Een voorbeeld van je verklaren verlaagd risico op een fout.

[1:10:01] Nee dat dat weet dat weet ik zo niet uit mijn hoofd nemen als echt informatie die in dat model die ik niet heb kunnen terugzoeken en niet meer weet van tien jaar geleden.

[1:10:08] Oké. En daar kwam dan een risico score uit en dat was een getal.

[1:10:13] Kunt u er eentje van dat getal even vertellen.

[1:10:16] Dat loopt van nul tot een tot nul, tot een van nul, inclusief nul tot en met een.

[1:10:20] De tot en met een en dan heb ik het getal is punt negenenveertig.

[1:10:26] Wat betekent dat kunt u dat uitleggen.

[1:10:29] Nee dat getal heeft niet zo niet zozeer een interpretatie die die moet vooral gezien worden in de onderlinge er in in de onderlinge volgorde

[1:10:37] van de aanvragen.

[1:10:39] Oké. Het is een ranking. Maar ik heb ik wilde zien opschrijven. De risico's score is nul komma negenenveertig.

[1:10:46] Hoe moet ik het getal dan interpreteren.

[1:10:48] Niet.

[1:10:54] Je moet je vooral interpreteren als het getal was die risico's was blijkbaar lager dan.

[1:11:00] Toch een hoger was, was er een verhoogde.

[1:11:04] Ik zal ook hoe de hoe dichter hoe dichter het getal bijeen zit, hoe hoger het risico.

[1:11:09] Dat betekent het getal. Gelukkig toch nog wat. Dus hoe bij de één

[1:11:14] maak ik me even af. Ik onderbrak u hoe hoger het risico. Hoe hoger risico hoe lager of negatief. Want u gaf aan dat je negatieve score kon hebben of.

[1:11:24] Een indicator kan tot een tot een verlaging van.

[1:11:30] Verlaat tot een verlaging van risico scoren leiden.

[1:11:32] Maar door de berekeningsmethodiek dat city statistische methodiek kun je nooit onder nul uitkomen.

[1:11:37] Als het nul of zo dicht mogelijk bij de nul dan.

[1:11:40] Wat nauwelijks niet of nauwelijks sprake van risico. Althans dit stuk wat wat het model beoogde doelen,

[1:11:47] Dus even voor de simpele mensen onder ons. Hoe hoger getal. Hoe hoger het risico. Dat is dat is wel de interpretatie die aan het getal kunnen.

[1:11:54] Geven dat in die zin.

[1:11:57] Is er een systeem om de betrouwbaarheid of validiteit van de risico indicatoren te meten en evalueren,

[1:12:09] Die in de twee dingen die ik schetst deze enerzijds die de statistische toets bij het bij het bij het opstellen van een bij het schatten van het model en anderzijds bij de bij de bij de output controle. Het percentages door het experts van toeslagen ook als een risico werd beoordeeld.

[1:12:23] Dat betekent dat dan dat in die feedback loop die je schetst met die twee functies die u had

[1:12:30] dat de keuzes die je gebruikt moet wel te laten leren. Dus heel essentieel zijn.

[1:12:35] Zeker.

[1:12:36] Want aan de hand daarvan traint het model zichzelf om beter te verklaren voordat risico fout.

[1:12:43] Dus die ik zie heel belangrijk. En wie maken die selectie ook alweer.

[1:12:47] De wij krijgen die aangelegd technische team krijgt die aangelegd van vanuit vanuit toeslagen.

[1:12:52] Die nooit bemoeide zich niet met die selectie.

[1:12:58] Wij hebben wij hebben ik heb ik kan ook mijzelf spreken in ieder geval aangeven dat ik heel vaak wel gehamerd hebben op dat we voldoende en kwalitatief goede training kees zouden ontvangen. Juist om daar een goede mix van training cursus te hebben. Inderdaad.

[1:13:13] Ja maar dan gaan we toch even governance. Het het aanleveren van van casus van gevallen van mensen of individuele zaken die gebruikt werden om het model te trainen. Dat was een taak in de verdeling die lag bij toeslagen dienst toeslagen van het model dat het rund. Dat lag bij deloitte.

[1:13:31] U heeft een lachen, maar ik lach mijn technische team, waarbij er daarvoor ingehuurd.

[1:13:34] Lag bij technisch team waarbij men afhankelijk was van de inhuur van deloitte.

[1:13:39] Ja juist erop gehamerd,

[1:13:43] maar heeft kunnen beoordelen of de kwaliteit van de keuzes die gebruikt werden om het model te laten trainen en te leren dat die voldoende waren dat die voldeden aan hetgene waar hij zelf op hamerde.

[1:13:55] Nou daar daar is vooral dat dat uitkomst percentages. Wat wat door hun experts als als hoog risico beoordeeld werd. Dat is daar het belangrijkste criterium voor.

[1:14:03] Dus dat is de vergelijking van de beoordeling van mensen zelf en die beoordeling speelt ook een rol in de keuzes die het model

[1:14:10] de gevoerd krijgt.

[1:14:15] Die speelt. Dat is één van één van de één van de stromen die leiden tot training. Kees is inderdaad accentueren.

[1:14:22] Meneer. Er was niet nog een aparte

[1:14:25] met zoals groep mensen die beoordeling deed los van de werkstromen die er al waren.

[1:14:35] Ik begrijp niet helemaal waar waar waartussen u niet zoals wil wil zetten.

[1:14:38] Ik wil helemaal. Ik wil helemaal geen doen wat ik wat ik probeer te beoordelen of wat ik probeer te vragen. Laat ik het nauwkeuriger zeggen is utrecht kees is dat heeft heel duidelijk gezegd in het verhoor. Die werden er toeslagen aangeleverd en er was ook een beoordeling door experts over of het nou of er een fout was gemaakt in die in die zaak waar mensen achter zit. Ja of nee.

[1:15:00] En

[1:15:01] diezelfde beoordeling speelt een rol bij de zaken die je terugkrijgt. Er zijn meerdere stromen. Dat heeft heel duidelijk verwoord werd het model nou ook getraind met beoordelingen. Los

[1:15:11] van de beoordeling die in de praktijk plaatsvonden.

[1:15:14] Dus dan wel aan select dan wel door een andere groep mensen.

[1:15:21] Je model kregen ook ook andere trainees casus gevoed, namelijk uit die uit die aselecte steekproeven die die ik u schetste en vanuit andere manieren andere controles die hadden plaatsgevonden, controles die niet op basis van de risicoselectie tot stand gekomen waren, maar op basis van andere mechanisme, maar wel altijd met juist de voorwaarden met het menselijk oog naar gekeken om zeker te weten dat het dat het dat het label wat er geplakt tijdens label van een hoog risico verlagen is een goede of foute casus dat we daar ook zeker met zekerheid van konden uitgaan. Het heel veel wordt weer heel veel wordt automatisch automatisch afgedaan. Daar wilden we niet van uitgaan.

[1:16:02] Oké. Duidelijk. Dus u was afhankelijk van de beoordeling vanuit de dienst toeslagen en u heeft benadrukt dat het belangrijk was die beoordeling juist was. Ja oké is rekening gehouden met eventuele ongewenste gevolgen van het model.

[1:16:18] En dan doet u specifiek op.

[1:16:20] Dat vraag ik aan u?

[1:16:24] Ik extra begin dit in het bij de taakverdeling en wortels de afstemming rond het model lag lag bij toeslagen.

[1:16:33] Oké. En is rekening gehouden met een mogelijk discriminatoir onderscheid tussen groepen op basis van persoonskenmerken zoals leeftijd, sekse of nationaliteit.

[1:16:46] Dat waren variabelen die zaken die u noemt waren waren onderdeel van het model. Inderdaad.

[1:16:54] Daar daar is blijkbaar de toeslagen de afweging op geweest en dat

[1:17:01] wat ik u schetst in de in de

[1:17:03] op het moment dat ik bij het model betrokken raakte

[1:17:06] waren die waren die indicatoren al een model aanwezig.

[1:17:10] En daar bent u gewoon mee verder gaan werken.

[1:17:13] Deloitte heeft van de belastingdienst de opdracht gekregen om een zelflerend model te creëren. U gaf net al aan in het verhoor met mevrouw simons.

[1:17:22] Uit onze gegevens blijkt dat model in woorden die ook in dit verhoor naar voren komen steeds in dezelfde hoek van de vijver vist.

[1:17:30] Hoe verklaart u dat.

[1:17:36] Dat weet ik niet.

[1:17:40] We hebben net een heel gesprek. Hele hele interactie gehad over die selectie bajes. Toen had u daar een hele duidelijke uitleg over.

[1:17:48] U heeft in tweeduizend veertien een gesprek gehad over over de pia

[1:17:53] meneer koelmans.

[1:17:55] Ik ga je toch vragen

[1:17:57] hoe

[1:17:59] hoe zou dit risico. Wat dus op. Vervolgens ook door collega's van toeslag is erkend en bevestigd, waardoor daarna ook weer verder is ontwikkeld of doorontwikkeld. Hoe kan het dat het model steeds in dezelfde hoek van de vijver vist

[1:18:13] dat het risico verhogen vergroot is.

[1:18:18] Ik oprecht. Ik zou ik zou niet weten hoe dat hoe dat de situatie die je schetst heeft kunnen zijn. Ik denk dat dat juist ook juist daarom

[1:18:29] het beeld wat u schetst. Juist daarom is het belangrijk is dat u dit als commissie onderzoekt.

[1:18:33] Dit is typisch een vraag die op basis van de data die toeslagen bezit heel goed te beantwoorden is maar ik heb die datum niet.

[1:18:46] Wat betekent zelflerend. Precies. Wat hield zo'n model in wat als het zelf lerende element in het model wat u gemaakt heeft als deloitte voor toeslagen.

[1:18:58] Belangrijkste aspecten was die weging ineens op op een aanvraag in één keer van een risico score te voorzien op basis van statistiek, zodat op basis van statistiek besloten.

[1:19:07] We zelf lerend.

[1:19:11] Omdat er dus omdat er misschien mag ik het afzet tegen tegen de situatie wat wat niet zelf lerend is is dat een mens bedenkt. Nou ik vind als iemand meer dan vijftien kilometer bij de kinderopvang vandaan woont dan vind ik dat er een verhoogd risico.

[1:19:29] Hier is juist de basis van statistiek beslist

[1:19:33] op basis van die van die goede en foute casussen beslist.

[1:19:39] Hoe ziet die verdeling in elkaar. En wat is wat is de basis van statistiek.

[1:19:43] Ik toch even. Dus je gaat op basis van expert george munt op basis van de kennis van mensen in de praktijk. Ga je variabele bedenken

[1:19:51] die data dataverzameling op basis van die data maak je een model.

[1:19:55] Het model. Laat je dan statistisch de beste relatie ordening maken om de beste kansen inschatting te maken er een fout heeft plaatsgevonden van nul tot een. Heeft u het heel duidelijk verklaard.

[1:20:07] Dan is het toch op basis hypothese is niet vastgelegd. Het is niet opgeschreven maar even toch wel degelijk eerst menselijk denken plaatsgevonden voordat

[1:20:17] het model gevormd werd.

[1:20:19] Ik geef heeft er menselijk denken plaatsgevonden. Maar de twee, twee cruciale punten denk ik. Die die het verschil maken.

[1:20:27] Dat is dat het model dat model op basis van dat zie ik ook voorstellen doet om bepaalde bepaalde indicatoren niet te gebruiken, zodat de experts die die hebben gezet. Die hebben bij de opzet van model aangegeven dat de factor zou kunnen zijn. Maar dat wordt niet bewezen door de statistiek. Dus een model. Dus die factor wordt niet gebruikt. Die indicator wordt niet gebruikt bij een aantal van de variabele ook gecombineerd nog met ook met een bepaalde grenzen. Daarin is bijvoorbeeld het voorbeeld van de afstand tot de kinderopvang. Wat wat ik u schetsen. Dan zou het zo zijn dat een expert bedenkt. Nou ik vijftien kilometer vind ik wel vind ik wel ver.

[1:21:02] Dat is dat is nogal arbitrair

[1:21:05] als deskundige vind ik dat je beter op basis van de statistiek kan besluiten

[1:21:08] wat welke aanvragen dus bij welke welke afstand ook in dit voor in dit voorbeeld leidt vaker tot een tot een verhoogd risico aanvraag en welke niet.

[1:21:19] Dus het zelf lerende zitten in het feit dat het model soms een een variabele wel meeneemt en soms vliet.

[1:21:27] Ja ook.

[1:21:28] In en de aftopping van de grenzen van sommige variabelen.

[1:21:32] En er zit erin zit er ook in waar we die voor hiervoor over hadden dat ook inderdaad de de casussen die die voor controle die die voor controle geselecteerd zijn gecontroleerd zijn

[1:21:44] dat die ook weer als voeding voor het model kunnen dienen. Maar dat is niet zelf.

[1:21:47] Want dat het model gewoon voeden met nieuwe testcases.

[1:21:51] Dat is niet zelf lerend toch meneer koelmans.

[1:21:55] Ik vind het voor mij is dat een semantische discussie te noemen we dat.

[1:22:00] Wij doen en

[1:22:04] wat was de noodzaak om het model zelf lerend te maken als onderdeel van de opdracht. Maar waarom was het belangrijk.

[1:22:11] In het voorbeeld van die van co ouderschap had had toeslagen. Dus dat was dit was een voorbeeld daarvan was er een methodiek die die teveel eendimensionaal keek

[1:22:23] dat dat was niet gewenst. Daarom was het juist van belang om om die om die variabelen gezamenlijk te wegen.

[1:22:32] U gaf het voorbeeld van afstand. De variabele afstand tot de opvang locatie dan in. Toch was dat een dynamische variabelen was dat er maar eentje. Dus als de afstand in rotterdam hetzelfde als bijvoorbeeld in oost groningen.

[1:22:45] Dus ging het model gewoon een aftoppingsgrens doen.

[1:22:49] Voor heel erg voor hele land. Bedoelt u in mijn herinnering voor het hele voor het hele land in de raad.

[1:22:55] Dat je het zelf lerende model.

[1:22:58] De afstand rotterdam was hetzelfde als die

[1:23:01] inhoud pekela.

[1:23:04] Het model bepaalde vooraf. Welke aanvragen eventueel risicovol zijn.

[1:23:08] Betekent dit dat het risico classificatie model ook een voorspellend model was.

[1:23:17] In de zin dat het een voorspelling doet in strikte zin een voorspelling doet over het risico. Ja je hebt geen absolute uitkomst van

[1:23:24] dit is dit is per c hoog risico en dit is zeker zeker geen risico. Nee, het is een 't is een statistisch model.

[1:23:34] En het doet een voorspelling op de kans dat er een fout is gemaakt, zeg ik dat goed.

[1:23:41] Ja.

[1:23:45] En klopt het dat het risico classificatie model alleen wordt ingezet op aanvragen voor een verhoging en voor nieuwe aanvragen.

[1:23:53] In strikte zin werd als model toegepast op alle aanvragen

[1:23:59] en vervolgens gefilterd op de de aanvragen die dan wel een nieuwe aanvraag zijn dan wel tot een verhoogd, tot een verhoging van de toeslag.

[1:24:07] Doorgeleiden. Oké. Dus geen aanpassingen op toeslagen die al.

[1:24:14] Die gewoon die of gewoon doorliepen waar bijvoorbeeld in die maand geen wijzigingen op waren die uit die zouden in de methodiek niet op die op die lijst belanden die daar het toezicht team gaat en ook wijzigingen die binnengekomen waren we toeslagen die tot een verlaging van de toeslag bedrag leiden ook die komen door die filtering niet op die lijst die aan toezicht die wordt opgedaan.

[1:24:36] Opgeleverd

[1:24:39] en in welke digitale data omgeving waar het risico classificatie model gebruikt en welke soort risico's werden geanalyseerd.

[1:24:46] In de sas software.

[1:24:48] En

[1:24:50] waar werd naar gekeken naar de aanvraag of de aanvrager. De aanvraag. De aanvraag betekent dat dat er dat iemand meerdere malen in het risico classificatie model kon zitten als er meerdere aanvragen worden gedaan of als een wijziging gedaan.

[1:25:04] Dat betekent dat iemand dat een. Dat betekent dat dat iemand dat iemands aanvraag,

[1:25:10] zowel bij de huurtoeslag als apart bij de kinderopvangtoeslag risicoselectie model ingeschat kan zijn dat risico. Ja dat kan.

[1:25:18] Als ik twee aanvraag hebt gedaan, zitten de twee keer in.

[1:25:21] Voor. Ja dat is een beetje techniek denk niet dat u twee aanvraag kunnen doen. U kunt een aanvraag doen. U kunt wijzigingen op die aanvraag indienen.

[1:25:29] Oké.

[1:25:30] Sowieso zie ik het

[1:25:32] of dat precies in lijn is met met de toeslagenwet en en hoe het hoe het primaire systeem van toeslagen week. Dat weet ik niet in de risicoclassificatie model

[1:25:44] had had een persoon altijd een

[1:25:50] persoon dat een kan een aanvraag voor de huurtoeslag kan maximaal één aanvraag voor de huurtoeslag hebben ook maximaal één aanvraag voor kinderopvangtoeslag hebben.

[1:25:59] En we hebben het hierover gehad en ik ga u nog een keer vragen kunt u zoveel mogelijk in simpele taal nog dat niet lukt. Mag u het met ingewikkelde taal doen. Hoe wordt bepaald welke combinatie van indicatoren risicovol zijn en hoe werd de risico's score berekend.

[1:26:17] Door het model. Dat zit in dat zit dus in die rekenen module van sas zou je kunnen zeggen in in de in de statistische.

[1:26:24] Als ik vraag hoe dat gebeurde? Kunt u dat vertellen?

[1:26:28] En wilt u achter de schermen initiatief software. Ja ja dat is uiteindelijk matrix rekenen

[1:26:34] dan moet u dus matrix een soort excelsheet gaf net gaf net als voorbeeld. Daar zijn daar zijn methodes voor om die om matrix met elkaar te vermenigvuldigen.

[1:26:43] Daar komen daar komen maatstaven uit en die en die zeggen iets over of het statistisch al dan niet relevant is om die variabelen te gaan gebruiken

[1:26:54] was daarvan doet het model dat en stelt uiteindelijk een model samen.

[1:26:58] Ja. En we hebben het al gehad over het zelf lerende element van het model en de opdracht

[1:27:06] kunt u in algemene zin vertellen in hoeverre het risicoclassificatie model in staat was om te leren en zich aan te passen aan veranderende omstandigheden.

[1:27:14] Ja dat deden wij in algemene zin één keer per maand werd dat werd het model verder. De modellen daarna apart voor de huur en kinderopvangtoeslag werden opnieuw geschat. In die zin werd het model elke keer opnieuw geschat en en lichtelijk aangepast.

[1:27:30] Meneer koelmans. Ik ga u vragen. U heeft nu en ik ik ben me er heel erg van bewust. Ik heb die vraag al een paar keer gesteld. Maar u helpt ons door daar zo duidelijk mogelijk in te zijn en misschien helpt het als u de matrix van xl aan de hand van een voorbeeld doet is dat we samen even de reis van je bent je bent een aanvraag. Je ziet je gaat door die verschillende fases heen, zodat wij wat beter kunnen snappen zo goed als mogelijk hoe dat nou gaat volgens mij zei u net onder de motie.

[1:28:00] Modern achter de schermen bij

[1:28:04] en wilt u dat ik een uitgave dat het model dat model al geschat is en dus toegepast wordt op een op een toeslag aanvraag. Bedoelt u dat

[1:28:14] dan dan zou het zo kunnen zijn dat dat een misschien kunnen we even uitgaan van een vrij eenvoudig model met met maar drie uur met maar drie variabelen bijvoorbeeld.

[1:28:26] Ik wilde het graag doen aan de hand van de risicoclassificatie morel

[1:28:30] en ik snap u gaat niet uit uw hoofd. Alle variabelen langs maar wilde dat alsjeblieft zo goed als.

[1:28:35] Dan dan is bijvoorbeeld.

[1:28:39] U mag ook de papier erbij dat u wat voorbeelden geeft.

[1:28:44] Ik zou kunnen zien als het toepassen van die van het model op al die aanvragen die die begint eigenlijk gewoon bij de bovenste regel van van het databestand waar het op toegepast moet worden. Waar staat bsn nummer je duizend en één

[1:28:59] daar staat bij risicofactor één

[1:29:03] staat een bepaalde waarde.

[1:29:05] Het model hangt daar een bepaald gewicht aan

[1:29:09] doet die vermenigvuldiging.

[1:29:11] Dat is een tussenresultaat gaat ie naar de volgende variabelen

[1:29:14] ook weer een waarde voor die variabelen

[1:29:17] model weet welke weging moet ik daar een geven.

[1:29:20] Tel, dat op bij het bij het tussenresultaat van daarvoor.

[1:29:24] Dus ga naar de komen heeft kinderen oppervlakte woning bij de huurtoeslag afstand tot aan de opvang. Om een.

[1:29:34] De zou kunnen. Even los van de vraag of dat of dat relevante variabelen in die maand inderdaad en vervolgens moet er nog als we wiskundige transformatie nog plaatsvinden berekening om totdat getal tussen nul en één te komen en dat gewicht.

[1:29:48] De terwijl u net zo je gaan hij de eerste langs en dan ga je naar de volgende altijd op. Dat is daar vooraf vastgesteld.

[1:29:54] Juist.

[1:29:56] En dat gewicht veranderde per maand.

[1:29:59] Maar niet een hele grote mate van de wisselingen waren heel beperkt.

[1:30:03] Dat klopt. Kunt u aangeven welke variabelen het meeste gewicht gaven? Nee, dat weet ik niet.

[1:30:09] Kunt u dat even opzoeken. Meneer commissie.

[1:30:11] Nee dat kan niet opzoeken want in de openbaarmaking van het risicomodel staat alleen welke factoren erg gebruik zijn, maar niet welke weging die precies gehad hebben in in elke afzonderlijke maand.

[1:30:21] Oké. En ook niet want u gaf aan de eerder in dit verhoor dat de vaststelling en dat er meer is vastgelegd datgene wat was vastgelegd, een verslag van was gedaan. Dat was in de ontwikkelfase dat dat wel gaat plaatsgevonden.

[1:30:39] Daar wat je wat is uw vraag eerder in het verhoor heeft hij aangegeven dat er wel verslaglegging eigenlijk alleen maar verslaglegging heeft plaatsgevonden aan het begin. Die informatie heeft u dus niet ook niet ingezien ter voorbereiding van dit openbare verhoren onder ede.

[1:30:54] Nee oké. En

[1:30:58] welke gegevensbronnen werden gebruikt om het model te voeden.

[1:31:04] Dat dat we aan gegevens die toeslagen al bezitten bezat al in al die al die in de systemen aanwezig waren en die die werden verzameld van verschillende

[1:31:16] plekken zogezegd van van de belastingdienst.

[1:31:19] Ja,

[1:31:20] kunt u daar wat voorbeelden van noemen.

[1:31:26] Vanuit het vanuit de aanvraag zelf. Natuurlijk komt er komt er komt er informatie over naar het aantal kinderen een aantal uren huurprijs bij de bij de kinderopvangtoeslag.

[1:31:35] Maar vanuit vanuit de blauwe kant van de belastingdienst is bijvoorbeeld van belang wat voor inkomen iemand gehad heeft in het jaar daarvoor.

[1:31:42] Ik weet even niet uit mijn hoofd of dat of het inkomen van het jaar ervoor ook in het risicomodel zat maar inkomen is iets wat wat ook qua worden meegewogen is zeker.

[1:31:52] En ook uitgesloten adressen ouder kind bezwaren hot hoor. Wat ik eerder noemde kort beschikkingen concept beschikkingen, meldingen en vrs onbekende aanvragers. Dat waren een paar databronnen en hoeverre de geven.

[1:32:08] Vijf al even als ik als ik nog een week of de alle varianten die u noemt ook onderdeel van het model waren.

[1:32:13] Maar hij heeft heel duidelijk verklaard al een aantal keren dat niet alles gebruikt werd dat ook in het model dingen zaten die niet altijd mee naar een genomen wanneer u dat elke maand andere variabelen. Dus dat heeft hij heel duidelijk gemaakt. Hoe werden de gegevens uit deze bronnen geëvolueerd op betrouwbaarheid relevantie.

[1:32:28] Door het statistisch model,

[1:32:31] En werd er gebruik gemaakt van kunstmatige intelligentie om het zelflerend vermogen van het risico classificatie model te verbeteren.

[1:32:38] In mijn ogen is suggestie, suggestie geen kunstmatige intelligentie, maar daar valt over te discussiëren. Heel.

[1:32:45] Het antwoord is nee.

[1:32:46] In mijn ogen,

[1:32:48] Werden er statistische analyses uitgevoerd om de effectiviteit van het zelf zelflerend vermogen van model te meten en te evalueren,

[1:32:57] Kunt u dan nog een keer herhalen?

[1:32:58] Of er statistische analyses uitgevoerd werden om de effectiviteit van het zelf lerend vermogen van het model te meten en te evalueren.

[1:33:07] U gaf net aan. Er zijn twee elementen waardoor het zelflerend is. Het eerste is er zijn testcases. Ten tweede was sommige grenzen die werden aangegeven is als ge evolueert hoe goed dat die beperkte elementen van het zelf lerende hoe goed die waren.

[1:33:22] In mijn herinnering niet anders dan ik u al schetste.

[1:33:25] Mijn punt. Oké. En waren er beperkingen of risico's verbonden aan het zelf leren en voorspellende vermogen van het model.

[1:33:34] Zeker als je zeker heeft het heeft zomaar het gebruiken van een van een statistisch model natuurlijk beperkingen.

[1:33:39] Ja. En hoe werden risico's gemitigeerd.

[1:33:45] En dat doet de risico's van het gebruik van het model, waardoor u precies op.

[1:33:50] Risico's verbonden aan het zelf lerende voorspellende vermogen.

[1:33:56] Hoofdzaak, hoofdzakelijk door de door ervoor te zorgen dat de trainees casus uit verschillende bronnen kwamen er wel en door het menselijk oog beoordeeld zijn

[1:34:08] op risico.

[1:34:10] En wie was er verantwoordelijk voor de werking van het model en die hield toezicht op het zelf lerende proces.

[1:34:22] Nee ik denk in in technische zin was was daar was daar het wat daar technische dienst natuurlijk voor voor het voor het zelflerend voor het lerende karakter en voor het maandelijks schatten van het model zal een antwoord op uw vraag.

[1:34:36] Ik stel de vraag aan u gaf het antwoord dat beantwoorden is dat het antwoord heeft nu een paar keer benadrukt dat het technische element en dan kwamen een beetje op die taakverdeling

[1:34:45] die hele harde scheiding tussen dat technische

[1:34:48] en de andere elementen

[1:34:51] is, is dat gebruikelijk?

[1:34:57] Dat is dat is wel gebruikelijk in die zin dat ik er natuurlijk wel vanuit mijn technische expertise ook als mijn verantwoordelijk vrij voel om het overleg aan te gaan met en te helpen waar waar mogelijk met met mensen met met andere taken uiteraard.

[1:35:15] Bent u bent u aan als

[1:35:20] u bent manager analytics en daarvoor en nu senior manager bij deloitte.

[1:35:25] Om een kwalitatief hoog staand model af te leveren, is het dan een randvoorwaarde om ook van de materie op de hoogte te zijn.

[1:35:36] En om dan bedoelt u specifiek op het gebied van in dit geval toeslagen en ik bedoel het in algemene zin in algemene zin denk ik dat van belang is dat dat die expertise aanwezig is in het projectteam. Maar je kan prima. Een theoretisch kun je een

[1:35:51] kun je een statistisch model maken op een onderwerp waar waar de waar de techneuten zich geen verstand van heeft

[1:35:58] als voor gezorgd wordt dat dat het het project team als geheel die expertise wel heeft samenwerking elkaar aanvullen.

[1:36:05] Uit ons onderzoek is naar voren gekomen dat die ook betrokken bent geweest bij de ontwikkeling van de risicoscan verblijf in het buitenland van het uwv. Deze scan is van latere datum, namelijk tweeduizendzeventien.

[1:36:17] Kunt u de commissie vertellen wat de verschillen zijn en overeenkomsten tussen de risicoscan van het uwv en het risicoclassificatie model van toeslagen.

[1:36:33] In in. Ik ben daar. Ik ben daar bij de uwv ook betrokken geweest. Helemaal aan bij in de beginfase van van het project en bij het en niet meer bij het het technisch werkend krijgen van dat model daar ook niet niet de data gezien. Dus ik vind het lastig om daar om daar

[1:36:52] verschil of overeenkomst op te benoemen.

[1:36:53] Dit zijn allerlei projecten. U geeft heel duidelijk aan. Ik heb daar verschillende rollen gehad en andere fase is dat is heel duidelijk meneer koelmans. Maar kunt u iets zeggen over in algemene zin verschillen en overeenkomsten.

[1:37:10] Ik denk dat overeenkomst is dat er dat er zo'n model gebruikt is

[1:37:17] verschillen zullen er te over zijn omdat er omdat er hele andere data gebruikt wordt. Dat is een beetje een open deur.

[1:37:24] Ik geef het woord aan mevrouw simons.

[1:37:27] Dank collega

[1:37:29] excuses meneer koelmans. Ik heb tot slot nog enkele vragen aan u over het maandelijks gebruik van het risico classificatie model door toeslagen kregen we feedback van de dienst toeslagen over hoe het model maandelijks werd toegepast en met welk resultaat.

[1:37:43] Zeker in dat percentages. Wat ook door de experts van toeslagen als hoog kwaliteit beoordeeld kwam dat zeker terug. Kreeg u die het die feedback.

[1:37:53] Op schrift via de e-mail onderhandeling mondeling. Ook daar zijn geen rapport rapporten verslag.

[1:37:58] Vragen. Notulen. Dat soort dingen van.

[1:38:03] U wilde er al iets over vertellen hoe luiden die feedback?

[1:38:08] U kreeg wel eens feedback. Hoe luiden die feedback?

[1:38:11] Het positief dat percentages van negentig, vijfennegentig procent werd als hoger ervaren. Daar was men tevreden mee.

[1:38:18] Jazeker. En van wie kreeg u die feedback

[1:38:24] die.

[1:38:25] Ik denk voor formeel van de opdrachtgever. Maar in de praktijk van de teamleider handhavers, regie, maar ook van de ook van andere betrokkenen

[1:38:35] die die dan die die met dat percentages naar ons terugkwamen als daar.

[1:38:41] Nou hebben we ook begrepen dat gecorrigeerd u mij als ik het verkeerd. U heeft er ook al even aangeraakt met mijn collega's maatoug.

[1:38:48] U zegt vijfennegentig procent van wat het model uit wierp

[1:38:53] werd bevestigd in als zijnde correct

[1:38:57] door medewerkers van de dienst toeslagen.

[1:39:01] Ja, werd correct. Als je ook werd dat het hoog risico werd ook door hen onderkend.

[1:39:07] En er is het zo dat

[1:39:10] dat

[1:39:12] min of meer

[1:39:14] al dan niet in zijn geheel

[1:39:17] dus dezelfde groep mensen was die in eerste instantie betrokken waren bij het selecteren van de risico indicatoren.

[1:39:26] Er is ervaring, er is ervaring.

[1:39:28] Ik denk ik niet. Dat denkt u niet. Dat denk dat nou.

[1:39:35] Ik sta onder ede. Het formele antwoord is. Ik was ik was niet bij de dat de brug. De kroning weekend. Dus ik weet niet precies hoe die indicatoren tot stand zijn gekomen en wie welke mensen dat het idee hebben gehad om specifieke risico indicatoren in het model op te nemen.

[1:39:54] Ik hoor een kom aan meneer koelmans.

[1:39:57] Er was voor uw vraag even kwijt. Mijn vraag was eigenlijk dezelfde mensen waren.

[1:40:01] Mijn vraag was eigenlijk

[1:40:04] en werd een pers en er werd een percentages gevallen. K zes uitgeworpen. Zo noemen dan gingen de medewerkers van de dienst toeslagen checken of zij het eens waren met het feit dat deze casus werden uitgeworpen als zijnde een verhoogd risico op basis van hun

[1:40:24] ervaring en expertise die ze hebben opgedaan in hun functie jarenlang binnen de dienst.

[1:40:31] Ja.

[1:40:36] En u zegt ik was er in het weekend niet bij. Maar het heeft er alle schijn van dat in dat weekend ook indicatoren zijn aangedragen door mensen van dienst toeslagen met jarenlange ervaring omdat zij casus behandelde.

[1:40:54] Die aanname. Dat klinkt logisch. Als u dat zo zegt. Maar nogmaals ik was er niet bij en ik weet niet of dat dezelfde mensen waren die die beoordeling deden die later tot dienen tot die negentig, vijf.

[1:41:04] De procent leiden. Dan kunnen hooguit stellen dat het ook mensen waren die

[1:41:08] jarenlange ervaring hadden

[1:41:11] in de uitvoering bij de dienst toeslagen of dat dezelfde mensen waren. Dat weten we niet. Er is niets gedocumenteerd,

[1:41:18] maar we weten wel dat er mensen aanwezig waren die

[1:41:21] u gebruikt net het woord niet ervaringsdeskundige. Maar u gebruikt een ander voor experts denk ik had iets met ervaring te maken.

[1:41:29] Weet u dat nog.

[1:41:31] Nee.

[1:41:32] Mensen met ervaring in de uitvoering bij toeslagen

[1:41:36] die krijgen een uitvoeren van een

[1:41:39] statistisch risico classificatie model en gaan er op basis van hun ervaring kijken of zij vinden dat dat klopt

[1:41:47] dat dat inderdaad

[1:41:49] casus betreft met een hoger risico op fouten en of

[1:41:53] u zegt en fouten en fraude.

[1:41:55] Maar goed begrepen. Op basis van die controle van die van die beoordeling werden er werden de vragen gesteld aan de aan de aanvrager bij de eventuele bewijsstukken opgevraagd.

[1:42:05] Wat er ook gebeurde. Meneer kom eens is dat ze bij u terug kwamen en zeiden

[1:42:09] wij zien dat het goed is zien dat vijfennegentig procent van deze gevallen inderdaad een hoger risico betreft en wat er ook gebeurde. Meneer koeman is dat die data dan vervolgens weer werd teruggevoerd in het model.

[1:42:25] Maar pas na een naar een veel naar een na een grondige beoordeling, inclusief dat het contact opnemen met de burger en die bewijsstukken.

[1:42:33] Zo begreep ik dat. En daarna zegt u werd het pas weer teruggegeven aan het model. Zeker.

[1:42:38] Want dat percentages dat dat was op de dag van die risico van die maand was dat percentages meteen nodig want de percentages nodig om te beslissen over al dan niet accepteren van het.

[1:42:49] En hoe ging het dan terug? Het modellen als zijnde inderdaad? Dit was een hoog risico. Het klopt fijn dat we het gecheckt hebben maar dankuwel. Wat ging er dan terug het modellen.

[1:42:59] Na nadat contact met de burger. Zo begrijp ik kon dat het model ingevoerd worden in de zin van een nieuwe goed dan wel fout casus.

[1:43:11] Dus

[1:43:12] het model werpt hoog risico casus uit die worden door mensen gecheckt. De burger wordt gebeld.

[1:43:21] En wat doet dan deze medewerker nadat die de burger heeft gebeld en heeft geconstateerd dat er misschien al dan niet fouten zijn gemaakt.

[1:43:29] Dan komt die tot een finaal oordeel over die over die toeslagen aanvragen

[1:43:34] en dat oordeel voorzien van de van dat van het aanvraag nummer wordt er wordt teruggevoerd in het model.

[1:43:40] En wat wat voegt hij eraan toe. Wat voegt dan toe aan het model?

[1:43:44] Los van de casus. Dan moet je ook toevoegen. Deze was uitgeworpen als zijnde fout maar eens na een telefoontje gebleken van niet of deze was uitgeworpen zijn. De fout is inderdaad.

[1:43:53] Fout gebleken. Dat is het label waren waar waar ik op doelde. Dus er wordt ook bij elke training casus wordt ook aangegeven of dat juist een een goed of fout casus is.

[1:44:04] Wat vindt wat vindt u van van deze is dat een is dat een statistisch gezien wetenschappelijk gezien een betrouwbare manier van werken.

[1:44:14] Ik sta erachter. Ja.

[1:44:17] Juist ook een antwoord.

[1:44:20] Ja, er zijn geen goede en foute antwoorden. Slechts uw antwoorden.

[1:44:27] Het eindproduct van het risicoclassificatie model was dus een lijst met de meest risicovolle aanvragen van die maand en

[1:44:35] heeft zich vergewist van hoe u vertelde net dan wordt er gebeld. Hoe heeft zich ervan vergewist dat op deze manier vervolgd werd gegeven aan die uitwerpen.

[1:44:50] Niet.

[1:44:51] Behalve in de zin dat we dat dus dat casussen terug terug bij ons kwamen als als trainer keizers, maar ook daar is niet weet.

[1:45:00] Ik zie op welke manier en vervolg werd gegeven door medewerkers van de dienst toeslagen met betrekking tot die.

[1:45:06] Was er duidelijk niet meer. Niet mijn expertise duidelijk in de taakverdeling niet bij mij belegd.

[1:45:12] Weet u of er wel eens aselecte controles hebben plaatsgevonden na ingebruikname van het model?

[1:45:18] Ik weet dat wij aselecte steekproef hebben opgeleverd.

[1:45:23] En daar en daar en een deel daarvan ook teruggekoppeld hebben gekregen als training cursus.

[1:45:28] Dan heeft u daarover gerapporteerd. Is dat beschreven zijn er documenten van.

[1:45:32] Nee.

[1:45:37] In hoeverre is mijn vraag aan u? Tot slot

[1:45:42] was het risico classificatie model daadwerkelijk zelf lerend.

[1:45:46] We hebben net geconstateerd in gesprek met mijn collega's dat het niet zozeer zelf lerend was, maar die vertelt mij nu ook net

[1:45:54] na een menselijke

[1:45:57] interventie wordt informatie teruggegeven aan het model is het dan zelf lerend of is het model ook afhankelijk van wat en hoe er dan weer teruggegeven wordt aan het model

[1:46:10] door menselijke tussenkomst.

[1:46:14] Er is het zeker een zekere menselijke tussenkomst, in. Absoluut.

[1:46:17] In hoeverre is het model zelf lerend?

[1:46:25] Ingewikkelde vragen om omdat ze omdat ze zelf op de punten die ik beschreef is het zelflerend of het model. Daarmee is zelflerend is. Ik vind ik een ingewikkelde vraag.

[1:46:37] De lloyd is aangetrokken om een zelf om een bestaand model zelf lerend te maken.

[1:46:45] Hoe is dat

[1:46:47] gelukt. Is het model zelf leren om volgens u meneer koelmans.

[1:46:50] In mijn ogen is het legend.

[1:46:53] En op welke manier is het zelflerend. Wat leert het zelf.

[1:46:57] Doordat het het model. Dat is de christenunie. Één van één van de twee cruciale factoren is dat het model op basis van statistiek beslist of voorstel eigenlijk snelle acceptatie op basis van statistiek kan bepalen

[1:47:11] welke factoren op welke manier van belang zijn

[1:47:17] van de uitkomst kan vervolgens via de menselijke tussenkomst. Dat klopt helemaal wat u zegt maar van de uitkomst kan uiteindelijk weer geleerd worden doordat dat de nieuwe training. Kees wordt.

[1:47:26] Liggen termijn meneer koeman zal zijn er bijna geen voorbeelden van een zelf lerend proces.

[1:47:31] In mijn ogen zijn voorbeelden van een zelf lerend proces.

[1:47:34] Door menselijke tussenkomst wordt de nieuwe informatie toegevoegd

[1:47:39] en u zegt dan is het zelflerend.

[1:47:43] Dat is wat we wat we daar al wat we daarmee bedoelden.

[1:47:47] Volgens mij was dat ook. Dat was het doel van de opdracht.

[1:47:50] Dat is het zelf liggende karakter.

[1:47:54] Dan ga ik u vragen

[1:47:59] was het model ook geschikt om ingezet te worden op de manier zoals het door de dienst toeslagen is ingezet

[1:48:07] met de kennis van vandaag.

[1:48:16] Ik daar kan het getuigenis niet verklaren over hoe toeslagen dat moet allemaal precies is ingezet. Ik weet wel dat wij dat we ook gedurende opdracht gesignaleerd hebben dat dat het model

[1:48:29] dat model ook gebruikt werd voor processen buiten de buiten. Wat ik u schetste.

[1:48:36] Kunt u specifiek zijn. Wat schetst u op welk moment

[1:48:39] buiten wat ik u schetst, zegt u.

[1:48:41] Buiten buiten het opleveren van die lijst toezicht team

[1:48:48] en die dat percentages wat daarop terugkwam, begrepen wij in de loop van de opdracht dat het ook op andere plekken gebruikt werd op ander op andere manieren daardoor ook voor gewaarschuwd dat het dat dat daar het model niet geschikt voor niet geschikt.

[1:49:03] Voor voor is, is het verantwoord. U heeft daar al iets over gezegd

[1:49:09] om de pilot fase over te slaan bij dergelijke

[1:49:14] grote processen.

[1:49:19] Dat hangt helemaal af van de van in die auto op straat. De de tv test. En hoe daarnaar gekeken.

[1:49:26] Wordt en in dit specifieke geval.

[1:49:29] Weet ik de resultaten van van het gronings weekend niet. Dus ik kan niet over oordelen.

[1:49:34] Heeft u enig idee of het enige invloed heeft gehad. Het feit dat de pilot fase is overgeslagen,

[1:49:43] heeft in een later stadium terwijl ik met het project bezig was gemerkt dat er misschien op sommige plekken

[1:49:50] dingen anders hadden gemoeten of gekund die wellicht boven waren gekomen bij een pilot.

[1:50:04] Nee dat kan ik kan ik me niet kan me niet herinneren. Ik zie het bovendien ook niet zoals dat dat een pilot fase overgeslagen zou zijn.

[1:50:11] Nee want die is volgens u wel uitgevoerd. Maar dan binnen dat dat weekend van zevenentwintig tot en met dertig april

[1:50:18] heb ik dat getest.

[1:50:20] Wij test in ieder geval in elke maandelijkse runnen. Inderdaad

[1:50:22] werd er werd er getest en werd er beslist over acceptatie van dat model of niet.

[1:50:28] En

[1:50:31] als u vandaag een dergelijke opdracht weer zou krijgen, zou u akkoord gaan met het

[1:50:37] snel ontwikkelen testen en in werking zetten binnen

[1:50:43] drie dagen.

[1:50:47] Met met de kennis van nu

[1:50:52] met met de kennis van nu is dat inderdaad is dat lastig.

[1:50:55] Zou u dat nu

[1:50:55] dit moment.

[1:50:57] Het is een gesloten vraag. Ja of nee zou je dat nu op dit moment acceptabel vinden.

[1:51:06] Dat hangt van de toepassing van het model af.

[1:51:09] En in mijn vraag zij een dergelijk model met de dergelijke toepassing zoals dit model door de dienst toeslagen van de nederlandse belastingdienst is ge implementeert. Zou u dat op dit moment verstandig vinden om dat te doen.

[1:51:22] Volgens de cel hetzelfde proces als nu is gebeurd.

[1:51:29] De weet ik echt niet.

[1:51:31] En zou u het op dit moment

[1:51:33] bij een dergelijke opdracht

[1:51:36] van een dergelijke opdrachtgever

[1:51:40] weer acceptabel vinden als er geen enkele vorm van verslaglegging plaatsvindt?

[1:51:46] Wat is het grootste bezwaar?

[1:51:49] Wat is uw grootste bezwaar? Met het feit dat er geen enkele

[1:51:54] verslaglegging is van dit hele proces.

[1:51:59] Dat het uiteindelijk voor dat dat geen professionele benadering is van zo'n project en dat daarmee ook ook beslissingen die genomen zijn niet niet terug te zoeken zijn.

[1:52:07] En vindt u dat dat dan verantwoordelijkheid was of in de toekomst zal moeten zijn

[1:52:12] van

[1:52:13] een organisatie als deloitte.

[1:52:15] Zeker ook dat daar liggen absoluut een gezamenlijke gezamenlijke verantwoordelijkheid die die projecten doen wij ook heel anders.

[1:52:24] En toch wil ik toch nog.

[1:52:25] En als mijn allerlaatste vraag weten waarom u in de loop van dat project ook al bent u later ingestapt op geen enkel moment vanuit diezelfde verantwoordelijkheid

[1:52:34] het gevoel hebt gehad om dingen toch maar eens te gaan documenteren.

[1:52:41] Bepaalde dingen zijn. We zijn wel degelijk gedocumenteerd. Ook in de loop van het er in de loop van het project, maar deze punten die die acceptatie beslissingen die niet maar zeker wel de controles op de op de input data bijvoorbeeld de vraag welke indicatoren precies in welke maand gebruikt werden. Dat is wel dat is wel gedocumenteerd.

[1:53:01] Dus het is niet zo dat er helemaal niets gedocumenteerd werd, maar een aantal cruciale dingen zeker ook niet. En dat had wel gemoeten.

[1:53:07] Dankuwel. Ik geef het woord aan onze voorzitter,

[1:53:10] dat betekent dat we bijna bij het einde van het verhoor zijn gekomen.

[1:53:13] Maar ik heb toch nog wel een vraag. U zei net dat u gewaarschuwd had.

[1:53:22] Nee, eerst het volgende. U gaf aan dat dat het model ook gebruikt werd op andere plekken

[1:53:27] dan waarvoor het bedoeld was. Kunt u daar iets over vertellen?

[1:53:30] Ja ik weet niet meer precies op welke plekken dan maar ik heb er al in de stukken terug gelezen en ik heb gelezen dat we daar ook voor gewaarschuwd hebben. Inderdaad.

[1:53:39] Kunt u dat iets specifieker maken?

[1:53:42] Waar heeft die voor gewaarschuwd

[1:53:44] voor gewaarschuwd.

[1:53:49] Ik kan u citeren uit uit de stukken daar waarin staat wij herkennen dat de risico scoren in de organisatie een steeds grotere grote belang krijgen, bijvoorbeeld in de alleen maar ook in ad hoc, ad hoc toezicht acties. Dit is een vooruitstrevende ontwikkeling, maar vereist volgens ons,

[1:54:09] volgens ons nog spelfout, volgens ons ook een model dat uitstekend in plaats van goed gefundeerd volledig up-to-date is. Bovendien zien wij een beter begrip van de betekenis van de scores binnen de organisatie als essentiële voorwaarde.

[1:54:22] Dit is tegen de achtergrond dat dat op dat moment ook constateren in diezelfde periode dat het model toen toeslagen het zelf in in gebruik had een aantal maanden toen niet meer getraind was niet meer opnieuw getraind werd.

[1:54:35] En waar ze waar leest u dit uitvoeren?

[1:54:37] Dit leidt dit lees ik voor uit een uiteraard een stuk wat wat op het allerlaatste contact wat ik in de projecten met met toeslag heb gehad.

[1:54:44] Dat de naam is dat een formeel rapport is als het de memo van wat wat.

[1:54:48] Dat was dat nou dat stuk dat dat heet update risicoselectie overzicht werkzaamheden deloitte vier januari tweeduizend zestien ingehuurd formeel tot en met december tweeduizend vijftien. Dit stuk nog verstuurd op de eerste werkdag van.

[1:55:00] De nieuwe jaar.

[1:55:02] Wie was dat van gericht?

[1:55:04] Aan de teamleider handhavingsregime intelligence.

[1:55:09] En u weet dus niet meer want die zei dat werd dan daarna werd dat gestuurd wat er wat ermee gebeurd is of ze hebben geluisterd naar de waarschuwingen die u hebt gegeven.

[1:55:16] Nee dat zou kunnen. Ik zou zeggen.

[1:55:18] Dan kunt u niets over zeggen.

[1:55:19] Die niet. Dat weet dat weet ik niet.

[1:55:23] Oké

[1:55:26] dan heb ik tot slot nog een andere vragen. Mevrouw simons vroeg eigenlijk ook al. U gaf op gegeven moment aan tijdens het verhoor dat op op de vraag gaf u op de vraag van van ongewenste gevolg gevolgen hebben. Die ligt een eigenlijk die verantwoordelijkheid en u gaf aan

[1:55:46] de ongewenste gevolgen vanuit het model ligt bij toeslagen.

[1:55:51] Toch heb ik u verkeerd geciteerd.

[1:55:56] Formeel is het antwoord denk ik. Ja. In de zin van. Natuurlijk voelde wij natuurlijk voor de de verplichting om ook als projectteam gezamenlijk waar wij een onderdeel van waren natuurlijk een goed project neer te zetten. Dus daar daar zit bijvoorbeeld het het hardmaken voor genoeg en voldoende training. Kees zie ik als onderdeel van van die van die morele verantwoordelijkheid om een project als geheel een succes te maken.

[1:56:20] De organisatie van u, maar ook vele andere organisaties worden ingehuurd. Die krijgen dan een bepaalde opdracht ondersteunen erin geven adviezen maar zijn dan in die niet eind verantwoordelijk als er negatieve gevolgen zelfs in sommige gevallen destructieve gevolgen uit kunnen voortkomen. Is er een discussie gaande over of dat

[1:56:41] of dat

[1:56:43] iets is wat wel ook een verantwoordelijkheid zou mogen zijn van

[1:56:47] verschillende corporate organisaties die adviezen geven.

[1:56:51] Zoals bij mijn werkgever bedoeld,

[1:56:53] Uw werkgever.

[1:56:55] Nou ik weet ik weet dat wij dat dat wij een voorkeur hebben inderdaad voor voor meer verantwoordelijkheid in projecten met een met een met een volledig team van van verschillende expertise verschillende expertise gebieden in zo'n project bij een klant werkzaam zijn. Dat heeft dat heeft zeker onze voorkeur ook in de ook in dit geval bij bij toeslagen heeft dat onze voorkeur gehad begrijp ik van collega's. Dat is ook dat is ook aangeboden. Toeslagen heeft ervoor gekozen om alleen het alleen expertise op het technische stuk van ons in te huren.

[1:57:27] En wat wat zijn daar de implicaties van maar wat zegt u nu eigenlijk van wij hebben die expertise die hebben we aangeboden

[1:57:34] toeslagen heeft gezegd dat hoeft niet. We doen alleen de techniek.

[1:57:38] Waarom is dat belangrijk dat je alle expertise aan boord hebt.

[1:57:43] Om uiteindelijk met met het hele projectteam ervoor te zorgen dat het project natuurlijk als geheel een succes wordt.

[1:57:48] Zeker.

[1:57:49] En dus ook negatieve gevolgen eventueel beter kunt

[1:57:53] u kunt voorkomen. Absoluut. Weet je nog wie wij heeft gezegd bij toeslagen onder

[1:57:59] maar wat wat kleiner kindje. Wat wat minder adviseurs van deloitte naar binnen te halen.

[1:58:05] Nee dat weet ik niet wat het is niet aan mij gezegd ik heb dit van collega's begrepen. Oké. En weet je ook nog.

[1:58:09] Dit college heeft gezegd waarom dat zo was.

[1:58:12] Nee oké.

[1:58:14] Dus los van het gegeven meer mensen binnenhalen was mijn vraag natuurlijk ook wat breder of je wat steviger moet erin moet zitten als het gaat over ongewenste gevolgen

[1:58:29] of blijft het dan alleen bij waarschuwen en daarna houdt het op want dat was geen onderdeel van de opdracht. Wat vindt u ervan als je als je terugkijkt op op dit is er een les waarvan u zegt nou los. Even van alle gespecificeerde antwoorden. Die heeft gegeven. Is er iets wat je je uit zou kunnen leren.

[1:58:45] Wij lossen los van dat het dat dit in onze organisatie vooral de vooral de verantwoordelijkheid van de partner of de rechter die die de opdracht verkopen is geen aanneemt. Maar als persoon. Als u maar als u mij toestaat dan is dat is dat zeker een goede ontwikkeling. Ik vind ik als bedrijf onder meer van die verantwoordelijkheid te nemen. Inderdaad

[1:59:05] als ik ook hierop terugkijken. Inderdaad als je als u mij toestaat ook als burger geinteresseerden burger die dit dossier natuurlijk volgt dan is verschrikkelijk. Wat de slachtoffers van de toeslagenaffaire is overkomen dat we dat had nooit mogen gebeuren. Juist jaren natuurlijk ook zo belangrijk dat u als commissie dit onderzoekt.

[1:59:21] Dankuwel forum voor dit verhoor, en ik sluit hierbij de vergadering.