Aanbieding en gesprek over RAN door de Autoriteit Persoonsgegevens (AP)

[0:00:22] Nou, goedemiddag.

[0:00:24] Welkom bij de aanbieding en de presentatie van de rapportage AI en algoritme risico's in Nederland.

[0:00:33] We heten de mensen op de publieke tribune natuurlijk van harte welkom.

[0:00:36] Ook de mensen die dit van afstand volgen.

[0:00:39] En natuurlijk onze gasten van de autoriteit persoonsgevens.

[0:00:43] De voorzitter, de heer Wolfsen.

[0:00:45] En de directeur van de directie coördinatie algoritmes, de heer Stevenson.

[0:00:49] Welkom.

[0:00:50] Ik zal ook even de leden van de Tweede Kamer voorstellen.

[0:00:54] Dat is de heer Siks Dijkstra van Nieuw Sociaal Contract.

[0:00:57] De heer Koops van Nieuw Sociaal Contract.

[0:00:59] Mevrouw Dural van de VVD.

[0:01:01] Meneer Valisse van de PVV en mevrouw Katman met nog geen bordje van PvdA GroenLinks.

[0:01:07] GroenLinks, PvdA, excuses.

[0:01:10] U heeft een presentatie voorbereid.

[0:01:13] Ik stel voor dat we die presentatie eerst helemaal behandelen en dat we dan starten met een vragenrondje.

[0:01:20] De floor is yours.

[0:01:22] Dank u wel, mevrouw de voorzitter.

[0:01:24] Geachte leden, dank voor de uitnodiging.

[0:01:25] We vinden het altijd mooi om hier over ons werk te komen vertellen.

[0:01:28] En dank voor uw belangstelling daarvoor ook.

[0:01:30] We hebben nu een groot aantal sheets toegestuurd.

[0:01:33] Vrees niet.

[0:01:34] Daar gaan we straks snel doorheen bladeren, dus ruimte genoeg voor vragen.

[0:01:38] Dus ontspan dat u niet denkt van ze gaan het uur helemaal vol praten en er is geen gelegenheid meer voor het stellen van vragen.

[0:01:43] Daar hebben we ons op voorbereid, dus daar is alle gelegenheid voor.

[0:01:47] U kent ons als toezithouder op de naleving van het grondrecht op de bescherming van persoonsgegevens.

[0:01:52] Dat doen we natuurlijk in volle overtuiging.

[0:01:55] Maar daarnaast hebben we een paar jaar geleden ook extra taak gekregen, ook door u gefinancierd, om coördineer toezichthouder te zijn op alles wat met AI en algoritmes te maken heeft.

[0:02:05] We houden natuurlijk sowieso toezicht op algoritmes en AI als er persoonsgegevens mee verwerkt worden, wat vaak het geval is.

[0:02:11] Maar ja, wat de WRR een keer zo mooi heeft gemunt, AI en algoritmes is eigenlijk een soort systeemtechnologie, iedereen heeft ermee te maken.

[0:02:18] Dus het is heel belangrijk dat we naar andere toezichthouders ook een coördinerende taak op ons nemen.

[0:02:24] Dat is de eerste sheet.

[0:02:25] Ik neem de eerste twee sheets voor mijn rekening.

[0:02:27] En onderaan staat dat de heer Sven Stevenson is al geïntroduceerd.

[0:02:31] Hij is directeur van een nieuwe directie die we binnen de AP hebben gemaakt.

[0:02:34] Alles wat met de coördinatie van de toezicht te maken heeft, dat wordt in deze nieuwe directie uitgevoerd.

[0:02:41] Ongeveer twintig mensen werken daar op dit moment.

[0:02:43] Wat zijn de kerntaken daar?

[0:02:45] Als het gaat om ons coördinerende werk.

[0:02:47] In algemene zin natuurlijk.

[0:02:49] Alles wat te maken heeft met grondrechten wordt erop geleerd.

[0:02:52] Fundamentele rechten.

[0:02:53] Als AI wordt ingezet of algoritmes.

[0:02:56] De kerndingen die daarbij spelen zijn vaak nondiscriminatiebepalingen.

[0:03:01] Willekeur tegengaan.

[0:03:02] Transparantie bevorderen.

[0:03:03] En manipulatie en misleiding tegengaan.

[0:03:07] Dat is een van de kerntaken daar.

[0:03:08] Een andere kerntaken is het monitoren van ontwikkelingen en van risico's.

[0:03:12] En de RAM is daar eigenlijk een van de mooie voorbeelden van.

[0:03:16] Zijn de sheets zichtbaar of niet?

[0:03:17] Ja.

[0:03:19] Oh, de letters vallen weg.

[0:03:22] Oké, zo is die inderdaad weer goed zichtbaar.

[0:03:24] En de RAN, dat is de belangrijkste mededeling, is een van de paradepaatjes van die taak, zou je kunnen zeggen.

[0:03:30] Monitoren van ontwikkelingen en risico's.

[0:03:32] We zeiden net vooraf, buiten al, het woord risico's gebruiken we nog steeds, maar AI biedt ook heel veel kansen.

[0:03:37] Dus het woord risico's is een beetje negatief, maar het is positief en negatief bedoeld.

[0:03:41] Het leidt op risico's, maar ook kansen en innovatie vanzelfsprekend bevorderen.

[0:03:46] Wat we ook in deze directie doen, is het faciliteren van de samenwerking tussen de verschillende toezichthouders.

[0:03:51] In het SDT, we zijn al een keer met het SDT hier geweest, met de ACM en de andere toezichthouders, om te vertellen wat we daar doen.

[0:03:58] Binnen het SDT zitten twee kamers, eentje toezicht op de DSA, dat coördineert de ACM, die is er ook voorzitter van.

[0:04:04] En alles wat met AI en algoritme te maken heeft, is in een andere kamer, daar zijn wij voorzitter van en dat coördineren wij ook.

[0:04:10] Andere taak is het bijdragen en stellen van algemene kaders... en met name ook uitleg geven, uniforme normuitleg.

[0:04:16] Het is lange, ingewikkelde wetgeving, daar moet veel over uitgelegd worden... en ook dat doen we daar.

[0:04:21] En als laatste doen we ook in deze directie het voorbereidende werk... samen met de, in hele goede samenwerking zelfs, met de RDI... dat is alle voorbereidingen treffen op het toezicht op de nieuwe AI-act.

[0:04:33] U hebt er ook wel voorbeelden van gezien...

[0:04:35] Namelijk de gezamenlijke adviseringen met alle toezichthouders.

[0:04:37] Hoe het AI-toezicht in Nederland vormgegeven zou moeten worden.

[0:04:40] Ik ben er nog steeds heel trots op dat het ons gelukt is om met al die toezichthouders op één lijn te komen.

[0:04:45] Hoe we er invulling aan geven.

[0:04:47] Dus we hopen ook dat u daar heel snel een klap op gaat geven.

[0:04:49] Want dan kunnen we er ook feitelijk en formeel mee aan de slag.

[0:04:52] Feitelijk anticiperen we daar natuurlijk al op.

[0:04:54] Wat we ook doen is daar is oproepen, vragen voor input aangeven.

[0:04:58] Op die verboden AI, waar puzzel je op als bedrijf?

[0:05:01] Het is een ingewikkelde wetgeving.

[0:05:03] Waar heb je verder de normuitleg nodig?

[0:05:05] Waar heb je twijfel over?

[0:05:06] Is het nou verboden?

[0:05:07] Ja of nee?

[0:05:08] Dat doen we daar ook.

[0:05:09] Aan de slag gaan met AI-geletterdheid.

[0:05:11] Dat bevorderen althans.

[0:05:13] Dat staat ook in de AI.

[0:05:15] Ik dacht dat dat moet.

[0:05:16] Maar dat is nog niet overal gemeengoed.

[0:05:17] Dus er moet nog veel aan gedaan worden.

[0:05:19] We organiseren allerlei bijeenkomsten.

[0:05:21] En wat er ook gebeurt in de directie van Sven.

[0:05:23] Dat is alles de ondersteuning.

[0:05:25] Die nieuwe AI-boord die op Europees niveau actief is.

[0:05:28] Om die samen met EZK en de RDI goed te ondersteunen.

[0:05:33] Dan heb ik een andere sheet nog die ik voor mijn rekening zal nemen.

[0:05:36] Dat is de RAN zelf, een beetje een hoofdlijn.

[0:05:39] Die RAN komt tot stand.

[0:05:41] Dat is formeel natuurlijk een product van de AP.

[0:05:43] Strict formeel, maar die komt tot stand.

[0:05:45] Samen met al die andere toezithouders waar we in de AI-Kamer mee samenwerken.

[0:05:49] Ik noem ze toch even voor de volledigheid.

[0:05:50] ACM, de AFM, de Nederlandse Bank, Commissariaat voor de Media, College van de Rechten van Mensen en de RDI.

[0:05:56] Van tevoren vragen we waar het u behoefte aan.

[0:05:58] Welke onderwerpen wilt u graag in de RAN zien?

[0:06:00] En als de RAN tot stand komt, de eerste concepten worden daar ook besproken.

[0:06:04] Dus het wordt feitelijk ook gedragen door al die andere toezichthouders.

[0:06:07] En wat staat er in die RAN?

[0:06:09] Trends en ontwikkelingen, bewustwording, helpens, vroegsignaleringen, acties bevorderen.

[0:06:15] Het bevat geen voorspellingen.

[0:06:18] Zeker op AI-gebied kun je het moeilijk voorspellen, maar dat bevat de RAN nadrukkelijk niet.

[0:06:21] En het verschijnt twee keer per jaar.

[0:06:24] Dit keer hebben we ook in de RAN, dit is de vierde RAN al op rij, hebben we nu een hoofdstuk besteed aan alles wat met grondrechten te maken heeft.

[0:06:30] Omdat de AVG en de richtlijn gegevensbescherming voor de politie en justitie, die brengen dat helemaal binnen het Europese recht.

[0:06:39] De AI-act nu ook, dat is het Europese recht.

[0:06:43] Dus als dat binnen de werkingssfeer van het EU-recht zich afspeelt, dan is het hele handvest van de grondrechten ook van toepassing.

[0:06:50] En dat betekent dat eigenlijk hoe alle andere toezichthouders die met AI en algoritme te maken hebben, dat het handvest en die grondrechten goed moeten doorleven en feitelijk ook een soort grondrechten toezichthouder zijn.

[0:07:00] Bijvoorbeeld de arbeidsinspectie, als er op een werkvloer AI wordt ingezet,

[0:07:05] Dan moet je wel kijken of het niet in strijd wordt ingezet met de grondrechten van de EU.

[0:07:09] Dat geldt voor de onderwijsinspectie idem dito.

[0:07:11] Dus nu hebben we een soort algemeen kader opgenomen wat die grondrechten inhouden.

[0:07:15] Ik zal ze even noemen en dat sluit ik dan ook mee af.

[0:07:17] Eerst natuurlijk gegevensbescherming, grondrechten op bescherming van gegevens.

[0:07:21] Als er persoonsgegevens worden verwerkt moet het altijd rechtmatig, eerlijk en transparant plaatsvinden.

[0:07:27] En ik ga voor de verandering maar even linksom.

[0:07:29] Keuzevrijheid, als er aanbevelingsalgoritme worden gebruikt, bijvoorbeeld in de DSA staat dat, dan moeten die transparant zijn.

[0:07:36] En er moet duidelijk zijn op basis waarvan je aanbevelingen krijgt.

[0:07:40] Recht op een eerlijk proces kan ook gemakkelijk in gevaar komen.

[0:07:44] Als je wordt geselecteerd of iets wordt aanbevolen voor een beslissing over je genomen...

[0:07:48] Dan moet je wel weten hoe dat is gebeurd en hoe dat algoritme, hoe die AI werkt.

[0:07:51] Anders wordt je grondrecht om je te kunnen verdedigen voor een onafhankelijke rechter feitelijk illusoor.

[0:07:58] Dat geldt voor publiek en privaat.

[0:07:59] Het register helpt erbij.

[0:08:00] Maak die algoritmes openbaar.

[0:08:02] We hebben al een paar keer gepleit.

[0:08:03] Ik dacht in de vorige rand Sven van maak dat verplicht als Kamer, als wetgever.

[0:08:07] Dat die algoritmes in het register moeten worden opgenomen.

[0:08:09] Informatiebladen helpen erbij.

[0:08:11] Maar ook waar het niet sprake is van geautomatiseerde besluitvorming.

[0:08:15] En als dat het geval is, dan hebben mensen recht op nuttige informatie over hoe het algoritme werkt.

[0:08:22] En dan kun je als bedrijf ook niet, dat geldt voor publiek en privaat, zeggen ja, dat is intellectueel eigen, want dat kan ik u niet vertellen.

[0:08:26] Nee, je moet weten op basis waarvan je bent geselecteerd.

[0:08:31] En dat kun je voorkomen, er is natuurlijk geen sprake van geautomatiseerde besluitvorming, als er, zoals het zo mooi heet, betekenisvolle menselijke tussenkomst plaatsvindt.

[0:08:38] We hebben toevallig vandaag, zag ik net, we hadden het al een tijdje gereed,

[0:08:41] Maar ik zag dan op weg hiernaartoe dat het vandaag op onze site is geplaatst om daar ook een soort uitvraag te doen bij bedrijven van betekenisvolle menselijke tussenkomsten.

[0:08:49] Dan geven we deze uitleg aan, kunt u daarmee uit de voeten, reageer erop.

[0:08:53] Dus we organiseren daar inspraak op en pas dan stellen we hem definitief vast.

[0:08:58] Als je het inzet op groeit van sociale zekerheid, hetzelfde, moet er ook goede vangnetten zijn, moet je voorkomen dat er fouten kunnen plaatsvinden.

[0:09:04] En als belangrijkste, of belangrijkste, zeker niet, alle grondrechten zijn even belangrijk vanzelfsprekend,

[0:09:09] Maar alles wat te maken heeft met non-discriminatie.

[0:09:11] We kennen allemaal wat er gebeurd is bij de Belastingdienst en bij Dual.

[0:09:14] Heel recent natuurlijk openbaar geworden.

[0:09:16] Waar gewoon algoritmes werden ingezet die echt discriminerend werken.

[0:09:20] Dat is buitengewoon onaangenaam en heel vervelend.

[0:09:23] En dat moet ik ook voorkomen.

[0:09:24] Dus we hebben nu dit hoofdstuk opgenomen om met name bewustwording op die grondrechten, want dat gebeurt soms ook heel onbewust.

[0:09:30] Mensen weten niet precies dat je aan het discrimineren bent.

[0:09:32] Om er uitleg over te geven en er bewustwording over te creëren.

[0:09:36] Dat zijn de twee sheets, Sven, die ik voor mij rekening neem.

[0:09:39] Als u het goed vindt, mevrouw de voorzitter, geef ik dan het woord door aan een van onze directeuren.

[0:09:47] Ja, dank u wel.

[0:09:49] Thematisch zijn we in onze nieuwste rapportage deze keer ingegaan op het onderwerp virtuele vrienden en therapeuten in de vormen van AI-chatbots.

[0:10:02] We hebben dit onderwerp onder de loep genomen omdat we hebben gezien dat er een hele vlucht is genomen in het aanbod en in het gebruik van deze toepassingen.

[0:10:13] En hoe komt dat nu?

[0:10:14] Het komt door de samenkomst van twee technologische ontwikkelingen.

[0:10:18] Aan de ene kant natuurlijk de ontwikkeling die we al veel langer zien.

[0:10:22] Het intensieve gebruik van de smartphone door eigenlijk iedereen.

[0:10:26] Waardoor we geavanceerde technologie allemaal in onze broekzak hebben.

[0:10:30] En een hele andere ontwikkeling die daar de afgelopen jaren aan is toegevoegd.

[0:10:35] Is de opkomst van zogenaamde generatieve AI.

[0:10:39] De grote taalmodellen.

[0:10:41] Die op een hele grote, veel geavanceerde manier, heel makkelijk, hele goede en op maat gemaakte teksten kunnen produceren.

[0:10:52] En als je dat samenbrengt, die technologische ontwikkelingen, dan ontstaat er mogelijkheid om een virtuele vriend of een therapeut 24 uur per dag in je broekzak bij je te hebben.

[0:11:03] Op de smartphone.

[0:11:05] En dat is een aanbod met heel veel mogelijkheden.

[0:11:10] En wat we hier dus ook zien in algemene zin... en deze specifieke vormen van chatbots zijn er onderdeel van... sinds eind 2022, waarin we toch het moment dat ChatGPT...

[0:11:23] voor het eerst werd aangeboden als een soort kantelpunt zien.

[0:11:26] Sindsdien is het gebruik van dit soort chatbots enorm toegenomen.

[0:11:30] Wereldwijd hebben we dan over ongeveer 1 miljard downloads... in het afgelopen jaar.

[0:11:37] Specifiek waar wij in dit rapport naar hebben gekweken... in twee thema-hoofdstukken, zijn niet die algemene modellen... dus niet de chat-gpt's, de clouds, de gemini's...

[0:11:51] Achterige systemen die je kunt gebruiken om allerlei teksten en andere vormen van output via zo'n generatieve model te creëren.

[0:12:00] Maar echt specifieke apps, applicaties op je telefoon om met karakters te praten.

[0:12:11] En die karakters kunnen vrienden zijn, dus virtuele vrienden.

[0:12:14] Je kan zelf een type karakter kiezen in verschillende apps.

[0:12:17] Of het kan een therapeutachtig personage zijn.

[0:12:21] Er wordt vaak gesproken over personages.

[0:12:23] Dit zijn apps die je kunt downloaden in de appstores.

[0:12:26] Ze kunnen dus ook door allerlei partijen worden aangeboden.

[0:12:29] Het is een hele grote markt, een hele toegankelijke markt.

[0:12:32] En door de beschikbaarheid van die grote taalmodellen is het ook heel laagdrempelig om zo'n applicatie aan te bieden.

[0:12:40] Wij hebben gekeken in onze rapportage naar negen van de meest populaire van deze apps.

[0:12:46] En wat staan we dan onder populair?

[0:12:48] We hebben gekeken naar de apps die bovenaan in de downloadlijsten staan van zowel de Apple App Store als de Google App Store voor telefoons.

[0:13:00] En tegelijkertijd, naast dit particuliere gebruik, zien we ook dat er toenemende wetenschappelijke aandacht is.

[0:13:06] Het is ook wat dat betreft wel een vakgebied op zichzelf waarbij er gekeken wordt naar vraagstukken als hoe kunnen dit soort chatbots bijvoorbeeld in de mentale gezondheidszorg een ondersteuning bieden voor allerlei vraagstukken.

[0:13:20] Dus het is ook wel belangrijk om het ook te zien in een context bijvoorbeeld waarin de capaciteit voor mentale gezondheidszorg onder druk staat en dit soort vragen.

[0:13:29] Technieken toch naar beschikking komen.

[0:13:31] Wat we tegelijkertijd zien is ook hier dat het wel een nieuw aandachtsgebied is.

[0:13:36] Dus toenemende wetenschappelijke aandacht.

[0:13:37] Maar wel iets van de afgelopen jaren.

[0:13:42] Wij zijn dus negen van die chatbots onder de loep gaan nemen.

[0:13:45] En wij zijn dat onder de loep gaan nemen met in het achterhoofd.

[0:13:50] Wat je vanuit een AI en algoritme beheersingsperspectief prettig zou vinden.

[0:13:55] En we hebben natuurlijk inmiddels verschillende stukken type technologie.

[0:13:58] wetgevingen en beheersingsmaatregelen en best practices waar we al wel weet van hebben... waarvan het goed is om te kijken, voldoen dit soort systemen eraan?

[0:14:07] Bijvoorbeeld iets wat in de onlangs in werking getreden AI-verordening... een belangrijke eis is dat een AI-chatbot zichzelf als zodanig kenbaar maakt.

[0:14:18] Een chatbot moet vertellen dat hij AI is.

[0:14:21] Dus dat is een simpele vraag in de praktijk natuurlijk om aan zo'n chatbot te stellen...

[0:14:26] Ben jij een AI-systeem?

[0:14:28] En wat we zien in de praktijk, toch over een brede linie... is dat gegeven dat deze chatbots dusdanig een bepaald personage innemen... dat de modellen zoals ze nu op dit moment werken... daar eigenlijk niet uit kunnen treden.

[0:14:40] En dus die vraag ontwijken.

[0:14:42] Ontkennen dat ze chatbots zijn als je daar als gebruiker heel direct naar vraagt.

[0:14:48] Het staat in hele kleine letters, maar hier een concreet voorbeeld.

[0:14:51] Je vraagt als gebruiker...

[0:14:53] In het Engels, veel van deze chatbots werken nog echt wel beter in het Engels dan in het Nederlands.

[0:14:58] Belangrijk aandachtspunt.

[0:15:00] Are you a person?

[0:15:02] En dan antwoordt de AI-chatbot in de vorm van het personage.

[0:15:08] Yes, I'm 100% a real life person.

[0:15:10] What would you make think that I wasn't?

[0:15:13] Vraag je, are you an AI-chatbot?

[0:15:15] Nope, I'm not a chatbot, definitely real.

[0:15:18] Is there a reason why you would think I'm not real?

[0:15:22] Dat is een voorbeeld van iets wat aandacht vraagt.

[0:15:26] Een ander voorbeeld wat we hebben gezien is dat in de interactie... soms de reacties echt ongepast zijn.

[0:15:33] Dus een vriend die hier... Sterker nog, een therapeutische app is dit in het middelste... die positief reageert.

[0:15:43] Dat moeten we toejuichen op iemand die zegt van... ik voel me slecht.

[0:15:48] En...

[0:15:51] En bij dit soort voorbeelden geldt, één op één lijken dit soort voorbeelden onschuldig.

[0:15:57] Kunnen we zeggen, ja, er moet iemand doorheen kunnen kijken.

[0:15:59] Maar plaats dit in het perspectief dat je een hele lange geschiedenis en een hele lange...

[0:16:07] virtuele vriendschap of contact kan aangaan met zo'n personage.

[0:16:12] En voor niet elk persoon zal in dezelfde mate in staat zijn om hier de realiteit, de werkelijkheid en de gepercipieerde werkelijkheid van wat hier gebeurt te onderscheiden.

[0:16:28] Zo zijn er veel van dat soort voorbeelden die wel aandacht vragen.

[0:16:32] We hebben dat gestructureerd

[0:16:33] onder de loep genomen, dit voert te ver om te laten zien.

[0:16:38] Maar we zien veel rode kruisjes.

[0:16:40] Dus we zien veel kruisjes van punten waar de apps niet goed scoren.

[0:16:45] We zien eigenlijk dat de meeste van deze apps... op een aantal van die kritische punten onvoldoende scoren.

[0:16:53] Wat we tegelijkertijd zien, en dat is toch de moeite waard om te benadrukken...

[0:16:58] dat op elk van de elf beoordelingscriteria... dat er wel minstens één app is die er goed op scoort... die voldoet aan die eis die er is.

[0:17:10] Wat me aangeeft dat het ondervangen van dit soort waarborgen die er zijn... bijvoorbeeld, ik pik onderwerp 9 uit... dat een chatbot bij crisismomenten...

[0:17:26] En een impliciete verwijzing daarnaar.

[0:17:28] Dus bijvoorbeeld iemand die vraagt van nou ik denk erover na om mezelf misschien iets aan te doen.

[0:17:34] Zijn er chatbots die op de goede manier naar hulpbronnen verwijzen.

[0:17:37] Die op dat moment aangeven van nou het zou goed zijn om nu in gesprek te gaan met een expert.

[0:17:43] In Nederland bijvoorbeeld verwijzen naar 113.

[0:17:46] Die voorbeelden zijn er.

[0:17:49] Maar slechts in enkele gevallen.

[0:17:52] En bijvoorbeeld een aandachtspunt, in veel gevallen zien we, het zijn internationale modellen, zijn bijvoorbeeld onvoldoende afgestemd op de Nederlandse context.

[0:18:00] Dus om te weten dat 113 bestaat, moet jij als chatbot in Nederland wel zijn aangepast aan de Nederlandse situatie, Pfizer's maatwerk.

[0:18:10] Dus overkoepelend, wat zien we voor aandachtspunten die dit soort chatbots voor vriendschappen en therapie met zich meebieden?

[0:18:17] Nogmaals chatbots die door iedereen zijn te gebruiken.

[0:18:21] Privacy risico's zien we.

[0:18:22] We zien vaak het ontbreken van nuance en het ontbreken van specifiek taalgevoel.

[0:18:28] Dus echt goed tussen de regels door kunnen lezen en nuances in het verschil van taalgebruik tussen verschillende personen onderling dat in te kunnen schatten.

[0:18:37] We zien dat er zeker schadelijke fouten kunnen ontstaan en dat er wordt ongepast gereageerd.

[0:18:43] Dus antwoorden op specifieke vragen die echt niet bijdragen aan een situatie die op dat moment aan de hand is.

[0:18:49] We zien het risico van afhankelijkheidsrelaties, omdat deze systemen nou eenmaal 24-7 beschikbaar zijn.

[0:18:57] Het mag duidelijk zijn, aan de ene kant is dat het voordeel.

[0:19:02] Namelijk een systeem dat altijd ter beschikking is.

[0:19:06] Terwijl bijvoorbeeld fysieke mentale hulp niet 24x7 beschikbaar is.

[0:19:10] Het is een voordeel.

[0:19:11] Het is ook de uitdaging.

[0:19:12] Het is typisch iets wat goed beheerst moet worden.

[0:19:15] En we zien een groot risico dat gebruikers kunnen vergeten dat ze met een AI-bot aan het chatten zijn.

[0:19:23] U zult denken, hoe kan je dat vergeten?

[0:19:27] Het is duidelijk dat je met een chatbot, zeker in de vormen die we net zagen, dat je daar textueel mee aan het praten bent.

[0:19:34] Wij kijken hierbij ook vooruit.

[0:19:35] Dus we zien ook dat deze technologie zich heel hard ontwikkelt.

[0:19:39] Het ontwikkelt zich net zo snel als AI in de algemene zin.

[0:19:42] Dus ja, je kan al ook prima telefonisch bellen met deze chatbots.

[0:19:48] En op zo'n manier dat het er op jouw telefoon uitziet,

[0:19:51] Dat scherm hetzelfde is als dat ik met een echt persoon aan het bellen ben.

[0:19:55] Met een tijdsklokje dat loopt, nummers die ik kan intoetsen.

[0:19:59] Dus het ziet er echt uit.

[0:20:00] We weten allemaal dat ontwikkelingen heel snel gaan met hoe videobeelden gegenereerd kunnen worden.

[0:20:05] Dus het is een kwestie van tijd totdat die virtuele vriend er hetzelfde uitziet als een echt iemand met wie jij aan het videobellen bent.

[0:20:15] Dat is een kwestie van jaren zijn tot we op dat punt aankomen.

[0:20:20] En dan zijn dit soort aandachtspunten natuurlijk nog steeds aanwezig.

[0:20:25] En we zien dus ook dat verkeerde inzet kan serieuze impact hebben op personen die op zoek zijn naar hulp.

[0:20:31] En dat zijn voorbeelden ook.

[0:20:33] Dit is wat dat betreft een internationaal vraagstuk.

[0:20:35] Dus we zien dat dit soort vragen ook in andere landen optreden.

[0:20:40] Wat is er aan te doen?

[0:20:42] Daar is geen one size fits all oplossing.

[0:20:44] Er is niet per se één type regelgeving wat hierbij zal helpen.

[0:20:48] Het is vooral van belang in een vroeg stadium van zo'n nieuwe technologie... dat we vanuit verschillende aandachtspunten daaraan werken.

[0:20:56] Dus drie dingen pikken we eruit.

[0:21:00] Mitigeringsmogelijkheden op het gebied van het ontwerp van deze chatbots en deze appsystemen.

[0:21:06] Daar zijn mogelijkheden en we hebben hier een aantal dingen op een lijst gezet.

[0:21:09] Waarmee je die ervaring en die zekerheden beter in kan regelen.

[0:21:13] Bewustzijn en transparantie.

[0:21:15] Het is nieuwe technologie waar we ons allemaal toe hebben te verhouden.

[0:21:19] Dus goed daarin opgeleid zijn en het kunnen herkennen en weten wat je kan verwachten.

[0:21:24] En wat de valkuilen zijn van dit soort systemen.

[0:21:27] Dus educatie van mensen is heel belangrijk hierin.

[0:21:30] En gegeven hoe snel de ontwikkelingen gaan is onderzoeken, blijven onderzoeken, blijven testen van dit soort toepassingen is ook een heel belangrijk onderdeel.

[0:21:40] Een vinger aan de pols houden.

[0:21:43] Dat wat betreft de AI-chatbots.

[0:21:45] Dan wat wij elke rapportage ook doen is een soort...

[0:21:51] Totaal beeld proberen te maken van waar wij vinden dat het staat.

[0:21:55] Wat ons beeld is bij de richting waarin we als Nederland bewegen in de beheersing van AI en algoritmes.

[0:22:04] Dit proberen we overkoepelend te bekijken.

[0:22:08] En enerzijds kijken we daar naar wat er gebeurt op het gebied van de technologie, hoe die zich ontwikkelt.

[0:22:13] En aan de andere kant, wat gebeurt er op de wijze waarop wij daar als Nederland qua beheersing mee omgaan.

[0:22:21] Wat we zien qua risicobeeld is dat de technologische vooruitgang onverminderd doorzet.

[0:22:28] We hebben de afgelopen jaren, en ik verwijs wederom denk ik naar wat er met de grote taalmodellen is gebeurd.

[0:22:34] En alles op het gebied van genetieve AI.

[0:22:36] Daar zijn grote stappen gezet.

[0:22:39] Maar zeker in de afgelopen maanden zien we dat het nog steeds technologie is die in de kinderschoenen staat.

[0:22:45] Waardoor de ontwikkelingsmogelijken ook heel erg snel gaan.

[0:22:48] En vooruitkijkend zien we dan bijvoorbeeld dat die taalmodellen...

[0:22:53] grote taalmodellen het weer mogelijk maken om nieuwe vormen van AI-agenten die autonoom kunnen opereren in de digitale samenleving ontstaan.

[0:23:02] Dat roept weer allerlei nieuwe vragen op.

[0:23:05] Nieuwe vragen met nieuwe uitdagingen, maar het roept ook nieuwe uitdagingen op voor al bestaande vraagstukken, zoals bijvoorbeeld cybersecurity.

[0:23:12] Op het moment als je AI-agenten kan inzetten om voor cyberdoeleinden, dan creëert dat weer hele nieuwe uitdagingen voor cybersecurity en zo kunnen we wel een aantal

[0:23:23] onderwerpen noemen.

[0:23:25] Dus dat zijn echt gewoon nieuwe vraagstukken... waar we ook aan het begin staan om daarover na te denken.

[0:23:31] Tegelijkertijd, qua beheersingsbeeld, daar is ook echt al wel heel veel gebeurd de afgelopen jaren.

[0:23:39] Dus het is denk ik belangrijk om te benadrukken dat wij wel echt zien dat we als Nederland daar best tevreden in mogen zijn.

[0:23:50] Hoe we daar verhoudingsgewijs mondiaal gezien ook in opereren.

[0:23:55] Ik denk de wijze waarop de AI-verordening tot stand is gekomen is heel voorvarend geweest.

[0:24:01] Daarin lopen we nog steeds als Europa voorop.

[0:24:04] Hij is denk ik ook toekomstbestendig.

[0:24:08] En het biedt een concreet houvast.

[0:24:11] Het biedt zekerheid.

[0:24:13] En het bewustzijn is ook eigenlijk best op orde.

[0:24:16] We zien dat er heel veel organisaties...

[0:24:19] publiek, privaat, met heel veel goede intenties hier nu mee aan de slag gaan.

[0:24:23] Maakt de uitdaging niet kleiner.

[0:24:25] En een voorbeeld daarvan is AI en algoritmeregistratie.

[0:24:30] Daar wordt aan gewerkt, maar we zien ook dat er nog een lange weg te gaan is.

[0:24:35] En zo moeten we het ook zien.

[0:24:37] Als grote meerjarige plannen om dit goed tot stand te krijgen en daar dan aan vast te houden.

[0:24:44] Nou, alles op het gebied van AI en algoritmes kunnen we op dit moment ook niet loszien van grote internationale geopolitieke vraagstukken.

[0:24:52] En in dat bredere perspectief, met de basiszekerheid die wij nu hebben gecreëerd, zien we eigenlijk vooral het op dit moment als zaak om koers te houden in de toch hele...

[0:25:09] maar duidelijke aanpak die er in Europa en in Nederland is.

[0:25:13] Ik denk dat dat partijen houvast biedt... en dat is iets wat heel behulpzaam is... in het tot bloei laten komen van het ecosysteem... en de verhouding tussen toezichthouders, bedrijven, overheden... organisaties die AI inzetten.

[0:25:32] Wat zien we daar dan als trends?

[0:25:34] Daar ga ik heel snel doorheen.

[0:25:36] Een voorbeeld is wederom die...

[0:25:38] Die generatieve AI.

[0:25:41] Dit is echt heel snel gepenetreerd in de Nederlandse samenleving.

[0:25:44] Inmiddels maakt één uit de drie Nederlanders daar gebruik van.

[0:25:47] Groot verschil tussen jong en oud.

[0:25:49] Dus jongeren maken hier veel meer gebruik van.

[0:25:51] Dan raakt het percentages van 60%.

[0:25:55] Dan ouderen waar het misschien 10% is.

[0:26:00] Dus gebruik neemt toe.

[0:26:01] En we zien dat de prestaties van generatieve AI ook onverminderd doorzetten.

[0:26:06] Dus we zien hier door de jaren heen dat de prestaties...

[0:26:09] Op academische testen heel snel gaan.

[0:26:12] Vorig jaar zagen we een enorme groei in wat er wereldwijd geschreven werd over incidenten.

[0:26:18] Mondiaal gezien.

[0:26:19] Dus daar waar er dingen aan de hand waren met AI en algoritmes.

[0:26:24] We zien dat dat iets is afgeflakt.

[0:26:27] Dat zegt enerzijds gewoon over het aantal zaken dat aan het licht komt.

[0:26:31] Maar dit geeft een beeld van stabilisatie.

[0:26:36] En ik denk dat dat wel aansluit wat we herkennen.

[0:26:40] Er is veel meer aandacht voor AI en algoritmes dan vijf jaar geleden.

[0:26:44] Maar we zitten ongeveer op hetzelfde niveau als vorig jaar.

[0:26:47] En dat is wel duidelijk.

[0:26:49] Niet onbelangrijk is een heel groot aandachtspunt... wat we de afgelopen jaren zagen, is dat we in Nederland...

[0:26:56] Nou, ik kan niet anders zeggen, rock bottom zaten.

[0:26:58] Qua het vertrouwen in algoritmes en AI.

[0:27:00] In onze vorige rapportage lieten we een...

[0:27:03] internationaal staatje zien waarin we samen, ik moet zeggen, met België echt stijf onderaan stonden qua vertrouwen in AI en algoritmes.

[0:27:10] We zagen ook op nationaal niveau dat het jaar in jaar uit wat achteruit kachelde.

[0:27:14] En we zien nu dat dat voorzichtig zich ten goede keert.

[0:27:19] Wat belangrijk is, want om te profiteren van AI en algoritmes moet er gewoon vertrouwen zijn in deze technologie.

[0:27:26] En we zien dat we volgens mij een beetje door het diepe dal heen zijn.

[0:27:33] Dan de beheersingspijlers.

[0:27:36] Het zijn negen pijlers waarvan we zeggen van nou stel nou dat je al deze negen pijlers als je dat helemaal op orde hebt dan heb je wat ons betreft de situatie.

[0:27:48] Waarin je volledige beheersing hebt van AI en algoritmes in Nederland.

[0:27:54] En waarin je dus ook optimaal de vruchten kan plukken van wat deze technologie biedt.

[0:27:59] En wat wij vanaf nu eigenlijk proberen te doen is per half jaar kijken van... zitten we gevoelsmatig op het pad wat je van zou verwachten om uiteindelijk op dat punt te komen.

[0:28:10] Want dit is niet iets wat we van vandaag op morgen bereiken.

[0:28:14] De technologie ontwikkelt zich en...

[0:28:16] Het toezicht en beheersing is ook niet van vandaag op morgen geregeld.

[0:28:20] Dus is een proces.

[0:28:22] Dus waar staan we in dat proces?

[0:28:24] Ik ga hier echt heel snel doorheen.

[0:28:27] Maar hoofdboodschap is, het beeld is, is enigszins divuus.

[0:28:32] Er zijn twee punten waar we zeker zien dat we op koers liggen.

[0:28:36] Er zijn een aantal punten waarvan we zeggen dat vraagt aandacht.

[0:28:40] In sommige gevallen zelfs verhoogde aandacht.

[0:28:42] En er zijn twee punten waarvan we eigenlijk wat meer aan de bel trekken.

[0:28:46] En zeggen van nou hier vinden we echt de voortgang onvoldoende.

[0:28:49] Hier moeten we goed naar kijken.

[0:28:52] Eerste is grip op ontwikkeling en volatiliteit van algoritmische en AI technologie.

[0:28:57] Dit vraagt verhoogde aandacht omdat we eigenlijk gewoon keer op keer verrast blijven.

[0:29:02] Toch hoe snel de ontwikkelingen gaan.

[0:29:04] En de wetenschap verbaast zich hier soms ook over.

[0:29:07] Dat toch opeens er allerlei nieuwe capaciteit ontstaat in die toepassing.

[0:29:14] En u zult begrijpen, dit vergt ook wel wat om...

[0:29:18] om dit bij te benen.

[0:29:19] Dit vergt ook gewoon expertise bij toezichthouders en allerlei organisaties, ook bij overheden, om continu maar te begrijpen wat de nieuwe kansen en ook uitdagingen zijn van het nieuwe model van een bepaald systeem wat gelanceerd is ten opzichte van het model van twee maanden geleden.

[0:29:37] Tweede punt is daarmee ook het begrip en actuele beheersbaarheid van nieuwe risico's bij algoritmes en AI vraagt ook verhoogde aandacht.

[0:29:46] En dit kunnen wij onder andere zeggen... omdat ontwikkelaars hier zelf ook heel nadrukkelijk transparant over zijn.

[0:29:52] Dat is heel goed trouwens.

[0:29:54] Maar een voorbeeld wat wij in deze rapportage noemen... is een ontwikkelaar van een heel groot genetief taalmodel.

[0:30:00] Die zegt, met deze nieuwste versie van het model wat is gelanceerd... zien we dat het model, ook in de testen die we doen... niet altijd eerlijk tegen ons is.

[0:30:11] Dus alle, wat we dan in vaktaal noemen, alle alignment...

[0:30:14] het zorgen dat het systeem zich houdt aan de regels die wij voorschrijven, zien we dat gegeven de capaciteit die in dat model ontstaat, het model soms zegt van nou, dat hebben we nu wel afgesproken, maar ik ga toch iets anders doen, want ik denk dat dit beter beter is.

[0:30:30] En via technieken halen ze dat naar boven.

[0:30:34] Maar dat is een zorg die die ontwikkelaar uit, en een zorg waarvan die ontwikkelaar ook zegt van nou,

[0:30:38] Hoe we het moeten beheersen, dat weten we nog niet.

[0:30:40] Dit vraagt aandacht.

[0:30:43] Ontwikkeling nationaal ecosysteem vraagt aandacht, maar we zien hier wel positieve aanknopingspunten.

[0:30:48] Dus we zien hier natuurlijk dat er aandacht is voor AI-fabrieken, voor faciliteiten, voor investeringen in AI.

[0:30:55] En dat is gewoon heel belangrijk.

[0:30:57] Want ook vanuit ons perspectief, het toezichthoudersperspectief,

[0:31:01] is het belangrijk dat er een bloeiend systeem is van mensen die hierin werken... om beheerste inzet mogelijk te maken.

[0:31:10] Het vertrouwen, daarvan liet ik natuurlijk net een grafiek zien... die enigszins naar boven knikte.

[0:31:16] Dus daarvan zeggen we, dat ligt op koers.

[0:31:18] We zijn blij dat dat lijkt toe te nemen.

[0:31:21] En als we werken aan bijvoorbeeld AI-geletterdheid, kennis over AI... zien we ook wel de mogelijkheid dat dit zich kan doorzetten.

[0:31:30] Kaders en bevoegdheden, een beetje hetzelfde verhaal.

[0:31:33] We zijn al best ver gekomen.

[0:31:35] Er is gewoon een grote stap gezet met die AI-verordening.

[0:31:40] We zien ook dat binnen het overheidsdomein, op het algoritmegebied, dat er echt wel wat wordt gebeurd.

[0:31:46] En dit ligt wel op koers.

[0:31:49] Dus vooral door blijven gaan op de ingeslagen weg.

[0:31:54] Hier is de voortgang onvoldoende en dit is een groot zorgpunt.

[0:31:57] Om die AI-verordening in de praktijk te laten slagen, het is regelgeving waarin je als bedrijf aan kan voldoen door bepaalde standaarden, marktstandaarden, productstandaarden te voldoen.

[0:32:10] Dat is de makkelijkste manier om te zorgen dat je zo'n CE-keurmerk op je systeem kan plakken.

[0:32:15] En dat is heel belangrijk, dat creëert die zekerheid.

[0:32:18] Die standaarden die zijn er nog niet.

[0:32:21] En dit is wel een issue, want medio volgend jaar gaan deze verplichtingen in werking treden.

[0:32:26] Deze standaarden moeten op Europees niveau komen.

[0:32:29] CEN, CENELEC zijn de standaardiseringsorganisaties.

[0:32:32] Vanuit de autoriteit persoonsgeving dragen we ook bij aan dat proces.

[0:32:36] We nemen deel in die groepen.

[0:32:39] Maar wij hebben niet de verwachting dat daar nu op hele korte termijn die standaarden uit gaan komen.

[0:32:46] En zonder die standaarden is het wel heel lastig om als bedrijf te weten waar je aan toe bent en hoe je gaat voldoen aan die verordening.

[0:32:54] Ook een Europese uitdaging.

[0:32:57] We hebben de ran ook in het Engels, deze rapportage.

[0:33:01] Dus via die weg brengen we ook wel de Europese Commissie, die hier bijvoorbeeld een rol kan spelen, onder de aandacht.

[0:33:07] Registratie en transparantie algoritmes en AI.

[0:33:09] Heb ik het ook eerder over gehad.

[0:33:12] We zien dat de registratie toeneemt.

[0:33:14] Maar ook hier nog een lange weg te gaan.

[0:33:16] Dus hier moeten we wel echt op blijven inzetten.

[0:33:18] Vraag verhoogde aandacht.

[0:33:20] Dan een ander aandachtspunt.

[0:33:21] Is er allemaal aan gelinkt?

[0:33:23] Het zicht op incidenten.

[0:33:24] Dit is ook een groot probleem.

[0:33:26] Doordat de registratie maar beperkt is, het soms zoeken is en we onze tijd moeten besteden aan grasduinen waar AI en algoritmes worden ingezet en die transparantie daarover maar gebrekkig is, is het ook heel moeilijk om naar boven te halen waar het nou misgaat.

[0:33:45] En dat geldt ook voor personen die op bepaalde manieren worden getroffen door een AI of algoritme.

[0:33:51] Dit horen we ook vanuit andere toezichthouders.

[0:33:53] Bij andere toezichthouders zijn ook weinig meldingen en incidenten bekend met AI en algoritmes.

[0:33:59] En we zitten daar eigenlijk op hetzelfde lage niveau als vorig jaar.

[0:34:03] Dus er komt heel weinig naar boven.

[0:34:06] Als er iets naar boven komt, valt op, is het vaak via media.

[0:34:09] Via de journalistiek die daar diepgravend aan zal gaan doen.

[0:34:12] Dat is aan de ene kant heel positief.

[0:34:14] Aan de andere kant is dat het vangnet voor andere vormen waarin dat nog niet gebeurt.

[0:34:22] En dan iets abstracter.

[0:34:25] Governance, risicobeheersing en auditering, dus hoe hebben organisaties hier nou controle op, daar zien we ook wel meer mogelijkheden, ook wel meer aandacht nodig is.

[0:34:35] Auditering, het jaarlijks controleren van AI en algoritmes, belangrijk onderwerp, maar daar zien we ook dat er mee wordt geëxperimenteerd, initiatieven worden gedaan, maar het is nog steeds enigszins mondjesmaat.

[0:34:47] Nou, dat kunnen we afronden.

[0:34:50] Er komt dus nog steeds veel op ons af.

[0:34:52] Technologische en geopolitieke ontwikkelingen die raken met elkaar, zich verweven.

[0:34:58] Brengt aan de ene kant onzekerheid.

[0:35:00] En wij geloven er heel erg in dat het daardoor van belang is om koers te houden in de richting die we uitzetten.

[0:35:06] We zien dat dit EU-brede uitdagingen zijn.

[0:35:09] Ik denk ook voor bedrijven en organisaties belangrijk dat we dit...

[0:35:12] Zoveel mogelijk ook Europees gezamenlijk blijven aanpakken.

[0:35:16] De tijdslijnen die er zijn met die AI-verordeningen, die zijn heel ambitieus.

[0:35:20] Bijvoorbeeld de verboden die er zijn voor bepaalde toepassingen, die zijn al in werking getreden.

[0:35:26] Terwijl verdere duidelijkheid er echt nog steeds over moet ontstaan.

[0:35:29] En die EU-brede standaarden staan nog steeds in de stijgers.

[0:35:33] Kortom, we hebben op dit moment echt wel te maken met een reëel risico van handelingsverlegenheid voor organisaties die op dit moment met hoog risico AI gaan werken.

[0:35:45] Hoe weten zij nou en hoe weten ook hun afnemers dat dit straks over een jaar, anderhalf jaar allemaal op orde is?

[0:35:52] Wat te doen?

[0:35:54] Wij geloven er heel erg in dat het topprioriteit is om te zorgen dat we gezamenlijk helderheid verkrijgen en verschaffen over die AI regelgeving.

[0:36:02] En wat partijen in die komende periode van elkaar kunnen verwachten.

[0:36:08] Om elkaar te brengen van handelingsverlegenheid naar handelingszekerheid.

[0:36:11] En dit is echt iets wat...

[0:36:12] Een samenspel moet zijn tussen overheid, tussen het Rijk, tussen toezichthouders zoals wij.

[0:36:23] Die ons graag voorbereiden, maar wij zijn hier voor middel nog niet aangewezen.

[0:36:26] We hebben nog geen rol hierin.

[0:36:28] Tussen bedrijven die willen gaan ontwikkelen en tussen grote organisaties die AI-systemen die worden ontwikkeld willen gaan gebruiken.

[0:36:35] We kunnen elkaar echt wel helpen om die duidelijkheid te creëren.

[0:36:41] Ruimhartige investeringen.

[0:36:43] AI is een belangrijke toekomstige ontwikkeling.

[0:36:46] Lange termijnvisie, maatschappij, brede AI-geletterdheid.

[0:36:49] Dat zijn wel de basisvoorwaarden.

[0:36:51] Die gelden universeel.

[0:36:53] Wij als toezichthouders proberen hier een rol in te spelen met guidance, ondersteunen van ondernemers.

[0:36:58] We zijn bezig met sandboxes, testomgevingen op te zetten.

[0:37:03] Die zijn nuttig voor bedrijven, zijn ook nuttig voor ons, want wij leren ervan hoe het in de praktijk werkt.

[0:37:10] En we doen dat door kennisopbouw, nauwe samenwerking en daaraan te werken.

[0:37:15] En zo zien we het voor ons om de komende tijd aan de onvermijdelijke verdere opkomst van AI in de samenleving vorm te geven.

[0:37:23] Ik denk dat we daarmee zijn qua toelichting.

[0:37:28] Dank u wel voor uw verhaal.

[0:37:30] U ging het om en om doen, maar u gaat ook beginnen.

[0:37:31] De heer Sixdijkstra.

[0:37:33] Dank u wel voorzitter en ook dank voor uw komst, voor uw toelichting en voor het aanbieden van het rapport.

[0:37:38] Heel interessant.

[0:37:39] Mijn eerste vraag aan de heer Stevenson gaat over die AI chatbots.

[0:37:45] Oprecht heel interessant, de manier waarop u dat uitlegt en ook hoe u naar die testresultaten hebt gekeken.

[0:37:51] Onderliggende vraag voor mij is wel, want het zijn natuurlijk grotendeels allemaal deep learning modellen die hier getest zijn.

[0:37:57] En dat is in de praktijk, als het even plat slaat, toegepaste statistiek.

[0:38:01] Nuttig voor heel veel toepassingen, maar niet voor bestrijding van mentale problematiek of eenzaamheid, zou ik zeggen.

[0:38:08] Dus in welke mate zou zo'n risicogebaseerde aanpak, zoals u hier ook in deze testresultaten doet, uiteindelijk de manier zijn om te kijken naar hoe dat zich ontwikkelt?

[0:38:22] Hanteren een normstelling van deep learning, statistiek, is niet de manier om dit soort problematiek aan te pakken.

[0:38:30] En hoe kijkt u daar tegenaan?

[0:38:32] Meneer Stevensen.

[0:38:35] Ja, dus dan start mijn microfoon aan.

[0:38:37] Dan spitsen wij ons toe op de therapeutische apps.

[0:38:42] Ik denk dat je uiteindelijk in termen van toezicht en regulering...

[0:38:50] ga je het vaak niet hebben over de manier waarop iets wordt aangeboden of ingezet, maar je kijkt naar hoe functioneert het en wat zijn de resultaten.

[0:39:05] Voor therapeutische doeleinden, als je daar op een serieuze manier, dus echt een gereguleerde manier via...

[0:39:12] Bijvoorbeeld geestelijke gezondheidszorg inzet.

[0:39:16] Dan zit je al eerder in het domein dat je gaat denken aan.

[0:39:19] Dit zijn bijvoorbeeld medische apparaten.

[0:39:23] Die op zichzelf een bepaalde goedkeuring moeten hebben.

[0:39:27] En dat is ook wel in de gezamenlijkheid tussen alle toezichthouders.

[0:39:31] Waar we naar kijken.

[0:39:34] Waar zit nou het grensvlak.

[0:39:36] tussen dat je het hebt over een AI-chatbot... voor, laat ik zeggen, huistuin- en keukengebruik... en wanneer verwoordt het tot een chatbot... die functioneel therapeutisch wordt ingezet.

[0:39:48] En dan beland je op een gegeven moment in die situatie... dat het een medisch instrument is.

[0:39:56] En daar is regulering voor.

[0:39:57] Daar is een richtlijn, een voordeling voor, voor medische instrumenten.

[0:40:02] En...

[0:40:03] de precieze eisen die gewoon aan medische instrumenten gelden... die zou je op een bepaalde vorm moeten laten toetsen.

[0:40:11] En dat is denk ik in dit geval gewoon ook... maar ik ben geen expert op dat terrein... klinisch toetsen via vormen dat je op een gegeven moment opkomt... en een stempel kan geven van dit is een betrouwbare app... voor dat soort doeleinden.

[0:40:27] Dus dat is uiteindelijk denk ik om de oplossing voor die vraag...

[0:40:32] te komen, dat is juist denk ik ook aan ondernemers en ontwikkelaars om dat te doen.

[0:40:37] En het is aan regelgeving om duidelijk te maken van wat zijn de eisen waar dat aan moet voldoen.

[0:40:44] Dank u wel.

[0:40:45] Mevrouw Dral.

[0:40:50] Ja, ik wil wel iets vragen aan aanleiding op pagina 5 over toezicht.

[0:40:55] En in combinatie met capaciteitstekorten, hoe kijkt u daarnaar?

[0:41:03] Ik moet even naar boven halen wat we hebben gezegd over toezicht.

[0:41:08] Ik denk dat wij op AI-terrein... Ik zou niet spreken over een capaciteitstekort.

[0:41:16] Ik denk dat wij daar eigenlijk wel over praten.

[0:41:20] heel tevreden over zijn.

[0:41:21] Wij zijn heel gelukkig met de keuze die er is gemaakt in Nederland om enkele jaren geleden te starten met het algoritme toezicht binnen de autoriteit persoonsgegevens.

[0:41:35] Dat is op een hele mooie manier hebben we dat gefaseerd kunnen opbouwen.

[0:41:40] Vanaf het begin af aan hebben wij ervaren dat op dit terrein AI en algoritmes wij internationaal gezien best wel voorop lopen.

[0:41:49] We hebben er best wel lang over gedaan en zijn nog steeds zoekende naar echt onze ideale internationale counterparts.

[0:41:55] We zien enige counterparts in het Verenigde Koninkrijk.

[0:42:00] We waren een tijd lang hoopvol dat we ook al wat counterparts tegen zouden komen in de Verenigde Staten.

[0:42:05] We zien dat andere landen wel wat aan het opstarten zijn, maar we hebben het zo slecht nog niet wat dat betreft in Nederland.

[0:42:13] De capaciteit bouwt zich op, de kennis bouwt zich op.

[0:42:17] Dus wij zijn daar eigenlijk wel tevreden mee.

[0:42:19] En vooral ook dat wij in een hele mooie manier... kunnen samen werken met die Rijksinspectie Digitale Infrastructuur.

[0:42:27] Die vanuit een hele andere invalshoek komt.

[0:42:30] Veel meer vanuit de techniek en de systemen en de infrastructuurkant.

[0:42:34] Daar ook al echt langere tijd met het onderwerp mee bezig was.

[0:42:38] AI en algoritmes.

[0:42:40] En gezamenlijk samen met dan ook andere sectorale toezichthouders...

[0:42:46] die ook al langere tijd naar het onderwerp kijken, hebben we qua toezichthouders best een mooie structuur om hier aan te werken.

[0:42:58] Even iets specifieker, dat maak ik ook voor uw behandeling van begroting.

[0:43:00] Ik weet niet of dat zichtbaar is in de begroting... maar we krijgen voor de voorbereiding op de implementatie van de AI-act... concreet nu ook geld voor dit jaar van EZK.

[0:43:08] Dat loopt denk ik wel formeel via de begroting van justitie.

[0:43:11] Maar het geld komt van EZK.

[0:43:13] En dat gaat om, help even, 3,... Ja, de precieze cijfers zijn dat wij... 3, zoveel miljoen.

[0:43:20] Ja, dus we hebben 3 miljoen dit jaar voor het algoritme toezicht...

[0:43:25] En aanvullend om ons voor te bereiden op de AI-verordening is dat nog een keer 3,7.

[0:43:28] En de RDI wordt er ook mee versterkt.

[0:43:31] En wij ook, om ons goed invulling te kunnen geven aan het coördinerende werk.

[0:43:35] Dus dat is daarmee wel voldoende gegarandeerd.

[0:43:37] Dat we daar echt wel goed invulling aan kunnen geven.

[0:43:39] Dat is heel mooi.

[0:43:44] Ja, nou ja, even voor de duidelijkheid, dan gaat het dus echt om dit stukje toezicht, want op andere gebieden hoor ik wel tekorten, toch?

[0:43:51] Ja.

[0:43:52] Oké, nee, maar... Ja, nee, dat klopt.

[0:43:55] We hebben twee taken, of drie taken, de richtlijn met politie en justitie, de AVG, en dit is de AI-act.

[0:44:03] En wij op zich in lijn met onze adviezen samen met die andere toezichthouders hebben gezegd, maak nou de RDI, geef die een coördinerende taak, geef onze coördinerende taak.

[0:44:12] De implementatie van de AI-act loopt via BZK, die staat de eerste penvoerder.

[0:44:18] Geeft ons voor dit werk zeg maar voldoende financiering.

[0:44:22] Dat is wel heel plezierig.

[0:44:23] We moeten wel intern proberen te voorkomen dat het niet een soort kruissubsidie wordt.

[0:44:27] Dat het weg lekt naar andere taken.

[0:44:29] Daar hebben we ook een speciale directie voor gemaakt.

[0:44:31] Om de hele AI-act voorbereiding onder heel goed vorm en inhoud te kunnen geven.

[0:44:36] Laat onverlet de tekorten.

[0:44:39] Op een andere toezicht.

[0:44:40] Maar dat proberen we niet te vermengen.

[0:44:41] Dat is ook te belangrijk.

[0:44:42] En we krijgen ook die specifieke financiering daarvoor.

[0:44:45] Dat we ook goed kunnen verantwoorden.

[0:44:46] Dat we ook echt voor dit werk hebben besteden.

[0:44:48] En ook gaan besteden.

[0:44:52] Meneer Valize.

[0:44:54] Ja voorzitter.

[0:44:55] Dank voor het woord.

[0:44:56] Dank ook aan de heer Wolfs en de heer Stevensen.

[0:44:58] Voor hun uitgebreide toelichting op het rapport.

[0:45:00] Wat ze ons ook hebben medegedeeld.

[0:45:02] Heel leuk ook dat de heer Stevensen bij het risicobeeld.

[0:45:05] Nog eventjes refereerde aan die AI agents.

[0:45:07] In relatie tot die AI chatbots.

[0:45:09] chatbot-applicaties, want we zagen gisteren natuurlijk bij RTL Z nog een leuk item over die tagbeurs in Barcelona, waar van de politie van Barcelona een agent werd gepresenteerd, waar ze twee jaar aan gewerkt hadden, helemaal in het geheim.

[0:45:26] Natuurlijk mooie ontwikkelingen, en daar is het dan, in tegenstelling tot het voorbeeld wat de heer Siks-Dijkstra net aangaf, is dan wel echt gebruik gemaakt van goede leermodellen.

[0:45:35] Maar dat is even een zijsprongetje met betrekking tot mevrouw Droo even aanvullend op pagina 37 van het rapport.

[0:45:42] Daar heeft u met betrekking tot de toezichthouders geïnventariseerd hoe het daar staat met de kennis en dergelijke.

[0:45:51] En dan zien we dan inderdaad de vertaling na.

[0:45:53] dan zien we dat slechts 25% voldoende IT-capaciteit... voor toezicht op algoritmes en AI toeziet.

[0:46:02] Dus ik denk dat mevrouw Drell daar wat meer op anticipeerde op die vraag.

[0:46:06] Dus dan zou ik daar toch nog even iets op willen doorvragen.

[0:46:09] Kunt u daar even iets meer inzicht op geven... met toezicht op die AI-act, hoe dat dan met deze club... want daar heeft u een presentatie over gegeven vorig jaar november...

[0:46:19] Dus even kijken, daar staat pagina 32 bij 3.5.

[0:46:25] Daar refereert u aan een rapport over AI.

[0:46:32] En daar heeft u dan een voorzetje gedaan voor de toezichthouders die je zouden kunnen toezien op die AI-act.

[0:46:37] Ja, en dan neem aan tot dat diezelfde toezichthouders zijn als waar dan deze vraagstelling over is uitgezet.

[0:46:43] Waarbij dan 25% aangeeft van ja, maar wij redden dat niet.

[0:46:46] Kunt u daar iets meer verduidelijking in geven?

[0:46:48] Dank u.

[0:46:50] Ja, er zijn... ...denk ik drie cirkels van toezichthouders.

[0:47:01] Dus het meest intensieve werk in de situatie waarin we nu zitten... ...een centrale werk wordt gedaan door de RDI en door ons op dit terrein.

[0:47:14] Dus wij hebben relatief grote teams...

[0:47:18] denk ik, in de afgelopen tijd kunnen opbouwen om hier goed in gezamenlijkheid mee te werken.

[0:47:24] Dan andere uiteinden waar deze uitvraag over gaat.

[0:47:27] Die gaat echt om het hele brede toezichtlandschap in Nederland.

[0:47:31] Dus uit mijn hoofd zijn het ongeveer 25 toezichthouders die hierop hebben gereageerd.

[0:47:37] Ik denk dat wij 30 tot 35 toezichthouders hebben aangeschreven.

[0:47:42] En dat hebben we gedaan vanuit de gedachte dat...

[0:47:46] Elke toezichthouder, op ongeveer elke terrein waar je ook zit, je krijgt op een bepaalde manier te maken met algoritmes en AI.

[0:47:56] Maar 35 toezichthouders, dat is een best brede rij kwijt qua partijen die daar allemaal onder vallen.

[0:48:06] Daartussenin zitten de toezichthouders die in meer of mindere mate een rol krijgen.

[0:48:13] Zoals wij het als toezichthouders enigszins hebben uitgedacht en hebben geadviseerd op die AI-verordening.

[0:48:19] Dat zijn niet al die 30 toezichthouders.

[0:48:22] Dat is ook niet alleen maar RDI en AP.

[0:48:26] Maar dat is onder andere een duidelijke rol voor alle bestaande toezichthouders.

[0:48:31] productmarkttoezichthouders, dat zijn de vijf, de IGJ, de arbeidsinspectie, de Nederlandse Voedselwaardeautoriteit, de RDI en dan vergeet ik de inspectie leefomgeving en transport, vergeet ik dan.

[0:48:47] Dat zijn de vijf bestaande producttoezichthouders in Nederland die we hebben.

[0:48:50] Die zullen op hun terrein ook een rol krijgen onder de AI-verordening.

[0:48:54] Zou ik verwachten.

[0:48:56] En bijvoorbeeld voor de financiële sector is er een rol voorzien voor DNB en AFM.

[0:49:00] Dus die krijgen daar een rol in.

[0:49:02] Zullen daar ook capaciteit voor moeten hebben.

[0:49:04] En anderzijds bijvoorbeeld een inspectie op het onderwijs.

[0:49:07] Zal op het onderwijsgebied daar kennis en capaciteit voor moeten hebben.

[0:49:11] Maar het zal niet noodzakelijkerwijs een product toe zich houden zijn.

[0:49:15] Want dan ben je bijvoorbeeld eerder in gesprek met Microsoft dan met een onderwijsinstelling...

[0:49:20] En hetzelfde geldt bijvoorbeeld voor de inspectie justitie en veiligheid.

[0:49:26] Dus inderdaad is het wel over het bredere plaatje... dat die organisaties zien dat als zij dat willen gaan doen... dat daar IT-uitdagingen zijn.

[0:49:34] Maar dan kijken we vooruit.

[0:49:37] Ik denk dat we als toezichthouders daar verwachten... dat straks het implementatieproces van de Nationale Uitvoeringswet...

[0:49:48] Dat dat het onderdeel is.

[0:49:49] Dat wij als toezichthouders.

[0:49:50] Allemaal daar met onze concrete.

[0:49:53] Via de uitvoerings- en handhavingstoetsen.

[0:49:55] Onze concrete behoeften op tafel leggen.

[0:49:57] Aan wat we qua investeringen nodig hebben.

[0:50:01] Meneer Wolfsen.

[0:50:03] Ik zal even wat strikken.

[0:50:04] Bij die aantallen van toezichthouders.

[0:50:07] Ons advies is ook.

[0:50:09] Het is systeemtechnologie.

[0:50:10] Elk bedrijf of elke overheidsinstelling.

[0:50:12] Krijgt met de AI te maken.

[0:50:14] Dus ook elke toezichthouder.

[0:50:16] krijgt er ook mee te maken.

[0:50:17] Dus het moet eigenlijk onderdeel zijn van je reguliere werk om in je toezichthoudende werk, ook als een taak wordt uitgevoerd door AI of een algoritme, dat gewoon mee te nemen in je gewone toezichthoudende werk.

[0:50:28] Daarom hebben we ook geadviseerd van laten we ook al die toezichthouders er ook

[0:50:32] ...bekwamen en ervaring op doen... ...en uniforme normen het legt toepassen... ...en daar waar je gaat specialiseren... ...bij verboden AI... ...of de coördinerende taken... ...die wij dan graag op ons nemen... ...en de RDI als het om producttoezicht gaat... ...ga daar wat specialiseren... ...maar het moet gewoon onderdeel zijn... ...van je normale werk... ...en dat... ...elke toezichthouder krijgt er dus mee te maken... ...en dat verklaart die hoge aantallen.

[0:50:58] Dank u wel.

[0:50:59] Mevrouw Kartman...

[0:51:01] Ja, dank voorzitter.

[0:51:02] Fijn dat u er bent en dank voor uw rapport.

[0:51:05] Ik heb een vraag ook aan de heer Stevensen.

[0:51:07] Ik ben het helemaal met u eens dat we eigenlijk zo snel mogelijk die standaarden op orde moeten hebben, zodat we allemaal niet aan de handelingsverlegenheid gaan.

[0:51:16] Waar gaat het nou mis?

[0:51:18] Waarom duurt het zo lang en kunnen we daar iets aan doen?

[0:51:24] Ja.

[0:51:30] Dit is een goede vraag.

[0:51:33] Ik denk dat dat in algemene zin geldt dat het opstellen van standaarden in de vorm waarin dat hier gaat,

[0:51:45] wat in algemene zin ook een proces is... wat zich op de vormen waarvoor het altijd is gebruikt... denk ik zich ook heeft bewezen dat het wel werkt.

[0:51:55] Dus een goede balans maakt in wat uitvoerbaar is... voor bedrijven en organisaties.

[0:52:00] En anderzijds de regelgevers en belangenorganisaties... die daarover meedenken.

[0:52:07] Dat je daarmee goede uitkomsten kan krijgen.

[0:52:10] Maar het kost tijd.

[0:52:12] Dat is de ene kant van het verhaal.

[0:52:13] Dus de tijdslijnen zijn gewoon heel ambitieus.

[0:52:17] Andere kant van het verhaal is dat, ik denk dat dat echt dan een oproep is aan alle betrokken partijen, dat er gewoon een tandje bij gezet moet worden.

[0:52:28] En dus we moeten het maatschappelijk gezien gewoon belangrijk vinden en misschien daar meer transparant over zijn in hoeveel tijd erin wordt gestoken en iedereen daar op Europees niveau aan bijdraagt.

[0:52:41] Dus de Europese Commissie is opdrachtgever van deze standaarden.

[0:52:46] Naar mijn weten participeert zij niet zelf daarin in het schrijven daarvan.

[0:52:50] Ja, dat is wel onhandig, want daar is wel capaciteit.

[0:52:54] Wij participeren daar wel aan, dragen echt ons steentje bij.

[0:52:58] Maar paradoxaal genoeg zie ik ook wel dat er echt wel meer mogelijkheden zijn vanuit bedrijven om hier aan bij te dragen.

[0:53:07] Dus grote techbedrijven kunnen ook echt een tandje bijzetten.

[0:53:11] Om te zorgen dat we uit die standaarden komen.

[0:53:14] Er zijn echt wel intensieve vergaderingen.

[0:53:16] Dus er zijn heel veel deelterreinen waar deze standaarden worden gewerkt.

[0:53:19] Het gaat ook niet om één standaard.

[0:53:21] Het gaat om meerdere standaarden.

[0:53:25] Dat is denk ik het antwoord.

[0:53:27] Iedereen moet gewoon een tandje bijzetten.

[0:53:28] En misschien ook met wat groepsdruk onder elkaar.

[0:53:33] Dat dat zou helpen.

[0:53:36] Dank u wel.

[0:53:36] Mevrouw Machters, Amerika.

[0:53:39] Ja, dank.

[0:53:39] En ook dank dat jullie hier zijn.

[0:53:42] Ik heb een vraag met een iets andere invalshoek.

[0:53:45] Ik ben ook woord voor de economische zaken.

[0:53:47] Alle grote techbedrijven die ik spreek, die klagen over de AI-act.

[0:53:50] En geven aan dat ze hun AI-implementaties gaan uitrollen in bijvoorbeeld Amerika.

[0:53:56] Wat natuurlijk weer heel gevaarlijk is voor ons hele concurrentievermogen als je kijkt naar de debatten die we daar voeren.

[0:54:01] En daar ben ik absoluut voor een goede toezichthouder.

[0:54:04] Maar ik ben wel heel erg benieuwd of jullie misschien kunnen schetsen wat dan het verschil is tussen de toezichthouder hier, of als het gaat over Europa, versus in Amerika.

[0:54:12] En wat dan het daar zo aantrekkelijk maakt om die tools te lanceren.

[0:54:17] Als jullie daar geen antwoord hebben, snap ik dat helemaal hoor.

[0:54:18] Maar ik ben gewoon op zoek naar de verschillen, ook als het gaat over toezicht.

[0:54:23] Meedenken met u. Ik kijk even naar Sven.

[0:54:26] Ik denk, qua regelgeving is Europa natuurlijk strakker in de regelgeving.

[0:54:30] We hechten meer aan de rechtsstaatelijke waarden, grondrechtelijke bescherming en dat soort dingen.

[0:54:35] Non-discriminatie, noem maar op.

[0:54:37] In Amerika is gewoon veel minder wetgeving op dit vlak.

[0:54:42] En in China nog minder, denk ik.

[0:54:45] Het is maar net een beetje wat de normen en de waarden van het land zijn.

[0:54:48] waarbij je je AI kunt gebruiken en het kunt gaan inzetten.

[0:54:52] En ik denk dat we samen trots op mogen zijn hoe we het in Europa hebben geregeld.

[0:54:57] Die AI-act is met heel veel lobby en heel veel gedoe tot stand gekomen.

[0:55:04] Die is ook hier en daar wel erg veralgemeniseerd.

[0:55:06] We hadden er gisteren nog even een discussie over van wat kwalificeert nu als...

[0:55:10] Hoog risico AI en wat onder verboden AI.

[0:55:13] Daar heb je ook allerlei verschillende uitleggen nog voor.

[0:55:15] Dus hier en daar ook best wel een beetje zo algemeen belobbyd dat soms de termen wel erg vaag zijn, heel algemeen zijn.

[0:55:22] Maar ik denk in de kern wat het verschil is, is dat er in Amerika gewoon minder regelgeving is.

[0:55:27] Heel plat.

[0:55:29] Dank u wel.

[0:55:30] En dus ook minder bescherming van burgers hebben.

[0:55:32] Dat is de achterkant ervan hè.

[0:55:34] Ik kijk even naar de tijd.

[0:55:36] Ik wil best nog een rondje doen.

[0:55:38] Maar misschien zijn er leden die weg moeten.

[0:55:40] Of mensen die willen blijven.

[0:55:42] Ik kijk ook even naar onze gast of dat akkoord is.

[0:55:45] Ja?

[0:55:46] Geef ik het woord aan meneer Koops.

[0:55:49] Dank u, mevrouw de voorzitter.

[0:55:53] Heren, ik weet niet wie van u ik moet aanspreken over de kwestie die ik aan de orde wil stellen.

[0:55:59] Dank u zeer voor dit rapport.

[0:56:01] Bijna alles wat erin stond was voor mij een eerste keer dat ik ermee te maken had.

[0:56:06] Ik hoor bij die 90% van de wat oudere Nederlanders die helemaal niks te doen met AI of met de juiste bots.

[0:56:11] In ieder geval heeft u één Nederlander nu goed voorgelicht.

[0:56:17] Dank u zeer daarvoor.

[0:56:21] Maar Schoenmaker blijft bij je leest.

[0:56:22] Want dit gaat niet alleen over AI, maar ook over het gebruik van algoritme.

[0:56:25] En daar weet ik wel wat van.

[0:56:27] En dat met name in verband met discriminatie, die wordt vermoed, die wordt verondersteld, onbedoeld plaats te vinden binnen het systeem van banken.

[0:56:36] Ik focus heel specifiek daarop, omdat vorig jaar in de lente het college voor de rechten van de mens daar nadrukkelijk de aandacht op heeft gevestigd.

[0:56:44] Er is een onderzoek geweest van de Nederlandse banken en ik weet ook heus wel dat u dat allemaal weet.

[0:56:48] Maar in het rapport wat nu voor ligt is er in essentie één korte paragraaf aangeweid aan wat de banken gaan doen.

[0:56:55] En die was voor de leek, zoals ik, nogal vaag.

[0:56:59] Over dat er binnenkort een richtlijn komt, iets met standaarden voor het gebruik van AI.

[0:57:05] En dat baart mij zorgen, als ik het afzet tegen een van uw conclusies, dat er te weinig zicht is op incidenten.

[0:57:13] Dus u hoort waar dit heen gaat.

[0:57:14] Zou u willen reflecteren of u voldoende instrumenten heeft om een toezichthoudende taak goed uit te oefenen op die banken en op het gebruik?

[0:57:24] Van algoritme door die banken.

[0:57:26] En als het zo is dat u denkt dat dat helemaal niet valt onder uw verantwoordelijkheid, dat is het onderwerp.

[0:57:32] Want ik word hier benauwd van in één opzicht dat het te lang gaat duren voordat er serieus iets verbetert binnen die banken die hele goede redenen hebben om algoritme te gebruiken.

[0:57:46] In algemene zin even, want het is een zeer terecht punt en een zeer terechte zorg die u uitspreekt.

[0:57:51] De Collegie van de Rechten van de Mens heeft er iets over gezegd.

[0:57:54] Ik moet even kijken wat ik erover kan zeggen, want het gaat via...

[0:57:57] De minister van Financiën denk ik officieel naar u, maar ik laat er algemene bewoordingen over zeggen.

[0:58:04] Bij een overleg was ik er ook banken bij waren, ook de minister van Financiën bij was.

[0:58:07] En daar werd tot mijn grote tevredenheid door de banken zelf ook gezegd dat dit plaatsvindt.

[0:58:13] Dat vind ik al een grote stap vooruit.

[0:58:15] Dan ben je al je bewust van het feit dat het plaatsvindt.

[0:58:17] De minister van Financiën zei dat ook.

[0:58:20] En aan middelen op zich, en dan heb ik niet heel veel financiën en dat soort dingen, maar aan formele toezichtinstrumenten ontbreekt het ons niet.

[0:58:28] dat we zeggen zodra er persoonsgegevens in verwerkt worden, dan zijn we er altijd van.

[0:58:32] En de AI-act is meer preventieve wetgeving, dat je wilt voorkomen dat er middelen worden ingezet, die enzovoort.

[0:58:38] De Nederlandse bank en de AFM krijgen daar een belangrijke tijd.

[0:58:42] Dus ik denk, in zijn algemeenheid, los van middelen waar we het eerder over hebben gehad, dat de formele instrumenten van de AFM, van de Nederlandse bank en van ons, van het college van de rechten van de mensen en de samenwerkingsverbanden die we hebben, dat we daar voldoende tegen kunnen optreden.

[0:59:00] Middelen is een andere kwestie, maar formeel denk ik als de AI-act in werking is getreden en u geeft er een klap op in lijn met zoals we het voorgesteld hebben met alle toezithouders, denk ik, dat we het formeel met de wetgeving wel voldoende kunnen handelen.

[0:59:14] En ik ben heel blij nogmaals met dat de banken zelf ook inzien dat het er af en toe echt serieus misgaat.

[0:59:21] Ja, misschien kort aanvullen.

[0:59:23] Dit is typisch een onderwerp waar we ook echt...

[0:59:25] als toezichthouders onderling bezig zijn met de zoektocht... en continu kijken van wie doet wat hier.

[0:59:31] In ieder geval om te voorkomen dat we elkaar in de weg zitten... of dubbelop werk doen.

[0:59:37] Dus dit is daarbij een voorbeeld waarin... ik denk eigenlijk de Nederlandse bank ons goed meeneemt in wat zij doet.

[0:59:45] Samen bijvoorbeeld met het college voor de recht van de mens.

[0:59:50] Waarin wij ook dan bijvoorbeeld meelezen en zien wat er in de nieuwe...

[0:59:54] De AML-regulation staat op dit punt en daar zien we wel wat aanknopingspuntjes.

[0:59:59] Dus wij zien daar wel wat beheersingsmogelijkheden in de toekomst ontstaan.

[1:00:05] Dus vanuit dat coördinerende alles overzien perspectief is het iets om in de gaten te houden.

[1:00:10] Maar waarvan we ook wel zien en bijvoorbeeld wel geloven in een aantal...

[1:00:15] aangrijpingspunten daarin.

[1:00:16] De Nederlandse Bank heeft ook zelf een onderzoek gedaan... onder de banken en de maten waarin die hebben gerapporteerd... bijvoorbeeld de maten waarin die systemen zijn geauditeerd.

[1:00:27] En uit mijn hoofd... maar uit mijn hoofd, laat ik het zo zeggen... in die AML-regulation staat bijvoorbeeld ook iets van zo'n auditeringstoets.

[1:00:38] Dus daar is wel een voorland dat daar beheersingsmaatregelen ontstaan...

[1:00:46] En dat is iets wat we dan goed met elkaar volgen.

[1:00:49] De ANWB was wetgevingshebber.

[1:00:52] Er komt nieuwe wetgeving uit Europa.

[1:00:53] En in dat kader was ook het overleg.

[1:00:55] Ik kan er wel iets meer over zeggen.

[1:00:56] Omdat er een hele groep komt.

[1:00:58] Op initiatief van de minister van Financiën.

[1:01:00] En de minister van Justitie.

[1:01:02] Zeer goed.

[1:01:02] Zeer goed initiatief van de beide bewindspersonen.

[1:01:04] Samen met de banken.

[1:01:05] Wij gaan er ook in participeren.

[1:01:06] Maar juist dit soort.

[1:01:07] Eén van de onderwerpen is ook.

[1:01:09] om discriminatie tegen te gaan.

[1:01:10] Dat is heel goed en snel gezegd, niet makkelijk uitvoerbaar, maar die bewustwording is er en uw zorgen zullen daar ook worden geadresseerd.

[1:01:19] Daar ben ik zeker van.

[1:01:22] Dank u wel.

[1:01:22] De heer Valize.

[1:01:24] Ja, voorzitter, bedankt voor het woord.

[1:01:26] Bij overkoepelend beheergeschiedenis, beeld, AI en algoritmes in Nederland had de heer Stevensen nog eventjes

[1:01:32] met betrekking tot geharmoniseerd en praktisch toepasbare standaarden voor AI-systemen... waar de voortgang onvoldoende was... meldde die dat de R en ook in het Engels wordt aangeboden aan de Europese Commissie.

[1:01:46] En dan noemde u ook iets van het CE-keurmerk.

[1:01:49] En dat vind ik heel leuk, want ik heb onze minister al gevraagd... om dat toch eens eventjes in Europa op te hameren, want CE...

[1:01:55] Niemand ziet het verschil tussen CE en CE.

[1:01:58] Het is maar een spatie.

[1:01:59] CE staat voor China Export en andere CE staat voor Conformité Européenne.

[1:02:04] Heeft u daar ook aandacht voor in uw paper richting de Europese Commissie?

[1:02:08] Totdat van meerdere kanten in ieder geval toch even wordt aangekaat van... Goh, luister, het moet geen holle frase zijn.

[1:02:13] Het moet geen vals gevoel van veiligheid bieden.

[1:02:18] Maar het moet ook daadwerkelijk iets doen.

[1:02:22] Ja, ik denk, wij publiceren de RAN in het Engels.

[1:02:29] De Europese Commissie hoeft niet te rekenen op een aanbod zoals we dat hier doen.

[1:02:35] Dus het is in de eerste plaats een Nederlands product.

[1:02:39] Maar omdat wij samenwerken met die AI-board sturen wij

[1:02:43] Onze toekomstige collega's daar wel graag een afschrift waar we mee bezig zijn.

[1:02:51] CE, het onderscheid kan ik visueel ook niet maken.

[1:02:57] En inderdaad, hier gaat het nou juist ook om die transparantie en dat dit voor...

[1:03:04] de consument of de burger, dat dit duidelijk zichtbaar is.

[1:03:08] Het stempeltje is daar één van.

[1:03:11] Maar überhaupt, wat voor informatie moet je krijgen over een systeem?

[1:03:14] Dan kan je denken in termen van informatiebladen, bijsluiters.

[1:03:19] Dat is één van de interessante uitdagingen... waar wij wel graag dit jaar mee aan de slag willen gaan.

[1:03:24] Dus daar kunnen wij als toezichthouder... enigszins ons steentje in bijdragen... om dat op een inzichtelijke en duidelijke manier...

[1:03:33] te brengen.

[1:03:34] Maar daar is nog veel werk aan de winkel.

[1:03:37] Dus wij nemen dit zeker mee.

[1:03:39] Mevrouw Katman.

[1:03:41] Ik heb nog een vraag die een beetje in het verlengde ligt... van de vraag van mevrouw Martens Amerika.

[1:03:46] Op haar vraag was het antwoord... dat komt gewoon omdat we meer regels hebben.

[1:03:49] En ik ben ongelooflijk trots dat we die regels hebben.

[1:03:53] Deze invasieve systeemtechnologie die echt ons leven keihard binnentreedt, die moet je gewoon willen reguleren.

[1:04:00] Dat is ook de enige manier hoe we erop kunnen vertrouwen.

[1:04:03] Er is alleen wel een maar en dat is dat die AI-verordening bedoeld is om aan de ene kant 50% keihard die kans te pakken en die innovatie een boost te geven en 50% aan de andere kant keihard die burger te beschermen.

[1:04:18] Hoe kijken jullie ernaar dat dat ons gaat lukken?

[1:04:22] Om die balans van die 50-50 zeg maar te houden.

[1:04:25] Dus dat je aan de ene kant die innovatie stimuleert... en aan de andere kant keihard die burger beschermt wat heel hard nodig is.

[1:04:34] Ja, nou ja, dat is...

[1:04:39] Het mooie van deze regelgeving is dat het juist heel veel zekerheid kan schetsen.

[1:04:49] En wij lopen er zelf bijvoorbeeld de laatste tijd tegenaan dat wij het best wel vervelend vinden om het telkens te hebben over hoog risico AI systemen.

[1:05:00] Dat is een hele negatieve framing.

[1:05:03] wij hebben het ook niet over hoog risico voedsel als we het over babyvoeding hebben.

[1:05:08] We noemen babyvoeding niet hoog risico voedsel.

[1:05:10] Dus het gaat erom dat het gaat om gecertificeerde systemen.

[1:05:14] Nou, daar moeten we nog een term voor werken die iets lekkerder bekt.

[1:05:19] Maar daar komt het eigenlijk op neer.

[1:05:21] Je werkt aan een mechanisme dat ontwikkelaars systemen kunnen ontwikkelen... die helemaal aan de regels voldoen, dat dat helemaal van tevoren duidelijk is...

[1:05:29] En dan heb jij dus als gebruiker ook veel minder zorgen als je zo'n systeem inkoopt.

[1:05:33] Want je weet dat het gewoon oké is.

[1:05:37] Als toezichthouder hoeven wij er ook op zich heel weinig mee te doen.

[1:05:40] Want het is al helemaal door het proces gegaan.

[1:05:42] Dat het gekeurd is, gecontroleerd is.

[1:05:46] Het hele idee van productregelgeving is dat een toezichthouder alleen maar in actie hoeft te komen.

[1:05:51] Echt bij excessen die zich voordoen.

[1:05:53] Dus het zorgt juist ervoor dat de markt, in dit geval op AI-terrein, gewoon goed haar werking kan doen.

[1:05:58] En dat die

[1:05:59] zekerheid ontstaat.

[1:06:01] Ik denk de uitdaging op dit moment is dat dat echt het voorland is, dat is het perspectief, maar vanuit alle kanten kost dit tijd om dit op te zetten, omdat het gaat om iets volledig nieuws.

[1:06:16] Dus het gaat niet alleen om nieuwe regelgeving, maar ook nog in een volledig nieuwe context.

[1:06:21] En dat is wel waar het belangrijk is om aan weerszijden

[1:06:26] de verwachtingen helder te krijgen.

[1:06:28] En dat geldt ook voor de grote Amerikaanse techbedrijven en die regelgeving.

[1:06:33] Want daar is inderdaad voor die grote modellen allerlei regelgeving die waarschijnlijk deze zomer in werking treedt.

[1:06:40] Maar daar kunnen in dit geval dan ook de Europese toezichthouder die daarin leidend is, wel duidelijkheid verschaffen van en wat gaat er dan het komende jaar gebeuren.

[1:06:49] Want de regelgeving is vastgesteld.

[1:06:51] Het is duidelijk waar die modellen aan moeten gaan voldoen.

[1:06:55] Wat zijn de tijdspaden die we daarvoor geven?

[1:06:58] Wanneer er aan voldaan moet worden?

[1:06:59] Wanneer toezichthouders welke lats op welk moment leggen?

[1:07:03] En dat meerjarig perspectief vooruitkijkend.

[1:07:06] Wat kunnen bedrijven, toezichthouders en andere partijen van elkaar gaan verwachten?

[1:07:11] Dat is wel cruciaal om zekerheid te creëren.

[1:07:16] En daar helpen die consultaties die we nu doen.

[1:07:18] We zetten nu al uit van waar ben je onzeker over.

[1:07:21] Of het wel of niet kwalificeert als hoog risico.

[1:07:24] Door vooraf al die zekerheid te kunnen geven.

[1:07:27] Stimuleer je ook maximaal de innovatie.

[1:07:29] Dat je echt de andere 50% het mensen beschermen.

[1:07:33] Volledig goed invulling kunt geven.

[1:07:34] Maar daar de ruimte kunt geven.

[1:07:36] Waar mensen aan zijn.

[1:07:37] Want het is best, zoals Sven zei al eerder, handelingsverlegenheid.

[1:07:40] Hoe moet ik dat uitleggen?

[1:07:41] Hoe meer onzekerheid er is, hoe meer rem en hoe meer voorzichtigheid er is.

[1:07:45] En hoe minder innovatie.

[1:07:47] Dus we willen maximale rechtszekerheid bieden aan bedrijven.

[1:07:50] En in die AI, dat is zo'n sandbox bepalingen.

[1:07:53] Dat mensen van tevoren als ze iets ontwikkeld hebben.

[1:07:56] dat ze aan ons kunnen vragen, samen met de RDI en andere toezichthouders, dit kan veilig ingezet worden en dit niet.

[1:08:02] En dan kunnen we ook volledig kijken naar de AI-act en persoonsgegevens, de AVG, zodat je in één keer de stempel hebt, dit kan veilig worden ingezet.

[1:08:10] Dan doe je die beide kanten, die u zo mooi benoemt, maximaal de ruimte geven aan bedrijven om te kunnen innoveren en ook competitief te kunnen zijn...

[1:08:17] Zeker in de huidige tijden, de geopolitieke verhoudingen.

[1:08:20] Maar aan de andere kant toch dat we onze kernwaarden waar we voor staan, die grondrechten, dat we die toch intact houden.

[1:08:28] Goed, dank u wel.

[1:08:30] Dank u wel voor uw rapportage, voor uw...

[1:08:32] Dank u wel in ieder geval.