Onder leiding van Marlies van Eck ontwikkelde een groep experts De LegitiMaat. Dit is een werkmethode om de geautomatiseerde uitvoering van wetten te beoordelen. De LegitiMaat is op 1 juli 2022 aangeboden aan de opdrachtgever, het ministerie van BZK. Het instrument kan door iedereen uitgeprobeerd worden en staat op GitHub. De LegitiMaat hanteert een driedubbele blik: een juridisch perspectief, dat van een auditor en van een IT-ontwikkelaar. In de onderzoeksgroep zaten Mariette Lokin, Steven Gort, Maike Klip, Abram Klop, Giulia Bossenecker, Carlijn Oldeman en Robert van Doesburg.

Waarom is het nodig om geautomatiseerde uitvoering van wetten door de overheid te (laten) beoordelen?

De overheid heeft veel verschillende taken. Deze taken worden bij wet toegekend aan een bestuursorgaan. Een deel van deze wettelijke taken wordt geautomatiseerd uitgevoerd met algoritmen. Denk aan het opleggen van boetes voor te hard rijden, het terugvorderen van toeslagen of het verlenen van AOW of kinderbijslag. Net als bij een meer zichtbare uitvoering van taken zoals het ophogen van dijken, is het belangrijk om te weten hoe deze processen verlopen en welke keuzen daarbij gemaakt zijn. Want ook de geautomatiseerde uitvoering van wetten is publiek handelen en moet legitiem zijn.

Waarover gaat De LegitiMaat nog niet?

De LegitiMaat gaat nog niet over het gebruik van ML door de overheid. Tegen de hype van ‘zelflerende algoritmen’ in, wilde deze groep onderzoekers juist weten hoe mensen wetten vertalen in instructies aan de computer zodat de computer besluiten neemt. Vaak wordt dit gebied vergeten.

Maatschappelijk en wetenschappelijk verantwoord

Vanwege de toenemende roep op toezicht op algoritmen is gezocht naar deskundigen uit de praktijk om mee te sparren. In de klankbordgroep zaten vertegenwoordigers van de Algemene rekenkamer, de Autoriteit Persoonsgegevens en het Agentschap Telecom. Ook Stichting advisering bestuursrechtspraak was vertegenwoordigd alsmede Arjan Widlak van Stichting Kafkabrigade en promovendus Joris Krijger.

De Wetenschappelijke Begeleidingscommissie met professoren Sneller (Universiteit Nyenrode), Bovens (UU) en Zouridis (Tilburg University zorgde ervoor dat we het wiel niet opnieuw gingen uitvinden. Ook hielpen zij ons het grotere plaatje te blijven zien.

Getest in het echt

Wij voegen geen extra toezichtskader toe. Wij wilden eerst weten wat er gebeurt bij de uitvoeringsinstellingen en hoe er op een gestandaardiseerde wijze naar kan worden gekeken. Dankzij de hulp van DUO en SVB konden we onze ideeën uittesten. Nadat we de vakmanschap zagen in combinatie met de zeer ingewikkelde en wisselende uitvoeringspraktijken, kozen we voor het visitatie-onderzoek als werkmethode. Zo kan  de organisatie zich eerst zelf een beeld vormen om vervolgens aan collega experts een oordeel te vragen.

GitHub

Wij kozen voor publicatie van De LegitiMaat op GitHub. Dit maakt het product toegankelijk, ook voor mensen die niet gewend zijn beleidsnota’s te lezen. Inleidende teksten zijn naar Frans voorbeeld geschreven.

Deuren geopend voor studenten

Om de verbinding met het huidig onderwijs te vergroten is er bij dit project aansluiting gezocht met studenten. Er werkten twee studenten mee aan het project en in totaal schreven drie studenten een scriptie door gebruik te maken van de geopende deuren. Dit zijn scripties geworden voor drie universiteiten in drie verschillende afstudeerrichtingen, respectievelijk Universiteit Leiden, bestuursrecht, Vrije Universiteit, AI en Radboud Universiteit, Computer Science & Society.

Niet makkelijk

Voor het beoordelen van algoritmen geldt dat als het makkelijk was, het al lang was gedaan. Het is haast niet mogelijk om taken die al zo’n twintig jaar door bestuursorganen geautomatiseerd worden verricht, van kop tot staart in te zien, te begrijpen of te beoordelen. En daar waar een wet soms een overzichtelijk aantal bepalingen kent, zijn de bijbehorende beslisregels vaak een veelvoud. De LegitiMaat is een eerste poging om de uitvoering vertrouwd te maken met het feit dat ook bij gebruik van technologie de regels gelden van de Awb, algemene beginselen van behoorlijk bestuur en het verbod van discriminatie. En dat de overheid ook hiervoor verantwoording moet afleggen.

Pas op voor de reflex

Het is verleidelijk om ons heil te zoeken in meer regels voor het aanleggen van documentatie, impact assessments en afvinklijsten. Dat gebeurt ook het voorstel van de EC voor de AI Wet. Maar dan gaat er veel tijd en energie zitten in het creëren (en onderzoeken) van een papieren werkelijkheid. Het toch al abstracte onderwerp raakt dan te veel verwijderd van het achterliggende belang. Dit is namelijk dat een overheid zich aantoonbaar aan regels houdt. Die regels zijn er ter bescherming van burgers. Ook bij het gebruik van algoritmen.

Meer Weten?

Over onze zoektocht is meer te vinden in dit overzicht. De Legitimaat (noti.st). We hebben veel documenten verzameld en op een plaats ondergebracht zodat iedereen het kan gebruiken: De LegitiMaat · Regelbeheersing (pleio.nl). Tot slot wordt alle relevante Engelstalige informatie hier bijgehouden: A cool experiment in NL: The LegitiMate. Working method to judge the use of algorithms in ADM from 3 perspectives. – Automated administrative decisions and the law (wordpress.com)

Vragen?
Meer weten over De LegitiMaat? Bel of mail Marlies.