Ongeveer 5 procent van de foto’s die digitaal in het paspoort zijn opgeslagen bevat fouten. 1 tot 2 procent is van zodanig slechte kwaliteit, dat een gezichtsherkenningsysteem deze ten onrechte onvoldoende op de paspoorteigenaar vindt lijken. Dat zegt Luuk Spreeuwers. Hij is biometrie-onderzoeker aan de Universiteit Twente en onderzocht in opdracht van het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) de prestaties van verschillende gezichtsherkenningssystemen. Dat gebeurde in voorbereiding op een aanbesteding voor de bouw van 36 e-gates op luchthaven Schiphol. Deze worden in het najaar van 2011 geïnstalleerd.
'Ik ben geschokt over de kwaliteit van sommige paspoortfoto's', zegt Spreeuwers. 'Ik zou ze nog niet accepteren als vakantiekiekje.' Ongeveer in 5 procent van de paspoorten, die Spreeuwers gebruikte om gezichtsherkenningssystemen te testen, bleek de digitaal opgeslagen foto in het paspoort fouten te bevatten. In 1 tot 2 procent van de gevallen was de kwaliteit van de foto zo slecht dat een gezichtsherkeningssysteem de foto ten onrechte onvoldoende op de paspoorteigenaar vond lijken.
Dat ontdekte Spreeuwers toen hij in 2010 in opdracht van het ministerie van BZK de prestaties van tien verschillende gezichtsherkennings-algoritmen met elkaar vergeleek. Dat gebeurde in voorbereiding op een aanbesteding voor de bouw van 36 e-gates op luchthaven Schiphol. Deze worden in het najaar van 2011 geïnstalleerd. De 'zelfbedienings'-poorten controleren de identiteit van reizigers door een foto van hun gezicht te vergelijken met de foto in hun biometrische paspoort.
In totaal werden er ongeveer achthonderd paspoorten gebruikt in de tests. Het ging daarbij om Europese paspoorten. Ongeveer 85 procent van de paspoorten was van Nederlandse makelij.
Scheurtjes, stof en haartjes
Spreeuwers trof onder meer ingescande 'scheurtjes, stof en haartjes' op de foto's in het paspoort aan. 15 procent van de foto's heeft één of meer verticale lijnen die geen data bevatten. Deze fouten zijn ontstaan bij het digitaliseren. In de meeste gevallen raakten de gezichtsherkenningsystemen niet van slag door deze ontbrekende data, maar bijvoorbeeld wel wanneer een ontbrekende scanlijn recht door een oog heen liep: 'Als je zo'n paspoort hebt, dan is de kans dus groter dat het gezichtsherkenningssysteem een foutmelding geeft.'
Ook waren er foto's met een te hoog of een te laag contrast. Daarnaast waren er foto's met compressiefouten. Spreeuwers: 'Die foto's hebben een blokkerige structuur. Dat zie je ook met het blote oog.' De ergste compressiefouten werden overigens aangetroffen op paspoorten die niet uit Nederland afkomstig waren.
Fraudegevoelig
Vanwege de door hem geconstateerde lage kwaliteit van de paspoortfoto's pleit Spreeuwers er voor het huidige foto-opnamesysteem ingrijpend te wijzigen. Aanvragers van een paspoort leveren nu nog een fysieke pasfoto in. Die wordt door de gemeente gedigitaliseerd met behulp van een camera. Spreeuwers: 'Fouten kunnen op verschillende manieren ontstaan: door onprofessionaliteit van de fotograaf of door fouten bij het digitaliseren.' Beide typen fouten zouden voorkomen kunnen worden door op het stadhuis een digitale foto te maken van paspoortaanvragers, op het moment dat ze hun paspoort komen aanvragen.
Een extra voordeel daarvan is dat identiteitsfraude tijdens de aanvraag lastiger wordt. 'De ambtenaar is geen expert in gezichtsvergelijking. Het is daardoor mogelijk dat iemand een paspoort aanvraagt met een goed gelijkende foto van iemand anders.'
Wijzigen instellingen
Spreeuwers denkt overigens niet dat de slechte fotokwaliteit ervoor gaat zorgen dat reizigers de doorgang op Schiphol wordt geweigerd, alleen omdat de software in de e-gates passagiers niet herkent. 'Het ergste wat er kan gebeuren is dat je paspoort handmatig moet worden gecontroleerd door een marechaussée, zoals dat nu ook al het geval is.'
Daarnaast is het mogelijk de instellingen van een gezichtsherkenningssysteem zodanig in te stellen dat het systeem eerder aangeeft dat er een match is tussen foto en scan. Daarmee stijgt dan automatisch ook het aantal mensen dat onterecht wél door mag en daarmee de mogelijkheden tot identiteitsfraude.
De best scorende gezichtsherkenningssystemen tijdens de experimenten van Spreeuwers herkenden in 1 procent van de gevallen de passanten ten onrechte niet. Een onterechte match, een zogeheten 'false positive', trad in ongeveer 0,1 procent van de gevallen op. De onderzoekers ontdekten dit laatste percentage omdat ze de gezichtsherkenningssystemen ook gezichtsscans lieten vergelijken met pasfoto's van iemand anders.
'De verhouding tussen het aantal false positives en false negatives van het systeem wordt momenteel in samenspraak met de leverancier van de gates ingesteld met in achtneming van de aanbevelingen die gebleken zijn uit het onderzoek van de Universiteit Twente', aldus een woordvoerder van het ministerie van BZK.
Efficiëntie beperkt
Tijdens het onderzoek van Spreeuwers bleek de kwaliteit van de paspoortfoto's de efficiëntie van de gezichtsherkenningssystemen te belemmeren. Spreeuwers: 'Stel dat alle omstandigheden tijdens de opnamen van de gezichtsscan goed zijn. Dus de belichting is goed en mensen werken goed mee. In dat geval wordt het succespercentage van de huidge gezichtsherkenningssystemen beperkt tot 98 tot 99 procent, vanwege problemen met de kwaliteit van paspoortfoto's.'
Kwaliteitsproblemen met pasfoto's vormen overigens op dit moment niet de bottleneck voor prestatieverbetering van softwareherkenningssytemen, aldus de onderzoeker. 'Problemen tijdens de live opnames zijn vooralsnog van grotere invloed.' Daarbij gaat het om belichtingsproblemen en om mensen die niet goed meewerken. 'Mensen kijken wel eens niet recht in de camera of ze trekken gekke grimassen.'
Paspoortproductie
De pasfoto's worden sinds medio 2009 niet meer met een scanner gescand bij de gemeenten. Er wordt een camera gebruikt om de ingeleverde foto te digitaliseren. De gedigitaliseerde foto wordt vervolgens door de gemeenten met overige aanvraaggegevens elektronisch verzonden naar de producent (Morpho, voorheen Sagem) van de reisdocumenten. De paspoortleverancier mag de kwaliteit van de foto's niet beoordelen.
Reactie Minister Piet Hein Donner
'Het is bekend dat er bij de controle op de kwaliteit van pasfoto's aan de gemeentebalies ook foto's doorheen glippen. Minister Donner vindt dat gemeenten er nog beter op moeten letten of ingeleverde foto's aan de eisen voldoen. Dat blijft een verantwoordelijkheid van de gemeenten', aldus een woordvoerder van het Ministerie van BZK namens minister Piet Hein Donner.
Tekenend voor het verantwoordelijkheidsgevoel van de politiek is dat in het artikel staat:
Spreeuwers: ‘Fouten kunnen op verschillende manieren ontstaan: door onprofessionaliteit van de fotograaf of door fouten bij het digitaliseren.’
terwijl in de reactie alleen wordt ingegaan op de fouten van de fotograaf.
Dit is toch werkelijk waar ongelovelijk. Zelfs mijn neefje van 16 kan perfecte scans maken voor welk doel dan ook. Afdruk op posterformaat, voor op beeldscherm, etc. Voor elk doel heb je een andere instelling nodig, en zelfs hij snapt dat. Hoe kan het dat dit niet lukt bij een overheidsinstantie, waar dit je niet alleen mag verwachten, nee, zelfs van moet eisen! Dit heeft niets meer te maken met gebrekkige kennis van de technologie. Dit is gewoon managementfalen en gebrek aan kwaliteitsinzicht! Van producent tot afnemer (en dan bedoel ik niet de burger, maar de overheid) van het paspoort, de gehele keten faalt hier! Maar, volgens mij is de ellende nog veel groter! Heeft iemand zijn foto op zijn nieuwe rijbewijs wel eens bekeken? Over bagger gesproken. Zelfs de krantefoto’s uit 1970 zien er nog beter uit! Dit is allemaal ronduit schandalig en eigenlijk moeten we dit met zijn allen niet accepteren. Het is dat je het paspoort en rijbewijs nodig hebt, maar anders zou ik iedereen oproepen het per post op te sturen naar het Binnenhof!
Donner op z’n best.
Waarom staan we er eens niet bij stil dat het fundament rul zand is?
Dat men wel eens problemen heeft met stof kan ik me voorstellen. Ik scan regelmatig dia’s, en het is niet gemakkelijk om ze goed stofvrij te krijgen.
Waar het vooral mis ging is dat men er niet bij stil heeft gestaan dat kleine “pasfoto’s” niet meer van toepassing zijn. Als je een foto toch gaat digitaliseren kan je veel beter beginnen met een normale foto van circa 15cm hoog, en dat digitaal verkleinen. De kwaliteit is beter en men heeft zo goed als geen last meer van stof.
Het paspoort is met de introductie van telkens nieuwe technieken steeds duurder geworden, maar telkens horen we dat deze technieken niet hebben gebracht wat ervan verwacht werd.
Zo bleek het, na diverse aanpassingen, nog steeds mogelijk om fraude te plegen en nu staat er een foto en vingerafdruk op en is de foto onleesbaar.
De gebruiker betaald dus voor door de overheid opgelegde aanpassingen die uiteindelijk onbruikbaar zijn.
Dat is knap van de overheid.
Stephen heeft gelijk. De fout komt doordat men van groot formaat digitaal naar klein formaat analoog en dan weer naar digitaal gaat. En dan wil men daarmee een weer gescand analoog beeld gaan vergelijken met behulp van een gezichtsherkenningsysteem. Dat is vragen om moeilijkheden en dus de zwakte van het concept.
De fotograaf is zeker zo goed opgeleid als degene die gaat scannen en diens fotoapparatuur is zo goed dat er veel meer details te zien zijn dan de mens kan verwerken. Dus dat beeld moet men gaan gebruiken.
De onderzoeker meent dat ambtenaren onvoldoende getraind zijn om mensen te herkennen bij het aanvragen van paspoorten. Zou dat dan ook gelden voor de controle door politie en douane, et cetera? Dan is het systeem toch zo lek als een mandje?
Het is inderdaad vreemd dat alles bij het gemeentehuis gebeurd op de foto na. Die moet nog steeds voor ongeveer 10 euro apart gemaakt worden en daarna wordt de fysieke foto gescand. Deze omweg is makkelijk te vermijden.
Typisch voorbeeld van een procesverandering zonder naar het hele proces te kijken. In plaats van scanners hadden de gemeenten dus fototoestellen moeten aanschaffen.
Deel al jaren Corné’s suggestie: Gewoon digitaliseren aan de bron, ofwel foto’s maken in het gemeentehuis en niks geen analoog kiekje inscannen. Zodoende ben je ook direct van de discussie af dat foto’s te oud danwel niet goed gemaakt zijn.