De aanval met ransomware die cybercriminelen eind vorig jaar uitvoerden op de gemeente Hof van Twente demonstreert hoe kwetsbaar kleine gemeenten zijn. Als op het gemeentehuis niet duidelijk is hoe systemen werken, leveranciers en beveiligingsonderzoeken niet de juiste signalen geven en de externe beheerder zaken op zijn beloop laat, kan het ondanks nodige maatregelen heel erg misgaan.
De geplaagde gemeente gaf gisteren volledige opening van zaken. Burgemeester Ellen Nauta lichtte onderzoeksrapporten van forensisch onderzoeker NFIR en cyberdeskundige Brenno de Winter toe die voor vele betrokkenen pijnlijk zullen zijn. Ook de gemeente zelf kwam met een rapport van bevindingen. Hof van Twente dacht dat de zaakjes prima op orde waren. Ze vertrouwde op haar leveranciers, audits en stuurinformatie. Ten onrechte, blijkt nu.
Uit de rapportages komt naar voren dat bij de gemeente ernstige fouten zijn gemaakt. De eigen systeembeheerder van de gemeente veranderde medio oktober 2020 het wachtwoord van een beheerdersaccount in het makkelijk te raden ‘Welkom2020’. Een jaar eerder had hij de firewall foutief aangepast waardoor de poort naar buiten open kwam te staan.
De ftp-server voor bestandsuitwisseling was voor iedereen toegankelijk. Hackers deden dagelijks 50.000 tot 100.000 inlogpogingen. Na enkele dagen hadden ze beet. Omdat het ontbrak aan meerlaagse beveiliging betekende het raden van het wachtwoord ook daadwerkelijke toegang.
Het ontbrak ook aan afscherming met een vpn, waardoor iedereen naar het gemeentelijke netwerk kon gaan. Tot overmaat van ramp bleek het mogelijk de backups te vernietigen. De gebrekkige inrichting van de infrastructuur maakte de verdere aanval mogelijk waarbij zowat de hele gemeente platging.
Forensisch onderzoeker NFIR ontdekte dat vrijwel alle systemen toegang tot elkaar hadden. Van netwerksegmentatie was geen sprake. Ook de monitoring faalde. De signalen waren zo zwak dat niet tijdig actie werd ondernomen. De aanvaller had alle tijd om backups buiten het netwerk van de gemeente te vernietigen en lokale backups te versleutelen.
Opmerkelijk is dat de externe beheerder in een persbericht nu alle schuld in de schoenen van de gemeente probeert te schuiven. Switch IT Solutions zegt de gemeente allerlei adviezen te hebben gegeven die niet zijn opgevolgd. De vraag is waarom dan niet harder aan de bel is getrokken, bijvoorbeeld door een brandbrief aan de gemeente te sturen of het contract op te zeggen. Onderzoeker Brenno de Winter stelt dat de leverancier van de systeembeheerdiensten voor zover bekend niet heeft gewaarschuwd voor de slechte beveiliging. Deze zijn niet in de rapporten aangetroffen of ergens binnen de gemeente.
Switch deed het beheer naar eigen zeggen slechts voor een beperkt deel, maar liet toe dat ambtenaren diep in het systeem konden komen. De beheerder had die vermenging van verantwoordelijkheden nooit moeten toelaten, stelt een insider. Hier geldt overigens ook de zorgplicht.
De Winter schrijft in zijn duidingsrapportage dat de vraag opkomt wie nu waar verantwoordelijkheid voor draagt. Duidelijk is dat een fout van een ambtenaar tot het incident heeft geleid. Maar een zwakte was ook dat de rollen in de praktijk minder strak belegd bleken te zijn dan op papier werd verondersteld. Beheerstaken liepen door elkaar heen.
Switch stelt dat ook voorstellen zijn gedaan ter verbetering van de backups. Opvallenderwijs verklaart het bedrijf niet waarom zoveel backups zijn gewist.
Forensisch onderzoek
Ook het incidentenmanagement had achteraf beter gekund, zo blijkt uit de rapportage van De Winter. Toen het veiligheidsincident op 1 december 2020 werd ontdekt, schakelde Switch een beveiligingsbedrijf in dat tot dezelfde groep van ict-bedrijven behoorde. Incident response, digitaal recherchewerk of onderzoek behoorden niet tot zijn hoofdactiviteiten. Het bedrijf staat niet vermeld op de lijst van Particulier Onderzoeksbureau (POB)-vergunninghouders. Ook de rapportage vertoonde gebreken. Bij zo’n ernstig incident had beter meteen een forensisch onderzoek kunnen worden gedaan door een bureau met een opsporingsvergunning.
De zwaar getroffen gemeente noemt de hack een stevige les. De gemeente bleek kwetsbaar, maar had dat zelf helemaal niet door. De technische situatie was slechter dan de gemeente veronderstelde. Eerdere audits en een pentest hadden de gemeente gerustgesteld. Rapporten van externe organisaties hadden geen signalen gegeven dat er serieus iets mis was met de beveiliging.
De gemeente had audits qua beveiliging laten doen. In de bestuurskamer van de gemeente ontbrak echter de kennis om de zogenoemde ENSIA-verklaringen van de Vereniging Nederlandse Gemeenten (VNG) op de juiste waarde te schatten. Die verklaringen zeggen alleen dat de aansluitingen op DigiD en Suwinet (Structuur Uitvoeringsorganisatie Werk en Inkomen) kloppen. College en raad waren gerust gesteld door die vaststellingen, niet wetende dat veel breder moet worden gekeken. Ten onrechte werd aangenomen dat de gemeente voldoende de controle had. Een verklaring van een auditor die aangaf dat het bestuur de situatie scherp op het netvlies had, bevestigde dat beeld.
In werkelijkheid waren de beheersmaatregelen onvoldoende op orde. Anders was wel twee-factorauthenticatie toegepast en waren accounts niet voorzien van zeer slechte wachtwoorden. Ook was het dan niet mogelijk geweest het hele interne netwerk te raken vanaf een bestandsuitwissel-server. Ook was het beheer dan niet zo raar geregeld.
Penetratietest
Verder dacht de gemeente haar zaakjes goed voor elkaar te hebben toen een pentest was doorstaan. Sogeti kwam met positieve bevindingen en rapporteerde niet dat er problemen speelden met de ftp-server. Evenmin werden ernstige risico’s gemeld, wel verbeterpunten. De test van Sogeti wekte de indruk dat er geen dreigende problemen waren en dat de beveiliging redelijk op orde was. Probleem is dat een gemeentelijke bestuurder hieruit niet kan afleiden welke problemen buiten het onderzoek vielen.
De rapportage van Sogeti beschreef alleen wat de onderzoekers was opgevallen, niet wat er daadwerkelijk was onderzocht. Het forensisch onderzoek legt tal van zwakten bij deze penetratietest bloot die Sogeti zich ter harte mag nemen. Het was Sogeti niet opgevallen dat de ftp-server wagenwijd openstond en dat daarop een kwetsbare versie van het remote-desktopprotocol draaide. Bovendien werd niet gewezen op de best practice om een netwerk te segmenteren. Ook methodologisch rammelde er veel.
Hier was veel aandacht voor connectiviteit en bitter weinig voor continuïteit. Bij de gemeente heeft er zich geen ICT ongeluk voorgedaan, maar een ICT ramp. Dat kan alleen doordat er een reeks van fouten is gemaakt, in dit geval ook een serie beginnersfouten. Alles moest aan alles gekoppeld worden, incluis internet. Zonder dat de gemeente of de externe beheerder doorhad, moest één goed wachtwoord alles beveiligen. Een vroeger Twitter wachtwoord Trump was ‘maga2020!’ (Make america great again). Daar werd om gelachen toen een Nederlandse ethische hacker dit snel doorkreeg. Het Hof van Twente gebruikte Welkom2020 voor een reserve beheeraccount. De hackers konden daarna via Remote Desktop zonder IP restricties en multi-factor authenticatie binnenkomen. Gemakkelijk voor een externe beheerder en ook voor een hacker. De hackers zijn in zeker 9 systemen binnengedrongen, hebben uiteindelijk in één nacht 5 servers en de back-ups versleuteld en 89 virtuele VMware servers verwijderd, de off-site back-ups verwijderd. Dit was mogelijk omdat de netwerkinfrastructuur, de beveiliging, de back-up, niet doordacht was ingericht en beheerd. Er werd niet actief gemonitord, want dan had men de geautomatiseerde brute force attacks sinds 19 oktober 2019 ontdekt. De infrastructuur was een grote honeypot. Er waren geen offline-kopieën) zoals de standaards voorschrijven. Er is zelfs door de hackers een beetje met de mogelijkheden gespeeld.Het hoofd I&A van het Hof van Twente heeft niet ingegrepen en had wellicht onvoldoende mandaat om orde op zaken te stellen. De Chief information security officer, met amper ICT kennis, heeft ook gefaald, misschien ook door onvoldoende mandaat.
Switch IT Solutions geeft de gemeente de schuld. Gemakkelijk omdat het wachtwoord van een ambtenaar is gekraakt, maar er is veel meer mis gegaan. Ik vraag me af of Switch IT Solutions slechts handjes leverde. Ik ken het contract niet. Het beheer van de gemeente en Switch IT Solutions liep een beetje door elkaar.
Er waren duidelijk zwakke plekken. Is dat door Switch IT Solutions duidelijk gemaakt aan de gemeente toen de SLA’s zijn gemaakt? De accountmanager en de externe beheerders van Switch IT Solutions zijn in ieder geval niet kritisch geweest en hebben ook niet ingegrepen. Het ingeschakelde penetratietest bedrijf had geen POB-vergunning. Mocht geen meer gespecialiseerd security bedrijf ingeschakeld worden? Zo heb ik nog meer vragen.
De gemeente heeft zo te zien best snel en eerlijk (open) op de ramp gehandeld. Ze laat zich niet chanteren en haalt snel externe expertise binnen om hard werkend de diensten te herstellen. Daarvoor mag je ook bewondering hebben.
Is het niet meer ‘best practice’ om laten we zeggen na 5 mislukte inlogpogingen een account op slot te zetten als verdediging tegen brute force-aanvallen? Nu is deze verdediging niet effectief tegen aanvallen waarbij een paar wachtwoorden per uur worden geprobeerd, één wachtwoord wordt geprobeerd tegen een grote lijst van accounts of een aanvaller de combinatie van account en wachtwoord bij eerste paar pogingen raad maar daar lijkt geen sprake van te zijn. Volgens onderzoek waren er sinds 29 oktober 2019 tussen de 50.000 en 100.000 pogingen tot inloggen en je zou verwachten dat er dan een belletje afgaat bij gemeente, Switch IT Solutions of Sogeti. Opmerkelijk trouwens dat de brute force-aanvallen pas beginnen nadat de FTP-server via Internet bereikbaar werd, zou er sprake zijn geweest ‘bloatware’ op de FTP-server?
Even los van wie welke fout gemaakt heeft. De persconferentie en alle bijbehorende PDF’s zijn lovenswaardig en vol inzichten en wijze lessen! Ik heb ze echt met “plezier” gelezen. Maar wat een ramp is dit geweest.
Wat ik me afvraag: Zou in iedere gemeente (of zelfs organisatie) iemand na het lezen van dit verhaal zichzelf afvragen; “Zou dit ons kunnen overkomen?”
En ik durf er wel mijn hand in het vuur te steken, dat het antwoord op die vraag bij een grote meerderheid “Ja” is. Waarom?
In veel bedrijven is weinig IT kennis aanwezig op de juiste positie. Dit terwijl praktisch iedere organisatie afhankelijk is van functionerende IT. Maar zoals de burgemeester zegt; “We hadden niet genoeg briefjes in de meterkast hangen over wie we wanneer moesten bellen”.
Security is bovendien niet een procedure, maar een mindset waar continu aan gewerkt moet worden op alle niveau’s. (C)ISO krijgen veelal heel weinig mandaat en nog minder budget.
Praktisch iedere Nederlander hergebruikt wachtwoorden, heeft weinig MFA, heeft geen wachtwoordmanager en zeker geen doordacht plan voor als het mis gaat. Met zo’n startpunt wordt het al heel lastig om als organisatie veerkrachtig te zijn.
Organisatie en systemen zijn en worden nu eenmaal enorm complex en zeer veel van de basis zaken leer je niet op school of elders. Dus hopelijk worden we allemaal weer bewust van onze gebreken en kan deze wake-up call weer even een signaal zijn om hiermee aan het werk te gaan.
Henri,
Je vraag kan ik beantwoorden vanuit praktijkervaringen uit het verleden, ik ben zo’n boefje die zich ongeautoriseerd – maar met toestemming – ook toegang wist te verschaffen via fouten in de beveiliging. En ik had vaak succes via de service accounts die geen MFA kennen maar wel vaak verhoogde rechten welke ik als startpunt gebruikte voor vervolgacties om meer rechten te verkrijgen, ik wist dus het briefje in de meterkast met het wachtwoord te vinden. Je denkfout is dat je vanuit de gebruiker denkt, ik denk vanuit de processen die veelal slecht bewaakt worden en vanuit die optiek is mijn eerste vraag waarom FTP?
Ik stel een relatief eenvoudig vraag als we naar duiding van Brenno kijken en zijn eerdere geschreeuw over Dropbox want mijn ‘maiden speech’ op dit platform zo’n 11 jaar geleden wees op dit fenomeen wat toen nog geen naam had maar nu bekend is als Shadow IT. Ik pleit Switch IT niet vrij maar praktijkervaringen uit het verleden leren dat verwachtingen en contracten nog een lastig fenomeen zijn in de schuldvraag, mea culpa van de gemeente is mooi maar onbevredigend omdat ik vrees dat er niks geleerd is.
Oudlid, je maakt je nogal eens schuldig aan whataboutism ( https://en.wikipedia.org/wiki/Whataboutism ).
Bovendien ben je aanmatigend door te stellen dat de gemeente niets geleerd heeft. Dat is totaal niet constructief. Als iemand 99% van de dingen goed doet, leg jij de focus op die ene procent en gebruikt dat om te zeggen dat het niet goed is.
“ik wist dus het briefje in de meterkast met het wachtwoord te vinden” geeft ook aan dat je de analogie van de burgemeester niet begrepen hebt, dat ging overigens over het proces en niet de gebruiker. En dat terwijl je bij mij een denkfout constateert dat ik vanuit de gebruiker denk.
Om je vraag te beantwoorden over de FTP server. Juist omdat de cloud nog geen gemeengoed is, en gemeenten niet echt voorlopen op innovatie is FTP nog steeds een handige tool om bestanden uit te wisselen die al twintig jaar gebruikt wordt. All habits don’t die fast.FTP in zichzelf was niet het probleem hier.
Ik heb groot respect voor de gedeelde lessen en transparantie. Dat kan ik niet hard genoeg roepen. Het inspireert me en ik hoop dat dit voorbeeld de modus operandi wordt na een aanval.
Henri,
Inderdaad leg ik – beroepsmatig – graag de focus op verbeterpunten, zeker als het om beheervraagstukken gaat want als ik het rapport van bevindingen lees gaat het om de ‘habit’ van papieren tijgers temmen waardoor gemeente achterliep op de regievoering omdat er 5 soorten van beheer gedefinieerd zijn en er uiteindelijk maar één vorm formeel uitbesteed is welke informeel gewoon door medewerkers van de gemeente uitgevoerd bleef worden. Verantwoordelijkheid zonder bevoegdheid – het gemeentelijk delegatiemodel – in opdrachtgeverschap is een oude bekende voor mij want de rollen lijken op papier belegd maar in de praktijk mist veel een duidelijke RA(S)CI-matrix aangaande de besluitvorming.
Je geeft een mooie link naar Whataboutism want duiding van de jij-bak of het bestuur te goed van vertrouwen is geweest of dat de ‘faal-industrie’ schuld heeft gaat om politieke spinning door een ingehuurde communicatiemedewerker die probeert een andere duiding aan ambtelijke rsultaten te geven, ook gij Brenno?
De wet van oorzaak en gevolg is meer dan een filosofische gedachte als we vanuit het RASCI-model de vraag stellen wie de deur open heeft gezet heeft met FTP want het één heeft dus bijgedragen aan het ontstaan van het ander door een gebrek aan controle. En op pagina 7 van het rapport van bevindingen staat dan ook niet alleen een leuk plaatje over de indeling van het beheer maar ook iets over de juridische positie van de gemeente. Stellen dat er 1% gemist is als er 99% fout gegaan is in controle legt de bal weer terug op de stip als we kijken naar het missen van de kansen.