Het is Vodafone gelukt vannacht het 2G (bellen en sms) en 3G (mobiel internet) netwerk weer op te starten. Helaas duurt het aansluiten van alle klanten langer dan we gisteren verwachtten omdat de verbinding van de noodvoorziening met de zendmasten handmatig moet worden uitgevoerd. Voor het opstarten van het het 2G netwerk is een noodvoorziening geplaatst. Het 3G verkeer wordt gedeeltelijk omgeleid via andere locaties.
Vodafone kampt met de naweeën van een grote brand in een onbemand gebouw aan de Caïrostraat in Rotterdam die woensdagochtend 4 april uitbrak. In dit gebouw van het Vodafone-onderdeel Switch staat onder andere netwerk- telefonieapparatuur van de telecomdienstverlener. Door de brand is er ook instortingsgevaar ontstaan. Vooral in de Randstad hebben klanten, zowel consumenten als bedrijven en organisaties, veel problemen ondervonden met telefonie en internet.
Het telecombedrijf laat weten dat het aansluiten van alle klanten op het opnieuw opgestarte netwerk langer duurt dan verwacht. Dit komt omdat de verbinding van de noodvoorziening met de zendmasten handmatig moet worden uitgevoerd.
Voor de helft van de getroffen klanten zal het bel, sms- en voicemail-verkeer tegen 10 uur vanochtend hersteld zijn. Dat geldt tevens voor een beperkt deel van het 3G-verkeer (mobiel internet). Het herstellen van de problemen voor overige klanten op het gebied van bellen, sms en voicemail zal de rest van de dag duren. Het zal nog enkele dagen duren voordat de alle problemen voor 3G (mobile internet) volledig hersteld zullen zijn. Ook klanten in het buitenland ervaren nog problemen.
Als klant van Vodafone, jarenlang overigens alweer met grote tevredenheid, is deze uitval ‘lastig’. Maar, er zijn overal telefoons en ik ben wat mijn email betreft weer niet afhankelijk van Vodafone.
Ik maak me verder ook niet al te druk over de eventuele schade ,die ik al of niet zou oplopen want ik kan best zonder Vodafone. Als IT professional ben ik minder blij. Maar ik schaar ook dit hele gebeuren als een groot incident onder de schare van incidenten van alleen al de voorbije 6 maanden.
Professioneel vraag ik me namelijk af wat Vodafone als zakelijke organisatie bezield niet eens rekening te houden met iets bijzonder triviaals en strategisch als reduncancy of een uitwijk? Ik ben bijzonder goed bekend in IT ketens en ‘minimal requirements and standards’, ook binnen IT Crisis management kan ik aardig mijn weg vinden. Maar hier heb ik werkelijk geen zinnig antwoord op.
Ook al zou de boel zijn aangestoken, zoals verschillende media suggereren, dan nog is deze ‘ervaring’ met vodafone zakelijk gezien een fail van de bovenste plank.
Wat ik weer wel heel erg knap vind is de informatie voorziening die men heeft opgetuigd. Wellicht nooit zalig makend maar wel een voorbeeld voor andere organisatie die eerder met een grootschalig incident hebben gekampt als Vodafone nu.
Hoe dan ook, heel sec, als corporate management denkt keuzes te moeten maken t.a.v. IT als sluitpost van begroting of als kostenbesparing, dan komt men scenario’s tegen zoals deze en daar wil ik wel helder in zijn, IT daarvoor gebruiken heeft zo consequenties om het nog maar even niet te hebben over de naams en reputatieschade die nu optreed. Wat de kosten van dit ‘Incident’ uiteindelijk zullen zijn? Dat mag u zelf proberen te becijferen.
Ik hoef in elk geval de rekening niet te betalen. Wel exemplarisch voor wat er gebeurd als men IT als besparingspost gaat gebruiken. IT is een prachtige materie die moet helpen te besparen maar bij fout inzet en inrichten u ondubbelzinnig laat zien wat de consequenties kunnen zijn.
Ik hoor verschillende mensen al knarsentanden en wellicht roepen, ‘daar heb je hem weer.’ Dan knik ik bedachtzaam want als er iest is waar ik kennis en ervaring heb dan is het wel de wetmatigheden van de IT als materie en hoe de ketens er minimaal uit dienen te zien om dit soort zaken te voorkomen.
Vandaar mijn betoog.
Ik heb zelf HTS Telematica gedaan en werk in de IT (kantoorautomatisering). Allereerst: chapeau voor de techneuten dat ze dit zo snel weten op te lossen. Veel mensen kunnen denk ik de complexiteit van een UMTS-netwerk niet goed voorstellen. Verder ben ik goed bekend met uitwijken en wat daar allemaal mee misgaat. Men neemt vrijwel altijd de resultaten uit een uitwijktest onvoldoende serieus. In mijn ogen moet Vodaphone aan risico spreiding gaan doen. Zet gewoon 12 (voor elke provincie 1) HLR’s (home location registers , de database die bijhoud waar je bent en de encryptiesleutels levert) op, dat scheelt al een hoop ellende. Verder had het pand geisoleerd moeten zijn, Vodaphone kan alleen verantwoordelijkheid dragen voor de eigen brandbeveiliging en niet die van eventuele buren. En men moet af van de statistiekenziekte: al is het risico marginaal, maar de eventueel impact zeer groot, dan moet je toch maatregelen nemen. Verder pleit ik voor een apart Datanet-achtig (voormalig X25-netwerk voor de banken) UMTS-netwerk voor low-bandwidth bedrijfsmatige toepassing als het OV en vrachtvervoer e.d.
Helemaal eens met NumoQuest, wel een sterretje of 4 of 5 waard, redactie!
Iedereen klaagt over onbereikbaar zijn, maar sinds wanneer is een mobiele telefoon alleenzaligmakend geworden? Als bedrijf moet je zelf ook voor uitwijk zorgen en dat kan heel simpel door een vaste telefoonlijn (of meerdere). Daarnaast bestaat er e-mail, die middels webmail via elke pc met een browser te benaderen is.
Inderdaad, even wennen, maar we hebben ooit ook kunnen bestaan zonder mobiele netwerken en de wereld draaide gewoon door.
Natuurlijk is de wereld wel veranderd en is mobiel bellen en internetten niet meer weg te denken. Maar, net als bij de spoorwegen, er is wel eens een calamiteit. En als je dat zelf met alternatieven kunt opvangen als bedrijf, dan ben je goed bezig.
Voorop staat wel, ook bij mij, dat een bedrijf als Vodafone gewoon moet zorgen voor voldoende noodopvang capaciteit, zo mogelijk in combinatie met de andere netwerken, is weer goedkoper.
De ramp is erg, maar de oplossing is echt simpel. Twee punten wat dat betreft:
1. De oplossing heet national roaming. Dit bestaat want: wanneer je in het buitenland bent dan wisselt de gsm/smartphone van provider als er zich een betere zender voor doet. Ben je in Nederland dan is dat op eens niet zo. Dat komt helaas, hoe vervelend het ook klinkt door neo-monopolistisch gedrag van de providers. Iemand met een buitenlands mobieltje heeft hier ook roaming en wisselt dus wel tussen de verschillende netwerken. Dit vanuit gebruikersperspectief bezien ligt de oplossing onder handbereik, nu de “wil” nog…
2. Vanuit de provider is dit een principieel fout netwerkontwerp, 700 zenders aansturen en dat via een spof, singel point of failure. De schade nu is veel groter dan het fysieke geografisch gescheiden redundant ontwerpen van het netwerk. Tijd voor een review van dit soort netwerken door een onafhankelijke instantie.
Ik denk toch echt dat hier de oplossing nogal voor de hand ligt.
Een goede blusinstallatie in combinatie met het automatisch uitschakelen van de spanning in de ruimte.
Dan was het een kwestie geweest van het vervangen van een defect apparaat.
Nu kunnen ze het gebouw afbreken.
Geen of geen functionerende blusinstallatie en geen redundantie.
Dat vind ik niet kunnen.
Natuurlijk er zijn maatregelen vooraf en achteraf te nemen. Blussen halonachtig spul etc, meer masten, maar zonder in extra kosten te duiken en tevens de abo’s dekking te beiden waar een ander netwerk wel komt is national roaming de goedkoopste en meest effective oplossing. Al wordt het maar vrijgegeven, want meer is het niet voor dit soort situaties. Daarnaast national roaming zou voor een selectieve doelgroep in Nederland al effectief moeten zijn , namelijk voor OT 20XY gebruikers. Daar is Vodafone wel erg stil over, want dat kost ze ook nog eens veel geld wanneer 300K gebruikers via dee andere providers gaan bellen.
@gregor en @Maarten Oberman: blussen ging nogal lastig, vooral omdat de brand niet bij Vodafone zelf onstaan is, maar is overgeslagen. Probleem ontstond toen de stroom afgesloten werd. Toch even beter de krant lezen 😉
Wat dat roaming betreft, dat kan, alleen zit men dan met het probleem wie gefactureerd moet gaan worden, want dat heeft men niet geregeld met de lokale providers. Vergelijking met het buitenland klopt niet helemaal, want daar zijn contracten afgesloten en ligt de billing eerst naar de NL provider en die belast de NL klant door. Dat is dus in ons land tussen de providers onderling niet geregeld.
Ik zie mensen hier iets roepen over ‘national roaming’. Men vergeet daarbij dat mastcapaciteit wordt uitgerekend. Als KPN de 5,5 miljoen klanten van Vodaphone moet bedienen, dan is ook het KPN-netwerk vaak onbereikbaar rond de snelwegen en de NS-stations.. @Maarten: jij schrijft over het aansturen van de zenders, maar zo ver ik het heb gelezen werden de ergste landelijke problemen door het relatief eenvoudigste onderdeel veroorzaakt: het HLR/VLR (gebruikersdatabases en authenticatie). Dat het MSC (Mobile Switching Centre, aansturen van de zenders) in Rotterdam eruit lag, had iets minder impact.
Dag Jaap Anoniem,
natuurlijk heb ik gelezen brand via de buren, wilde daar nog niet op ingaan, want buren naast een spof maakt het wat “ondoordacht” ontwerp. omdat buren zo hun eigen ideeën over brand(on)veiligheid hebben zo is nu gebleken.
Over national roaming, in de OT2006/2010 aanbesteding zou dat voor de OT doelgroep geïmplementeerd zijn. Daarnaast als ik in NL met een Belgisch abotje zou rondlopen, dan zou het wel kunnen, …….., kortom ….., natuurlijk is het achteraf, maar het is alleen maar een commercieel issue. Het ligt voor de hand dat dit binnenkort in elke aanbesteding standaard opgenomen zal zijn, dan is het ook zo voor elkaar………
@Jaap
Bij de buren ja.
Dus Vodafone gebruikt ergens een pandje naast een totaal ander bedrijf voor zijn “Single point of failure”.
Heel erg nalatig dus.