De internationale standaardenorganisatie ISO kan de redding zijn voor gebruikers van het optische opslagformaat UDO2 (ultra density optical) van Plasmon. Die opslagleverancier verkeert nu in de problemen.
Plasmon, leverancier van magnetisch-optische opslag, kampt met grote financiële problemen. Dit zaait twijfel over het voortbestaan van diens opslagformaat UDO2 (ultra density optical, tweede generatie), dat ironisch genoeg juist is bedoeld voor de zeer lange termijn. De verheffing tot officiële ISO-standaard moet die twijfel wegenemen.
Dit type Worm-schijf (write once, read many times) is ontworpen voor archivering van data voor zeker vijftig jaar. Langer is theoretisch mogelijk, maar in de praktijk nog niet testbaar – simpelweg omdat de technologie nog relatief jong is.
Na Ecma- ook ISO-standaard
De internationale standasrdisatieorganisatie ISO heeft UDO2 begin vorige maand geaccepteerd als officiële open standaard. Leverancier Plasmon meldde toen dat dit een goed teken is voor de toekomst. Die toekomst is nu in het geding; het bedrijf heeft de Europese en Britse takken in de etalage staan en zoekt voor de Amerikaanse poot (officieel een dochter van de Britse moedermaatschappij) een investeerder.
UDO2 is nu ISO-standaard 11976 en die specificeert zowel de mechanische en fysieke als de optische eigenschappen van dit opslagformaat. Dit betekent dus dat de werking van drives en media alsook de fysieke grootte en data-omvang zijn opgenomen in de standaard. De acceptatie door de ISO volgt op eerdere standaardisatie door de Ecma (European Computer Manufacturers Association).
Alternatieven voor systemen met UDO2 zijn blu-ray jukeboxen van bijv. JVC of Disc.
Groot voordeel van de BD systemen is dat blu-ray geen propri?tair formaat is maar net zoals CD en DVD een wereldwijde standaard. De CD is inmiddels meer dan 25 jaar op de markt en nog steeds in alle actuele systemen leesbaar! Hiermee zijn de 12cm optische schijfjes het enigste opslagmedium dat langer dan een kwart eeuw algemeen beschikbaar is.
Optische jukeboxen blijven dus de aangewezen methode om goedkoop, veilig en compliant gegevens langdurig te archiveren. Zie voor meer informatie bijv. http://www.incom-storage.nl
Het voor langere tijd opslaan van gegevens kent een aantal facetten. Momenteel wordt er hoofdzakelijk tape en optical gebruikt om dit te realiseren. Disk storage wordt meer en meer toegepast. Nadeel van disk storage is de kwetsbaarheid en de snelle technologische veroudering. Gevolg hiervan is dat gegevens eenmaal opgeslagen op disk storage bij een z.g. technology refresh elke 5 jaar ongeveer overgezet moeten worden (denk hierbij aan gegevens die omgezet worden terwijl SOX compliancy moet worden geborgd). Voor disk storage geldt dat de 36 GB disk drives van een aantal jaren geleden nu vervangen zouden moeten worden door de nu verkrijgbare 1 of 2 TB disk drives. Disk drives consumeren meer energie dan tape, kunnen lastig getransporteerd worden etc. Opticals of tape bieden hierin momenteel uitkomst. Nieuwe technologien zullen in de toekomst gaan bepalen hoe we dit soort ‘long term data preservation’ aan moeten pakken. Dataopslag moet voor de lange termijn onafhankelijk zijn of worden van het gekozen medium.
Behalve de voorhanden zijnde technology, disk, tape, optical, is er nog een ander probleem, hoe zijn over een aantal jaar gegevens toegankelijk. Denk hierbij aan dataformaten die niet meer ondersteund worden door de op dat moment gangbare operating systems en applicaties. Hiervoor is op dit moment een unieke oplossing in de markt, de door IBM ontwikkelde Universal Virtual Computer. Dit is een encoder, decoder laag welke de transparantie van de data voor zijn rekening neemt. De data eenmaal opgeslagen, hoeft door het gebruik van de UVC niet te worden geconverteerd naar een op dat moment leesbare en door de operating systems en applicatie onderstuende versie. De toegang tot deze gegevens wordt geregeld door de UVC. Kortom, ik denk dat we aan het begin staan van de mogelijkheden voor ‘long term data preservation’. Data moet voor de langere termijn platform, hardware en software onafhankelijk opgeslagen kunnen worden. Veel hierover is te vinden op de website van het Nationaal Archief, http://www.digitaleduurzaamheid.nl.
Zowel tape als optical is een veel gebruikt medium voor lange termijn opslag. Echter maken technologieen als compressie en deduplicatie het tegenwoordig mogelijk om “disk” als lange termijn opslag medium te gebruiken. Als deze oplossingen tevens replicatie van deze data ondersteunen kan eenvoudig een kopie van je archief op een andere lokatie worden bewaard.
Archivering van data heeft niets met technologie te maken. Dat klinkt misschien raar als commentaar bij dit artikel, maar voor de data maakt het natuurlijk niets uit op wat voor medium het wordt ondergebracht. Voor een archief gelden criteria als de waarde van de informatie, en de opvraagbaarheid, doorzoekbaarheid en integriteit van de te archiveren data.
Pas als je die punten op orde hebt, moet je eens rond gaan kijken welke media er tot je beschikking staan, en hoe die zich verhouden tot de eisen die je in een eerder stadium hebt geformuleerd. Als je belangrijkste eis razendsnelle opvraagbaarheid van tientallen miljoenen bestanden is, dan zul je in bijna alle gevallen op een CAS-systeem uitkomen. Als je belangrijkste overweging kostenbesparing is, dan zul je op opticals uitkomen. De technologiekeuze is dus een middel, en nooit het doel op zich.
Het is belangrijk om te beseffen dat langdurige data-opslag op zowel disk, tape en opticals prima is te garanderen. De verschillen op het gebied van kosten, beheer, en fysieke opslagruimte in vierkante meters zullen de uiteindelijke keuze be?nvloeden, maar zijn in het geval van het vormgeven van een digitaal archief slechts randvoorwaarden. Centraal moet vragen staan als: ‘Waarom is een archief nodig?’ en ‘Welke data sla ik er in op?’
Dat lijken open deuren, maar in de praktijk komen we veel digitale archieven tegen die worden ‘misbruikt’ als vergaarbak van oude bestanden die op die manier aan de back-up worden onttrokken. In sommige gevallen is het dan ook raadzaam om twee archieven aan te leggen; ??n voor langdurige opslag van belangrijke gegevens, en ??n voor het opslaan van ‘meuk’. Het onderscheid is puur op logisch niveau, je hoeft dus geen onderscheid te maken in verschillende software/hardware, maar je houdt je archief netjes. En dat is iets wat iedere archivaris nastreeft.
Digitale archieven dienen data integriteit en opvraagbaarheid met de juiste performance over zeer lange termijn te kunnen waarborgen. Deze termijn is vaak lvelen malen langer dan een bepaalde oplossing meegaat waardoor digitale archieven tijdelijk gemigreerd dienen te worden. Tape is hier absoluut niet geschikt voor. Het nadeel van tape is dat eenmaal geschreven data niet meer gecontrollerd word op media defecten als het verminderen van de magnetische kwaliteit waardoor datacorruptie ontstaat. Dit is ook niet te herstellen. Een tweede nadeel is de beperkte lyfecycle van tapedrives, per 2 jaar evolueert een tapegeneratie waarbij er meestal maar een generatie backwardcompatibel is. Tevens is het migreren van een tape archief een ondoenbare zaak. Wat mij betreft is tape geen goede optie. Opticals zijn zeker betrouwbaarder maar de performance en capaciteit is zeer beperkt. Verder ontbreken ook hier de dataverificatie en herstel mechanismen waarbij optical wel veel betrouwbaarder is dan tape. Wat mij betreft heeft disk absoluut de toekomst. Echter dient de betreffende oplossing dan wel over WORM features en dataverificatie en herstel mechanismes te beschikken. Disk biedt altijd de juiste performance en is eenvoudig te migreren naar zijn volgende generatie. Ook is het repliceren van een dergelijk archief kinderspel waardoor de beschikbaarheid van een archief altijd gewaarborgt is.
Dit gaat over archiveringtechnologie niet over strategie. Voor elke digitale archiveringsstrategie heb je opslagtechnologie nodig. Formaat en applicatie technologie laten we nu maar even buiten beschouwing omdat het hier over technologie gaat. Technologie evolueert snel en is niet vele jaren later ongewijzigd te gebruiken. Dit geldt voor alle storage techonologie dus voor opticals, tape en ook harddisken. Technologiemigraties om de zoveel jaar zijn dan ook noodzakelijk.
UDO is geen mainstream technologie gebleken, de voorganger MO was dat wel. Maar UDO is voor een groot deel ingehaald door andere technologie?n met meer volume. UDO is relatief laat op de markt gekomen en de overstap van MO naar UDO heeft de deur geopend voor alternatieven.
Aan de onderkant heb je het nu over consumenten technologie zoals CD-ROM en DVD-ROM, daar zijn professionele media versies van die een archieflevensduur tot 100 jaar garanderen.
Dan heb je WORM-Ultrium Tapes met een gegarandeerde archieflevensduur van 30 jaar, ook meer dan lang genoeg. Ultrium drives lezen media van 2 generaties terug. Vandaag zijn er nog eenvoudig Ultrium drives te koop die eerste generatie Ultrium media uit het jaar 2000 kunnen lezen. Met 1 generatie kun je dus zo 10 jaar overbruggen voordat er een migratie moet plaatsvinden. Ook een prima technologie voor archiefvorming dus.
Tenslotte de online disk archiefsystemen zoals HP IAP. Waar het systeem ingebouwde methodes heeft voor hardware migraties.
Afhankelijk van de wensen en eisen zoals omvang van het archief, intensiteit van gebruik, doorzoekbaarheid etcetera zal de keuze dan vallen op een van deze technologie?n.
Remko Westrik
Manager StorageWorks
Hewlett-Packard Nederland
Remko Westrik heeft gelijk: het gaat hier om technologie en niet om strategie. Welke technologie de meest geschikte is hangt van de gekozen strategie af. Een “maar” heb ik echter wat betreft de noodzaak van migratie bij alle opslag technologieen: voor opticals was deze tot nu toe nog niet noodzakelijk.
Zoals al boven gezegd: De CD is het enige opslagmedium dat inmiddels meer dan een kwart eeuw algemeen beschikbaar is. Of anders gezegd: wie met een optisch archiefsysteem sinds 20 jaar op CD-R archiveert heeft nog steeds geen reden – als de capaciteit nog voldoende is – een migratie uit te voeren. Zowel de slijtende onderdelen (CD recorders) als de nodige media zijn nog steeds volop leverbaar. En dat niet eens alleen in de professionele sector.
Als een migratie van een optisch systeem naar een nieuwere generatie (CD->DVD->BD) bijv. vanwege de capaciteit nodig is, is dit heel eenvoudig mogelijk omdat de media van de oudere generatie probleemloos door de nieuwe hardware gelezen kunnen worden. Overzetten van het bestaande archief naar de nieuwe media is niet nodig om het archief verder benaderen te kunnen.
En er komt nog bij dat door de filesysteem standards alle(!) moderne besturingssystemen van de afgelopen 20 jaar de discs lezen kunnen. En ik ben ervan overtuigd dat dit over 20 jaar nog steeds zo is.
Wat betreft de universaliteit en de compatibileit zijn opticals dus onovertroffen. Hierdoor hebben zij bij de keuze van een technologie voor de archivering – per definitie long-term storage – een sterk pluspunt.
Axel Booltink
Product Manager Optical Storage 🙂
Incom Nederland
P.S.: Zeker ook interessant is de website van Panasonic over blu-ray:
http://panasonic.net/avc/blu-ray_disc/archive.html
Gezien de verschillende commentaren lijkt me een ding helder er zijn verschillende standaarden en technologieen waaruit men kan kiezen aan de hand van de stratgie die men voor ogen heeft en de verdere technische en budgetaire eisen die men stelt aan dit archief.
In Praktijk zal 90 procent of meer van de data na 10 to 20 jaar niet meer relevant zijn en archivering van deze data zal dus in elke fatsoenlijke archiverings standard passen. De 10 procent data die langer bewaart moet worden zal per keer moeten worden gemigreerd naar een nieuw media.
Blijven er twee vragen over:
Is het format van de gearchiveerde data bv *.doc nog te lezen door de dan beschikbare applicaties?
Hoe gaan we om met data die we tientallen jaren of eeuwen wilen bewaren. Ik ken een standard die al in 1786 al wordt besproken en in 1972 tot ISO standard is verheven en die hiervoor nog steeds geschikt is nml. ISO 216.
Dus doe de toekomtige archeologen en archief onderzoekers een plezier en print het uit.
http://en.wikipedia.org/wiki/ISO_216
Koen Willems
Storage Management Consultant
Bell Microproducts
Archivering is noch technologie noch strategie in mijn ogen.
Ik heb een van de oudste websites van België toen Skynet nog maar net op de markt was en ik al een eind met BBS’en werkte. Na mainframes was mijn eerste PC de Commodore met twee floppy disks van 360 KB en van mijn eerste harde schijf van 20 MB maakte ik 30 MB met een RLL-controller.
Die diskettes met mijn bestanden uit Word Perfect zijn nog steeds leesbaar, en ik heb zelfs nog de DOS-versies en een oude PC die niet kapot lijkt te willen gaan.
In tegenstelling tot mijn recentste .docx bestanden die nog steeds door heel wat klanten niet kunnen, sorry WILLEN worden gelezen en het aantal media-formaten dat al de galerij passeerde (waarbij .jpg en .avi gelukkig standhoudt), moet je eens proberen van je e-mails van Windows Live terug in te lezen op je Windows 3.11 PC. Zelfs het super prachtige Schedule+ dat daarin al syncroniseerde met mijn eerste Nokia Communicator (toen nog een ECHTE communicator, wat ze met Apple doen, lijkt me super leuk en commercieel maar niet echt tijdsbestand want we zitten aan Ipad 5 straks en nog steeds kan ik er geen universeel agendabestand uit halen, tenzij je met google apps werkt die wel goed werkt doet en op lange termijn durft denken), kan op die bullebak-pc van max 8.3 karakterbestanden nog steeds mijn geëxporteerde Outlook agenda vlot verwerken in 1 .scd bestandje. Maar 3.11 Windows for Workgroups nu installeren op een netbook, gaat me niet zo vlot af (moet ik dringend eens proberen op een SSD in zo’n medion van de Aldi – staat meteen op mijn todo, al is het miserie zonder usb-ondersteuning, vermoed ik, maar misschien programmeer ik zelf iets daarvoor, of neem ik gewoon een oude pinguin-Linux-versie met een oude OpenOffice.org want de nieuwe toont ook haar tanden).
Nu het bizarre:
Floppy disks kan ik inlezen. Jumbo-tapes met een museumstuk van een tapestreamer ook perfect op een toestel als het nog een parallelle poort heeft. Nog beter, mijn SCSI-tapestreamer die ik kocht in het faillissement van Lernout- en Hauspie leest en verifieert zelfs nog de tapes uit mijn eerste Small Business Server versie (toen een topproduct).
Maar, nu komt het, CD’s en DVD’s met filmpjes (je weet wel, het is net dat die die gigabytes sloopt op je pc als je journalist bent of gewoon een ouderwetse supermacho papa met drie eigen en minstens vier andere kinderen om je heen in het weekend), die lijken na een paar jaren fouten te geven gewoon omdat de BOVENkant beschadigd wordt. Nikske bewaren op 10 jaar. Kijk maar eens naar de officiële bronnen.
Dus, ja, wat is toekomstgerichte opslag (de omgekeerde benaming van archivering als je wat cultuur wil meedragen)? Als visionair, meen ik dat we bij onze bedrijven nog steeds best twee identieke PC’s kopen zoals in de gouden tijd van PDC en BDC (primary domain controller en backup domain controller, ik slaagde er ooit in daarmee in Gambro International in Leuven mijn klant verder te doen draaien, terwijl het hoofdbedrijf bij overgang naar SAP (Sandlaufer Ankuck Program) platlag en later zelfs een oude backup leek te moeten inlezen, de gebruikers verder te laten inloggen, terwijl de server van het moederbedrijf het begeven had en Heverlee de enige was van Europa die dankzij mijn toedoen (achter de rug van het moederbedrijf in zekere zin) mooi verder deed op de secundaire userdatabase die mooi haar rol overnam en pas miserie kreeg toen ze ontdekte dat Zweden (dacht ik) weer met een oudere userdatabase weer online ging, en haar bevoegdheden dan toch weer afgaf zoals het hoort in een hiërarchie zonder mopperen (met mensen hebben we meer maar soms ook minder miserie op dat vlak).
Optisch? Dat ‘ziet’ er goed uit.
Magnetisch? Dat ‘voelt’ er goed uit.
Maar archivering is volgens mij vooral het hebben van de media op een tweede formaat.
Ten slotte was het zeker niet de laatste keer dat de grote Bibliotheek van Alexandrië afbrandde, zoals we merkten toen het I Love You-virus mooi alle JPG-bestanden van een fotograaf uit Kortrijk onbruikbaar maakte en zijn backup (archief?) eigenlijk niet virtueel maar reëel onbestaande leek.
Wie zonder zonde is, werpe de eerste steen.
Ik weet op dit moment ook niet, hoe ik mijn 1.0 TB Sata WD via een USB 3.0 Sharkoon externe sata-controller archiveer, want die schijf bevat alleen maar foto’s en filmpjes en audiobestanden als journalist en privé (het leven van een journalist/schrijver/informaticus/boek’gever’/vrije beroeper kent eigenlijk geen privé-zijde)
Ik heb geen ISO nodig om te archiveren, alleen een programma en een computer (denk net aan mijn Commodore 64 met tapestreaper waarop ik in Simons-Basic en gewone Basic de gekste dingen maakte en mijn 64K plots vol was met programma’s die hij uit tape inlas) die mijn data kan reproduceren zoals ik ze opmaakte.
Ik heb alleen gezond verstand nodig, en bij elke nieuwe PC verlies ik zoveel tijd aan updates, dat niet archivering het probleem is, maar de tijd die ik verlies…
Met m’n Weis of Falco-terminal logden mijn klanten met in (er zijn nog veel doe-het-zelf-zaken in Vlaanderen met Mumps-terminals die ik zelfs nog ondersteun, en los van al het pseudo-nieuwe en dus oude TCP/IP-geweld is er niets nieuws onder de zon) en ze werkten. Nu drinkt iedereen koffie terwijl Windows prentjes toont tijdens het opstarten. NT of New Technologie ontstond immers onder de handen van de Digital-baas die naar Microsoft kwam met VM-technologie en daar een laag security boven legde. Wie het commando CACLS kent, weet wat water en bloed zweten is.
Archiveer maar eens .jpg bestanden van een xp- of Vista gebruiker die onwetend een persoonlijk paswoord zette op zijn gebruikersnaam voor de zogezegde veiligheid? U kunt mij altijd bellen op 056/25.25.20 als u het tegenkomt, zolang ik nog leef (vermoedelijk maar een ruime 30 jaar meer, ik ben nog maar 47 in 2012 geworden). Hoe lang ging uw telefoonnummer overigens mee en heeft u uw oude telefoonnummers ergens gearchiveerd of hebt u die nooit meer nodig?
Libbrecht Roger had telefoonnummer 1 in Waregem. Heb ik op hun website gezet, maar misschien vond een jonge gast die websites maakt, dat niet meer relevant intussen en is ook dat naar het onbeschikbare archief verhuist. Ik zoek immers op google naar de pagina’s die verdwijnen, niet naar die die verschijnen. Die zijn immers pas ECHT interessant als journalist. Maar die vinden we dus… niet.
Archivarissen die toekomstgericht willen werken, denken dus gewoon na en handelen best NU. Hoe, speelt echt geen rol. En dat het illusie is dat één formaat alles oplost, is weer bewezen met dit artikel, waardoor ik on topic kan zeggen: Ik heb geen UDO2 schijven.
PS: Leve de glorietijd van http://www.archive.org maar zouden we dat bedrijf niet eens sponsoren i.p.v. hier onze kostbare tijd te verdoen?
+JMVB
VAN BELLE Jean Marc
jonge papa van 3 kinderen + de rest van de kinderen van de wereld
Eerst boekhouder dan informaticus en tussenin journalist, gerechtelijk expert, rechtskundig assessor, uitbundig (te rebelse?) leerkracht middelbaar, stageleerkracht lager onderwijs, sportmaniak, 1.400.000-kilometervreter om mijn jachtinstinct de bevredigen, houder internationale transportvergunning, en nu wil ik nog piano en gitaar leren spelen om binnen 9 jaar een internationale verfilming te maken van mijn komende boeken over de prachtige en dikwijls superintelligente mensen die ik al ontmoette in mijn leven, om hopelijk binnen 20 à 30 jaar het vijfde (of is het zesde?) wetenschappelijke en pluralistische evangelie te schrijven met de stille hoop dat dat misschien voor iemand is die intelligenter is dan ik en dat ik dat pad mag voorbereiden.
What happens, does not matter. It only matters how you cope with it! Archive it and look forward. If you only look back, you will keep falling until you do not get upright again.