Digital Preservation - The Planets Way (2)

Een van de doelstellingen van de bijeenkomst in Kopenhagen was om belanghebbenden en geïnteresseerden te informeren over de dingen die binnen PLANETS ontwikkeld worden. Vandaag een overzicht van een paar kleine dingen. Later volgen nog het Testbed en het Interoperability Framework waar alles uiteindelijk in samen moet komen.

Migratie van relationele databases

Voor het bewaren van relationele databases ontwikkelt het Schweizeris Bundesarchiv het SIARD-formaat.

Het probleem bij relationele databases zit hem in de relaties. Als je een database migreert moet je die relaties in stand zien te houden, want anders is de 'inhoud' van de database bijna waardeloos. Om dit te bewerkstelligen is SIARD ontwikkeld: Software-Independent Archiving of Relational Databases, waarmee Oracle, MS SQL en MS Access databases duurzaam bewaard kunnen worden.

Een SIARD-bestand is een container (zip64) met verschillende xml-bestanden. Voor iedere tabel in de database wordt een apart xml-bestand gemaakt, waarin de inhoud van de tabellen is opgenomen. Daarnaast wordt een metadata.xml gemaakt waarin de metadata (gebaseerd op SQL 1999) zijn opgenomen.

Uit de presentatie van Jean Marc Comment van juli 2008 maak ik op dat er drie applicaties ontwikkeld worden:

SiardFromDb extraheert en conveert de inhoud van een relationele database naar het SIARD-formaat.

SiardEdit is bedoeld voor het toevoegen en wijzigen van metadata

SiardToDb plaatst een SIARD bestand weer in een database instance en maakt het zoeken en navigeren in de database mogelijk.

Emulatie

Ik heb het hier al eerder gehad over emulatie en mijn bedenkingen bij deze techniek. In PLANETS is Dioscuri, de modulaire emulator van KB en NA waarop MS-DOS, FreeDos, LINUX 16-bits (ELKS) en MS Windows 3.0 kunnen draaien, verder ontwikkeld. Hier staat een uitgebreid verslag van vijf case studies met Dioscuri.

Een van mijn bezwaren tegen Dioscuri (en tot nu toe tegen emulatie in het algemeen), is dat het nogal wat technische kennis vergt om een emulator werkend te krijgen. En voor ieder hardware-platform moet je een aparte emulator bouwen. Daar hopen ze in PLANETS door middel van GRATE een oplossing voor te vinden. GRATE (Global Remote Access To Emulation) biedt "Emulation as a Service". Het zou als volgt moeten gaan werken en dit is de simpele uitleg, technisch zitten er nog wat haken en ogen aan:

Stel je hebt een Ami Pro bestand en je wil dit in de 'orgininele configuratie' bekijken. Dan upload je het bestand naar de GRATE-website, waar met behulp van PRONOM en de Planets Core Registry (zie beneden) bekeken wordt welk bestandsformaat het is en op wat de beste manier is om het bestand te tonen. GRATE levert dan een URL en door daar op te klikken, verschijnt in je browser Ami Pro in Windows 98!

 

Natuurlijk heb je dan nog altijd het probleem dat je moet weten hoe Ami Pro werkt, maar, vroeg Maureen Pennock zich tijdens de presentatie af, is dat niet vergelijkbaar met het kunnen ontcijferen van oud-schrift?

Planets Core Registry

Het laatste wat ik hier wil noemen is eigenlijk geen 'klein ding' maar het hart van PLANETS: de Core Registry.

Bij The National Archives in Londen hebben ze enige tijd geleden PRONOM ontwikkeld. Dit is een (online) register waarin allerlei gegevens over bestandsformaten worden bij gehouden, bijvoorbeeld over Word 6.0. 

De Core Registry wordt een uitbreiding van PRONOM, doordat het niet alleen informatie bevat over bestandstypen, maar ook over software(applicaties), hardware en media en 'preservation pathways'. Dit zijn een soort stappenplannen voor het bewaren van bepaalde bestandsformaten. In de Core Registry wordt bijvoorbeeld opgenomen met welke emulator Ami-pro bestanden het beste geraadpleegd kunnen worden, waardoor GRATE deze kan opstarten. Of in de Registry wordt bijvoorbeeld (op basis van Testbed-resultaten) opgenomen dat gif-bestanden het beste via jpg naar png gemigreerd kunnen worden, inclusief welke applicatie daar het meest geschikt voor is. Op basis hiervan kan dan in PLATO de juiste bewaarstrategie gekozen worden.

Wordt nog één keer vervolgd...

Softwarearchief

In de e-data&research van 1 december 2008 pleiten Jeffrey van der Hoeven en Frank Houtman voor een softwarearchief. Zij stellen dat er in emulatie al een oplossing gevonden is voor het nabootsen van in onbruik geraakte hardware, maar dat dit alleen zinvol is als de oorspronkelijke software nog beschikbaar is. En daar zit een deel van het probleem, want er is geen enkele organisatie die nog beschikt over alle software die zij ooit heeft gebruikt.
Daarnaast zijn er nog wel wat problemen te noemen - en dat doen zij ook:

1. Er zijn heel wat technische obstakels, zoals de complexiteit van een softwareomgeving. Het is niet voldoende om alleen een 'set-up' WP 5.1 te bewaren, je hebt onder andere ook allerlei drivers en lettertype-bestanden nodig.


2. In het verlende daarvan ligt natuurlijk de vraag: Wat moet ik allemaal bewaren? En in welke configuraties? Neem bijvoorbeeld een website. Gebruikers kunnen die met verschillende versies van legio programma’s op diverse platforms benaderen. Moet je dan al die versies, programma’s, platforms en mogelijke configuraties bewaren?


3. Derde probleem is een juridisch probleem: je hebt licenties nodig om applicaties te kunnen installeren. En licenties zijn vaak plaats (machine) en tijdgebonden.


4. In het verlengde daarvan: soms kun je een set-up helemaal niet bewaren. DRM zorgt er bijvoorbeeld voor dat je bestanden niet kunt kopiëren van de DVD waar ze op staan. En aangezien DVD's niet geschikt zijn voor langdurige bewaring, kan dat heel snel problemen opleveren.

De oplossing die Van der Hoeven en Houtman aandragen is overigens wel heel makkelijk: de rijksoverheid moet het regelen, omdat zij als grote partij bij aanbestedingen de mogelijkheid heeft om licenties voor dit doel te reserveren. Uit de presentatie van Brian Mathews tijdens What to preserve? Significant properties of digital objects over de problemen bij het bewaren van software, blijkt echter dat licenties het minste probleem zijn!

Zijn oplossingsrichting is dan ook “Good software preservation is good software engineering.” Dit levert ook geen oplossing voor de oude en huidige software, maar kan wel meer garantie voor de toekomst bieden.

En ik vraag me nog altijd af of deze wijze van archivering (emulatie en softwaredepot) geen dure, doodlopende weg is, gezien de enorme hoeveelheid aan variabelen waar het om kan gaan.

Tenslotte: Van der Hoeven en Houtman verwijzen naar de verplichting in de Archiefwet om alle software-versies te bewaren. In het concept van de Archiefregelingen 2008 is deze verplichting niet meer zo expliciet opgenomen.

iPRES 2008

Gisteren en vandaag vond (en vindt) in de British Library voor de vijfde keer iPRES (international Conference on Preservation of Digital Objects) plaats. En het mooie van deze tijden is dat van de lezingen bijna live een verslag te volgen is. Zie bijvoorbeeld de bijdragen van Chris Rusbridge op de Digital Curation Blog.

Ik pik er nu even een paar interessante citaten uit.
Over kosten en risico's

Richard Wright talking about storage and the “cost of risk”. In early days dropping a storage device meant losing a few kilobytes, now it could be GBytes and years of work. Storage costs declining and capacity increasing exponentially roughly related to Moore’s law (doubling every 18 months). Usage is going up, too, and risk is proportionate to usage, so risk is going up too. Risk proportional to no of devices and to size and to use… plus the more commonly discussed format obsolescence, IT infrastructure obsolescence etc. So if storage gets really cheap, it gets really risky!

Reports work from Manfred Thaller of Koln: one bad byte affects only that byte of a TIFF (does this depend on selected compression?), 2% of a JPEG, and 17% of a JPEG2000. Demonstrated 5 errors on a PNG and a BMP: former illegible, latter has a few dots scattered about. Text files the best: one byte corruption affects only that byte! (...) Can’t emphasise how important this is: one of the most worrying preconceptions in digital preservation is that the bit preservation element is a solved problem. It isn’t!

Over emulatie

I’ve always had a problem with emulation; perhaps I’ve too long a memory of those early days of MS-DOS, when emulators were quite good at running well-behaved programs, but were rubbish at many common programs, which broke the rule-book and went straight into the interrupt vectors to get performance. OK, if you’re not that old, maybe emulation does work better these days, and is even getting trendy under the new name of virtualisation. My other problem is also a virtue of emulation: you will be presented with the object’s “original” interface, or look and feel. This sounds good, but in practice the world has moved on and most people don’t like old interfaces, even if historians may want them. I guess emulation can work well for objects which are “viewed”, in some sense; it’s not clear to me that one can easily interwork an emulated object with a current object.

Vooral die laatste twee opmerkingen vind ik interessant en moet ik nog eens over nadenken.

En tenslotte een presentatie van Brian Kelly over website-archivering. (Toevallig is dat nu heel actueel in mijn eigen organisatie, vandaar mijn belangstelling).

Preservation of Web Resources: The JISC PoWR Project

View SlideShare presentation or Upload your own. (tags: ipres-2008 ukoln)