Pitkaikaissilytyksen metatiedot Juha Hakala Kumea 2019 02 12

Pitkäaikaissäilytyksen metatiedot Juha Hakala Kumea 2019 -02 -12 KANSALLISKIRJASTO

Yleistä § Pitkäaikaissäilytyksen metatiedot ovat hallinnollisia metatietoja, kuten tekniset ja käyttöoikeuksien metatiedot § Hallinnolliset metatiedot eivät ole pysyviä, toisin kuvailevat metatiedot § Pitkäaikaissäilytyksen metatiedot päivittyvät aina, kun säilytettävään dokumenttiin kohdistuu toimenpiteitä § Kun tehdään tiedostoformaatin migraatio, tekniset metatiedot menevät täysin uusiksi § MARC-formaatissa on runsaasti käyttöoikeuksien metatietoon liittyviä tietoelementtejä, jonkin verran teknisen metatiedon elementtejä, mutta niukasti pitkäaikaissäilytyksen metatietoja § Luetteloija voi joutua tallentamaan myös hallinnollista metatietoa, vaikka se tuotetaan yleensä ohjelmallisesti § E-aineistojen käsittelyprosessien automatisointiaste vaihtelee KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 2

Pitkäaikaissäilytyksestä Suomessa § OKM: n alaiset kirjastot, arkistot ja museot toimittavat eaineistonsa pitkäaikaissäilytettäväksi CSC: llä olevaan digitaaliseen arkistoon eli PAS-järjestelmään § Samaan järjestelmään tallennetaan myös tutkimusdata § PAS-järjestelmään siirrettävä aineisto on paketoitava siten, että dokumentin mukana on kaikki sen säilyttämiseen tarvittava metatieto § Paketointistandardi on Metadata Encoding and Transmission Standard eli METS (http: //www. loc. gov/standards/mets/) § XML-skeema, jolla voi tallentaa dokumentin kuvailevan, hallinnollisen ja rakenteisen metadatan ja linkit tiedostoihin § CSC ylläpitää paketointipalvelua, joka helpottaa PASmääritysten mukaisten informaatiopakettien luontia KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 3

PAS-ohjeistuksesta § KDK PAS-hanke on määritellyt tarvittavat tietoelementit; ks http: //www. digitalpreservation. fi/specifications § Aineiston paketointiohje, luku 2. 4 (Yleiset vaatimukset) § Tiedostomuoto-ohje, luku 5 (Tekniset metatiedot aineistomuotokohtaisesti; esim. äänitiedostoille) § PAS-määritykset tarkistetaan vuosittain, mutta mitään suuria muutoksia niihin ei ole luvassa § Ohjeiden ymmärtäminen edellyttää perustiedot ISO: n Open Archival Information System eli OAIS-standardista, jonka suomenkielinen versio on SFS 5972, Viitemalli pitkäaikaissäilytysarkistolle (vuodelta 2015) § Suomennos määrittelee mm. sanaston, jota PAS-toiminnassa käytetään, sekä keskeiset toimijat ja heidän roolinsa § http: //www. digitalpreservation. fi/specifications/sanasto KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 4

Vuosikello

Pakolliset PAS-metatiedot § Tunnisteet § § § Siirtopaketille (tuotetaan ohjelmallisesti) Aineistolle (dokumentille) Tiedostolle / tiedostoille Metatiedoille Huom: ei teoksen tunnistetta (vielä) § Aikaleimat § Siirtopaketin luonti- tai muokkausaika (tuotetaan ohjelmallisesti) § Digitaalisten objektien ja metatietojen luontiaika § Kuvailuformaatti § KDK standardisalkku määrittelee sallitut metadataformaatit; tiedot niistä lisätään siirtopakettiin ohjelmallisesti KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 6

PAS-metatiedot (2) § Teknisen metatiedon elementtejä vaaditaan 2 + x: § Tiedostomuoto ja sen versio (esim. PDF 1. 6) § https: //www. loc. gov/preservation/digital/formats/fdd 000276. shtml § Voidaan yleensä tuottaa ohjelmallisesti § Eheystieto (tarkistussumma) ja sen algoritmi § Sallitut algoritmit standardisalkussa; esim. SHA-256 § https: //en. wikipedia. org/wiki/SHA-2 § Tuotetaan ohjelmallisesti; tallennus käsin (? ) § Aineistomuotokohtaiset vaatimukset § Tuotetaan ohjelmallisesti, ja ilmaistaan kunkin aineistotyypin omassa teknisen metatiedon formaatissa § Äänitiedostojen Audio. MD, still-kuvien MIX, liikkuvan Video. MD, tekstitiedostojen Text. MD KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 7

Liikkuvan tekninen metadata § § § § § § § <vmd: VIDEOMD xmlns: vmd="http: //www. loc. gov/video. MD/" ANALOGDIGITALFLAG="File. Digital"> <vmd: file. Data> <vmd: duration>01: 37</vmd: duration> <vmd: data. Rate>8</vmd: data. Rate> <vmd: bits. Per. Sample>24</vmd: bits. Per. Sample> <vmd: color>Color</vmd: color> <vmd: compression> <vmd: codec. Creator. App>Sound. Forge</vmd: codec. Creator. App> <vmd: codec. Creator. App. Version>10</vmd: codec. Creator. App. Version> <vmd: codec. Name>(: unav)</vmd: codec. Name> <vmd: codec. Quality>lossy</vmd: codec. Quality> </vmd: compression> <vmd: data. Rate. Mode>Fixed</vmd: data. Rate. Mode> <vmd: frame> <vmd: pixels. Horizontal>640</vmd: pixels. Horizontal> <vmd: pixels. Vertical>480</vmd: pixels. Vertical> <vmd: PAR>1. 0</vmd: PAR> <vmd: DAR>4/3</vmd: DAR> </vmd: frame> <vmd: frame. Rate>24</vmd: frame. Rate> <vmd: sampling>4: 2: 2</vmd: sampling> <vmd: signal. Format>PAL</vmd: signal. Format> <vmd: sound>No</vmd: sound> </vmd: file. Data> </vmd: VIDEOMD> KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 8

PAS-toiminta käytännössä § Pitkäaikaissäilytys on prosessi, joka alkaa silloin kun säilytettävä dokumentti luodaan § Esim. eheystieto on luotava heti, jos halutaan olla varmoja siitä, että säilytettävän dokumentin eheys voidaan taata § Korkeakoulujen julkaisuarkistoissa oleva vapaakappaleaineisto voidaan haravoida Kansalliskirjastoon, joka siirtää sen edelleen PAS-sovellukseen, mutta prosessi on luotettava vain jos aineisto on alun perin kunnossa § CSC tarkistaa jokaisen saapuvan siirtopaketin, ja pienikin virhe voi johtaa paketin hylkäämiseen § Säilytyssopimus määrittelee eri osapuolten vastuut § Esim. miten toteutetaan aineistojen ja metatiedon migraatiot KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 9

PREMIS § Pitkäaikaissäilytyksen metadatan formaatti; ylläpitäjä Kongressin kirjasto § PREMIS-metatieto tallennetaan muiden metatietojen tavoin osaksi pitkäaikaissäilytysjärjestelmään lähetettävää siirtopakettia § Kun säilytyksen aikana tapahtuu jotakin, siitä tallennetaan PAS-arkistoon PREMIS-metatietoa § Kuka teki ja mitä, ja millä seurauksin § Toimija voi olla henkilö tai ohjelmisto § Esimerkiksi tarkka kuvaus siitä, mitä muutoksia tiedostomuodon migraatio aiheutti; sen avulla asiakkaat voivat valita itselleen ”sopivasti autenttisen” version KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 10

Tarkistussumman esittäminen METSdokumentissa PREMIS-formaatissa mets: amd. Sec> <mets: tech. MD ID="file 01 -techmd" fi: CREATED="2011 -05 -31"> <mets: md. Wrap MDTYPE="PREMIS: OBJECT" MDTYPEVERSION="2. 2"> <mets: xml. Data> <premis: object xsi: type="premis: file"> [. . . ] <premis: object. Characteristics> <premis: composition. Level>0</premis: composition. Level> <premis: fixity> <premis: message. Digest. Algorithm> MD 5 </premis: message. Digest. Algorithm> <premis: message. Digest> aa 4 bddaacf 5 ed 1 ca 92 b 30826 af 257 a 1 b </premis: message. Digest> </premis: fixity> [. . . ] </premis: object. Characteristics> </premis: object> </mets: xml. Data> </mets: md. Wrap> </mets: tech. MD> </mets: amd. Sec> KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 11

Lopuksi § Mitään kaikenkattavaa metatietoformaattia tai kuvailusääntöjä ei ole tulossa § Osittaisesta päällekkäisyydestä huolimatta valtaosa teknisestä ja pitkäaikaissäilytyksen metatiedosta on siihen erikoistuneissa formaateissa § Koska hallinnollinen metadata tuotetaan pääosin ohjelmallisesti, sitä voi olla todella paljon § Pitkäaikaissäilytyksen onnistuminen edellyttää metatietojen kokonaisuuden hallintaa § Eheystieto eli tarkistussumma pitää laskea riittävän ajoissa, ja tallentaa niin, että se löytyy siirtopakettia luotaessa § Lisätietoa: http: //www. digitalpreservation. fi/ KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 12

Hallinnollisen metatiedon formaatit § Kaikkien alla listattujen formaattien ylläpitovastuu on Kongressin kirjastolla, mutta käytännön työstä vastaavat yleensä Editorial Boardit, jotka ovat kansainvälisiä § -> Jukka Kervinen KK: sta on METS Editorial Boardin jäsen § Pitkäaikaissäilytys § PREMIS https: //www. loc. gov/standards/premis/ § Tekstitiedostot § text. MD https: //www. loc. gov/standards/text. MD/ § Audio ja video § audio. MD ja video. MD https: //www. loc. gov/standards/amdvmd/ § Still-kuvat § MIX http: //www. loc. gov/standards/mix/ KANSALLISKIRJASTO 12. 2. 2019 PAS-metatiedot 13