Pitkaikaissilytyksen metatiedot Juha Hakala Kustikokous 2019 03 19

Pitkäaikaissäilytyksen metatiedot Juha Hakala Kusti-kokous 2019 -03 -19 KANSALLISKIRJASTO

Yleistä § Metatiedot voidaan jakaa kolmeen ryhmään: § Kuvaileva metatieto § Hallinnollinen metatieto § Tekninen, käyttöoikeuksien ja pitkäaikaissäilytyksen metatieto § Rakenteinen metatieto § Raja kuvailevan ja hallinnollisen metatiedon välillä on veteen piirretty; MARC 21: ssä on eritoten käyttöoikeuksien metatietoa § Perinteinen aineiston kuvailu riittää aineiston käyttämiseen nykyisin laittein ja ohjelmin, mutta ei pitkäaikaissäilyttämiseen, joka edellyttää joko muunnosta uuteen tiedostomuotoon (migraatio) tai alkuperäisen käyttöympäristön jäljittelyä (emulaatio) KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 2

Tekniset metatiedot § Virallinen määritelmä (ISO 5127): § metadata covering the technical requirements and preconditions for processing a digital document § Kattavampi epävirallinen määritelmä: § information on the technical properties of a digital file or the particular hardware and software environments required in order to render or process digital information § Eri aineistomuodoilla omat, Kongressin kirjaston ylläpitämät formaattinsa (Audio. MD, Video. MD, MIX) § Tarvittavan teknisen metatiedon määrä riippuu sekä aineistotyypistä että tiedostomuodosta; yleisesti käytetyillä ohjelmilla tuotetut aineistot voivat olla “helppoja tapauksia” KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 3

Pitkäaikaissäilytyksen metatiedot § Pitkäaikaissäilytyksen metatieto tukee pitkäaikaissäilytysprosessia ja dokumentoi tehdyt säilytystoimet kuten tiedostojen kopioinnin tai migraatiot § Pitkäaikaissäilytyksen metatiedot päivittyvät aina, kun säilytettävään dokumenttiin kohdistuu toimenpiteitä § Toimenpide (esim. migraatio) voi vaikuttaa myös tekniseen ja kuvailevaan metatietoon § Pitkäaikaissäilytyksen metatiedon formaatti on Kongressin kirjaston ylläpitämä PREMIS; sillä voidaan kuvata esim. jonkin toimenpiteen tekijä (henkilö ja/tai ohjelmistot) sekä sen vaikutukset (tiedoston ulkoasun ja sisällön muutokset) § PREMISin tai teknisen metatiedon formaattien kaikkia tietoelementtejä ei tulla lisäämään MARCiin / Bibframeen KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 4

Pitkäaikaissäilytyksestä Suomessa § OKM: n alaiset kirjastot, arkistot ja museot toimittavat e-aineistonsa pitkäaikaissäilytettäväksi CSC: llä olevaan PAS-järjestelmään, jossa on kolme osaa § PAS-ratkaisu (bittien säilytys, yhteinen) § Kulttuuriaineisto-PAS (käytettävyyden säilytys) § Fairdata-PAS (tutkimusaineistojen käytettävyyden säilytys) § Siirrettävä aineisto on paketoitava siten, että dokumentin mukana on kaikki sen pitkäaikaissäilyttämiseen tarvittava metatieto § Paketointistandardi on Metadata Encoding and Transmission Standard eli METS (http: //www. loc. gov/standards/mets/) § XML-skeema, joka mahdollistaa kaiken aineistoon liittyvän kuvailevan, hallinnollisen ja rakenteisen metatiedon tallennuksen § CSC ylläpitää paketointipalvelua, joka helpottaa PAS-määritysten mukaisten informaatiopakettien luontia KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 5

PAS-ohjeistuksesta § KDK PAS-hanke on määritellyt tarvittavat tietoelementit; ks http: //www. digitalpreservation. fi/specifications § Aineiston paketointiohje, luku 2. 4 (Yleiset vaatimukset) § Tiedostomuoto-ohje, luku 5 (Tekniset metatiedot aineistomuotokohtaisesti; esim. äänitiedostoille) § PAS-määritykset tarkistetaan vuosittain, mutta suuria muutoksia niihin ei ole tulossa § Ohjeiden ymmärtäminen edellyttää perustiedot mm. ISO: n Open Archival Information System eli OAIS-standardista, jonka suomenkielinen versio on SFS 5972, Viitemalli pitkäaikaissäilytysarkistolle (vuodelta 2015) § Suomennos määrittelee mm. sanaston, jota PAS-toiminnassa käytetään, sekä keskeiset toimijat ja heidän roolinsa § http: //www. digitalpreservation. fi/specifications/sanasto KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 6

Vuosikello 19. 3. 2019 PAS-metatiedot 7

Pakolliset yleiset PAS-metatiedot § Tunnisteet § § § Siirtopaketille (tuotetaan ohjelmallisesti) Aineistolle (dokumentille) Tiedostolle / tiedostoille Metatiedoille Huom: ei teoksen tunnistetta (vielä) § Aikaleimat § Siirtopaketin luonti- tai muokkausaika (tuotetaan ohjelmallisesti) § Digitaalisten objektien ja metatietojen luontiaika § Kuvailevan ja hallinnollisen metatiedon formaatit § KDK standardisalkku määrittelee sallitut metadataformaatit; tietueet lisätään siirtopakettiin ohjelmallisesti KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 8

PAS-metatiedot (2) § Teknisen metatiedon elementtejä vaaditaan 2 + x kpl: § Tiedostomuoto ja sen versio (esim. PDF 1. 6) § https: //www. loc. gov/preservation/digital/formats/fdd 000276. shtml § Voidaan yleensä tuottaa ohjelmallisesti § Eheystieto (tarkistussumma) ja sen algoritmi § Sallitut algoritmit standardisalkussa; esim. SHA-256 § https: //en. wikipedia. org/wiki/SHA-2 § Tuotetaan ohjelmallisesti; tallennus käsin (? ) § Aineistomuotokohtaiset vaatimukset, joita on runsaasti § Tuotettava ohjelmallisesti, ilmaistaan kunkin aineistotyypin omassa teknisen metatiedon formaatissa, eli esimerkiksi liikkuvan tiedostojen tiedot Video. MD-muodossa KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 9

Liikkuvan tekninen metadata § § § § § § § <vmd: VIDEOMD xmlns: vmd="http: //www. loc. gov/video. MD/" ANALOGDIGITALFLAG="File. Digital"> <vmd: file. Data> <vmd: duration>01: 37</vmd: duration> <vmd: data. Rate>8</vmd: data. Rate> <vmd: bits. Per. Sample>24</vmd: bits. Per. Sample> <vmd: color>Color</vmd: color> <vmd: compression> <vmd: codec. Creator. App>Sound. Forge</vmd: codec. Creator. App> <vmd: codec. Creator. App. Version>10</vmd: codec. Creator. App. Version> <vmd: codec. Name>(: unav)</vmd: codec. Name> <vmd: codec. Quality>lossy</vmd: codec. Quality> </vmd: compression> <vmd: data. Rate. Mode>Fixed</vmd: data. Rate. Mode> <vmd: frame> <vmd: pixels. Horizontal>640</vmd: pixels. Horizontal> <vmd: pixels. Vertical>480</vmd: pixels. Vertical> <vmd: PAR>1. 0</vmd: PAR> <vmd: DAR>4/3</vmd: DAR> </vmd: frame> <vmd: frame. Rate>24</vmd: frame. Rate> <vmd: sampling>4: 2: 2</vmd: sampling> <vmd: signal. Format>PAL</vmd: signal. Format> <vmd: sound>No</vmd: sound> </vmd: file. Data> </vmd: VIDEOMD> KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 10

PAS-toiminta käytännössä § Pitkäaikaissäilytys on prosessi, joka alkaa silloin kun säilytettävä dokumentti luodaan § Esim. eheystieto on luotava heti, jos halutaan turvata dokumenttien autenttisuuden säilyminen (ja lisäksi tiedostosta pitäisi olla kolme kopiota) § Korkeakoulujen omissa julkaisuarkistoissa oleva vapaakappaleaineisto voidaan haravoida Kansalliskirjastoon, joka siirtää sen edelleen PAS-sovellukseen, mutta prosessi on luotettava / sujuva vain jos saatu aineisto on OK saapuessaan § Saapuvat paketit tarkistetaan ohjelmallisesti, ja pienikin virhe metatiedoissa tai aineistossa voi johtaa paketin hylkäämiseen § PDF-tiedostoissa on esiintynyt melko usein teknisiä ongelmia KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 11

PAS-toiminta käytännössä (2) § CSC: n järjestelmä on toistaiseksi kattanut vain bittitason säilytyksen, mutta loogisen tason säilytyksen suunnittelu (migraatiot) on aloitettu keväällä 2019 § Ajantasaiseen tiedostomuotoon päivitetyt aineistot uusine metatietoineen on aikanaan siirrettävä PAS-järjestelmästä takaisin kirjastojen tuotantojärjestelmiin § Tässä käytettävät menettelyt ja tekniset rajapinnat ovat vielä ”work in progress” § On mahdollista, että jotkin organisaatiot tekevät migraatiot itse, CSC: n tuella ja sen kehittämin välinein KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 12

Lopuksi § Mitään kaikenkattavaa metatietoformaattia tai kuvailusääntöjä ei ole tulossa § Osittaisesta päällekkäisyydestä huolimatta valtaosa teknisestä ja pitkäaikaissäilytyksen metatiedosta on siihen erikoistuneissa formaateissa § Koska hallinnollinen (tekninen) metatieto tuotetaan pääosin ohjelmallisesti, sitä voi olla todella paljon § Pitkäaikaissäilytyksen onnistuminen edellyttää kokonaisprosessin hallintaa ja hyvää yhteistyötä eri osapuolten välillä § Lisätietoa: http: //www. digitalpreservation. fi/ KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 13

Hallinnollisen metatiedon formaatit § Kaikkien alla listattujen formaattien ylläpitovastuu on Kongressin kirjastolla, mutta käytännön työstä vastaavat yleensä Editorial Boardit, jotka ovat kansainvälisiä § -> Jukka Kervinen KK: sta on METS Editorial Boardin jäsen § Pitkäaikaissäilytys § PREMIS https: //www. loc. gov/standards/premis/ § Tekstitiedostot § text. MD https: //www. loc. gov/standards/text. MD/ § Audio ja video § audio. MD ja video. MD https: //www. loc. gov/standards/amdvmd/ § Still-kuvat § MIX http: //www. loc. gov/standards/mix/ KANSALLISKIRJASTO 19. 3. 2019 PAS-metatiedot 14