Das MILESS Projekt der Universitt Essen Implementierung einer

Das MILESS Projekt der Universität Essen Implementierung einer Digitalen Bibliothek auf Basis des IBM Content Managers Zukunft der Software im My. Co. Re Projekt F. Lützenkirchen Hochschul. Rechen. Zentrum der Universität Essen 07. 11. 2001 Präsentation Humboldt-Universität Berlin 1

Themen • Was ist MILESS? • Entstehung, Intentionen und Ziele • Systemkomponenten und Datenmodell • Funktionalität und graphische Benutzeroberfläche • Stand und Weiterentwicklung • Was ist IBM Content Manager? • Systemkomponenten und Funktionalität • Erfahrungen bei der MILESS Implementierung • Stärken und Schwächen des Produktes • Was ist My. Co. Re? • Entstehung, Intentionen und Ziele • Organisation und Projektbeteiligte • Stand der Entwicklung • Diskussion 07. 11. 2001 Präsentation Humboldt-Universität Berlin 2

Intentionen und Ziele Lehr- und Lernmaterial ist vorhanden, aber • oft mühsam auffindbar, verstreut in der Hochschule • keine systematische Ordnung Ziele des MILESS Projektes: • Zentraler, einheitlicher Zugang für alle Fachbereiche, Suche und Navigation in einem homogenen System • Sachliche, systematische Erschließung in bibliothekarischer Qualität, Integration der Bibliothek in den Dokumentenworkflow 07. 11. 2001 Präsentation Humboldt-Universität Berlin 3

Intentionen und Ziele Lehr- und Lernmaterial ist • oft flüchtig, Verfügbarkeit nicht garantiert • Pflege des Distributionssystems (Web-Server) aufwendig Ziele des MILESS Projektes: • Archivierung und Sicherung, dauerhafte, zuverlässige Verfügbarkeit • Zentrale Plattform zur Verteilung von Materialien • Manipulationsgefahr, Urheberschutzprobleme 07. 11. 2001 • Manipulationssicherheit, Digitale Signatur, Zugriffsschutz • Elektronische Dissertationen Präsentation Humboldt-Universität Berlin 4

Intentionen und Ziele Multimediales Material: Ziele in MILESS: • Verschiedenste Formate • Audio / Videomaterialien: Große Datenmengen • Audio / Videomaterialien: Intensive Nutzung bisher nicht verbreitet • Unterstützung beliebiger Dateiformate • Skalierbarkeit des Systems: Spezielle Audio-/Videosoftware • Einsatz direkt in der Vorlesung: geringe technische Hemmschwelle 07. 11. 2001 Präsentation Humboldt-Universität Berlin 5

Gemeinschaftsprojekt der zentralen Einrichtungen der Universität Essen Hochschulrechenzentrum Universitätsbibliothek http: //miless. uni-essen. de/ Medienzentrum Fachbereiche 07. 11. 2001 Präsentation Humboldt-Universität Berlin 6

Was ist MILESS? • MILESS: Multimedialer Lehr- und Lernserver Essen • Projekt an der Universität Essen: seit 1998 ständig weiterentwickelt • Essener Digitale Bibliothek: Infrastruktur für die Universität Essen • In Essen für Essen entwickelte Applikation, d. h. - ursprünglich zugeschnitten auf Essener Anforderungen - aber: Standards bei Metadaten u. Content: Dublin Core, XML, . . . - aber: zunehmende Flexibilisierung zur einfacheren Nachnutzung • Benötigt IBM Content Manager 6. 1 oder 7. 1, DB 2 unter AIX / NT • Java-Applikation: ca. 45000 Zeilen Quellcode - Servlets, Applets • Open Source unter GNU General Public License, nichtkommerziell • Nachnutzung durch andere Universitäten erfolgreich, z. B. Leipzig (Bach Digital), Jena (Urmel), ca. ein Dutzend Installationen • Teil der Campus. Source Initiative NRW, Teil des My. Co. Re Projekts 07. 11. 2001 Präsentation Humboldt-Universität Berlin 7

Was ist MILESS nicht? • Ein Produkt der IBM in Zusammenarbeit mit der Universität Essen • Ein Produkt der Universität Essen im kommerziellen Sinne - Support, Hotline, . . . - Kommerziell vermarktet - Von Beginn an zugeschnitten auf die Bedürfnisse möglichst vieler „Kunden“ d. h. Nachnutzer - ABER: Ständige Weiterentwicklung in Richtung Flexibilisierung, Verbesserung der Software-Qualität, Dokumentation etc. - ABER: Nachnutzung ist erwiesenermaßen gut möglich • Eine interaktive Lernumgebung: - Kursverwaltung: Studenten, Diskussionsforen, Online-Üungen - Führung des Benutzers durch die Lerninhalte etc. 07. 11. 2001 Präsentation Humboldt-Universität Berlin 8

MILESS als Digitale Bibliothek Katalogsysteme: • Integration auf Metadatenebene, nur Nachweis (Link) • Keine Archivierung, keine Verfügbarkeitsgarantie MILESS: • Dokumente werden im System selbst gehalten: Einheit von Metadaten und Inhalten • Verfügbarkeit der Inhalte kann garantiert werden • Keine ungültigen Verweise • Grundlage für zuverlässigen Einsatz in Vorlesung, Vor- und Nachbereitung, zur Schaffung von Zitierfähigkeit • Archivierung und Sicherung, Zugriffs- und Manipulationsschutz • Zusatzdienste werden ermöglicht, z. B. Suche im Volltext, nach Bildern (QBIC), ZIP-Generierung, . . . 07. 11. 2001 Präsentation Humboldt-Universität Berlin 9

Systemkomponenten MILESS / CM OPACSystem Video. Charger Server: Streaming von Audio/Video Daten (MPEG, . . . ) Library Server: Metadaten (Titel, Autor, . . . ) IBM DB 2 Datenbank 07. 11. 2001 HTTP Web-Server Java Servlets: MILESS Server-Komponenten HTML XML Object Server: Dateien (PS, PDF, . . . ), zentral / dezentral Web-Browser Java-Applet: MILESS Autoren-GUI Text Search Server: Volltext-Suche (Textindizes) IBM 3494 Tape Library System IBM Content Manager TSM Server: Langzeit-Archivierung Präsentation Humboldt-Universität Berlin 10

Content Manager: Wesentliche Funktionen • Content Manager: Server-Komponenten mit DB 2, TSM-Anbindung. . . • Enterprise Information Portal: Client-Komponenten u. Text Search • Speicherung von Metadaten und Content • Parametrische Suche, vergleichbar mit Suche in relationaler DB • Volltextsuche mit linguistischen Features • Über EIP verteilte Suche mit Anbindung an andere Backends • Programmier-Schnittstellen (API‘s) für Java, C++, C, Active. X • Funktionen für Benutzer- und Rechtemanagement • Workflow-Funktionen • Einfache Beispiel-Applikationen (flaches Karteikarten-Datenmodell) • Administrations-Clients • . . . (diese Liste ist nicht vollständig) 07. 11. 2001 Präsentation Humboldt-Universität Berlin 11

Content Manager: Stärken (subjektiv) • Integrierte Verwaltung von Metadaten und Content • Hohe Skalierbarkeit: Millionen von Items, verteilte Komponenten • Automatisierte Anbindung an TSM-Server: Automatische Auslagerung von Objekten auf Band anhand zu definierender Regeln wie z. B. Plattenplatz, Häufigkeit der Zugriffe • Integration des IBM Video. Charger Server: Streaming von Audio-/Videodateien • Content Manager ist ein IBM Produkt: Es ist wahrscheinlich, dass es diese Firma auch in einigen Jahren noch gibt. . . 07. 11. 2001 Präsentation Humboldt-Universität Berlin 12

Content Manager: Schwächen (subjektiv) • CM/EIP ist ein Werkzeugkasten zur Erstellung von eigenen Applikationen, keine fertige nur zu konfigurierende Applikation • Probleme bei Performance und Stabilität, Administrationsaufwand • Möglichkeiten der Datenmodellierung sind unzureichend für komplexe Datenmodelle wie MILESS: flaches Karteikartenmodell • Da die mitgelieferten Clients auf flaches CM-Datenmodell ausgelegt sind, sind sie für eigene komplexe Anwendungen so gut wie nicht benutzbar • Nicht alle Funktionen werden mit Java-Schnittstellen unterstützt • Möglichkeiten parametrischer Suche im Vergleich zu SQL stark eingeschränkt • Kombination von parametrischer Suche und Volltextsuche unzulänglich gelöst und problematisch 07. 11. 2001 Präsentation Humboldt-Universität Berlin 13

Content Manager: Zukunft (subjektiv) • IBM Content Manager Version 8 verspricht gravierende und wesentliche Verbesserungen 07. 11. 2001 Präsentation Humboldt-Universität Berlin 14

MILESS Software-Komponenten Java Applets: Inhalte einbringen und bearbeiten MILESS Datenmodell-Klassen (Java-Klassenbibliothek): Dokumente, Personen, Derivate, . . . HTML-Seiten: Suchmasken, Navigation, Inhalte anzeigen B R O W S E R MILESS Persistenz-Layer (Java-Klassenbibliothek): MILESS Daten-Objekte erzeugen, lesen, ändern, löschen, suchen W E B S R V IBM Enterprise Information Portal / Content Manager API (C, C++, Java, . . . ) C M 07. 11. 2001 Java Servlets: Inhalte suchen, anzeigen, verwalten Präsentation Humboldt-Universität Berlin 15

MILESS Hardware-Basis in Essen RS/6000 SP Frame 3 Frame 2 MILESS parallel batch IBM DB 2 Content Manager Objectserver Libraryserver Videoserver Frame 1 Internet via GWIN: Gigabit Wissenschaftsnetz login email services students login email services staff GWIN 155 Mbit/s TSM Serial batch DB and WWW Services Scalable POWERParallel Switch SCSI SSA Harddisks (ca 0, 5 TB) RAID 30 GB 3494 -C 2 A SSA- Raid 30 GB 172 GB 3490 SSA 58 GB 07. 11. 2001 SSA 58 GB SSA 36 GB SSA- Raid 172 GB 3490 3494 -L 10 Ca. 800 Bandlagerfächer 3494 -D 12 3590 3590 Uni Essen Campus Netzwerk (FDDI, ATM, Gigabit-Ethernet) IBM 3494 Tape Library (ca. 8 TB) Präsentation Humboldt-Universität Berlin 16 Stand 17. 8. 1998 NA

Datenmodell • Dokumentenmodell ist Umsetzung des Dublin Core Element Set: Creator, Publisher, Contributor, Title, Subject, Description, Source, Coverage, Rights, Type, Format, Date, Language • Ergänzt um Modell für Personen / Körperschaftsdaten: Personen, Namensformen, Kontaktinformationen, . . . • Ergänzt um Modell für Dokumenten-Derivate und Dateien Ein Dokument in verschiedenen Formaten (HTML, PS, PDF, . . . ) • Metadatensatz ist abgestimmt auf / mit Deutsche Bibliothek: Dissertationen Online 07. 11. 2001 Präsentation Humboldt-Universität Berlin 17

Datenmodell und Funktionalität • Bis zu neun alternative Titel je Dokument, Sprache, Typ des Titels (main / alternative, translated), Länge beliebig, Volltextsuche im Titel • Angabe der Sprache(n) des Dokumentes anhand ISO 639 -2 Liste • Datum der Erzeugung, der letzten Änderung, Gültigkeitszeitraum von / bis, Datum der Antragstellung zur Promotion, Datum der Prüfung (Dissertationen) 07. 11. 2001 Präsentation Humboldt-Universität Berlin 18

Datenmodell und Funktionalität Bis zu 30 Autoren, Herausgeber, Beitragende (Übersetzer, . . . ) je Dokument • Personen- / Körperschaftsdaten • Unterstützung mehrerer Namensformen je Person, z. B. für verschiedene Schreibweisen, Nachname nach u. vor Heirat. . . • L/M/R-trunkierte Suche • Mehrere Kontakte (dienstl. , privat) • Mehrere E-Mail- und Web. Adressen, Telefon, Telefax, Anschriften je Kontakt 07. 11. 2001 Präsentation Humboldt-Universität Berlin 19

Datenmodell und Funktionalität • Freie Stichwörter / Schlagwörter • Unterstützung beliebiger hierarchischer Fachklassifikationen • Mehrfachzuordnung, parallele Verwendung mehrer Klassifikationen • Exakte Suche nach bestimmten Kategorien • Volltextsuche (Wörter, Phrasen) nach Kategorien und Stichwörtern 07. 11. 2001 Präsentation Humboldt-Universität Berlin 20

Datenmodell und Funktionalität • Klassifikationsbäume können in MILESS integriert geladen werden • Navigation durch die Hierarchie, Suche in der Hierarchie • Volltextsuche im Klassifikationssystem zum Auffinden von Kategorien ( z. B. PACS: ca. 2900 Kategorien ) 07. 11. 2001 Präsentation Humboldt-Universität Berlin 21

Navigation durch Klassifikationsbäume 07. 11. 2001 Präsentation Humboldt-Universität Berlin 22 Stand 17. 8. 1998 NA

Datenmodell und Funktionalität • Description: Beschreibung oder Zusammenfassung (Abstract) • Source: Hinweis auf Herkunft (Freitext, ISBN-Angabe etc. ) • Coverage: Räumlicher / zeitlicher Bezug des Dokumentes • Rights: Rechtliche Vermerke, Lizenzbedingungen etc. • Je bis zu 10 Angaben je Dokument, Länge beliebig • Freitext, URL (z. B. Verweis auf externe Zusammenfassung) oder andere Schemata, Sprache zu diesen Elementen erfaßbar • Volltextsuche in diesen Elementen 07. 11. 2001 Präsentation Humboldt-Universität Berlin 23

Datenmodell und Funktionalität • Ein Dokument kann in mehreren Formaten (Derivate) vorliegen • Medientyp: Grobeinordnung, Formate: Genauere Angabe • Derivat kann in MILESS archiviert oder auch nur URL sein • Unterstützung beliebiger Dateiformate (erweiterbare Liste) • Beibehaltung der Verzeichnishierarchie des Derivates • Integrierter Verweis auf Plug-In‘s, Anzeige Umfang • Generierung von zip-Archiven on the fly 07. 11. 2001 Präsentation Humboldt-Universität Berlin 24

Allgemeine u. fachspezifische Suchmasken 07. 11. 2001 Präsentation Humboldt-Universität Berlin 25 Stand 17. 8. 1998 NA

Ergebnisliste 07. 11. 2001 Präsentation Humboldt-Universität Berlin 26 Stand 17. 8. 1998 NA

Dokumentendaten 07. 11. 2001 Präsentation Humboldt-Universität Berlin 27 Stand 17. 8. 1998 NA

Import / Ändern / Export von Daten • Import-/Export-Format für Metadaten ist XML • Metadaten und Dateien werden in der Regel über GUI bearbeitet: Autoren arbeitet selbständig mit Java-Applet • Kommandozeilen-Interface auf dem Server für Batch. Import/Export und für administrative Zwecke • Flexibel durch Unterstützung beliebiger Dateitypen • Drei-Schichten-Architektur von MILESS: - Graphische Oberflächen (HTML, Servlets, Applets) - Datenmodell und Logik - Persistenz (IBM Content Manager, DB 2) • Dadurch flexible Möglichkeit, Schichten auszutauschen / anzupassen, aber auch wesentlich aufwendigere Implementierung 07. 11. 2001 Präsentation Humboldt-Universität Berlin 28 Stand 17. 8. 1998 NA

Applet für Autoren: Einstellen / Ändern 07. 11. 2001 Präsentation Humboldt-Universität Berlin 29 Stand 17. 8. 1998 NA

MILESS Weiterentwicklung: Online Digital Video Archive • IBM Shared University Research Grant im Dezember 1999: Hard-/Software und Service im Wert von ca. 400. 000 DM • DFG-Projekt ”Verteilte Digitale Video/Audio-Bibliothek" Uni Essen (HRZ, UB, MZ) and FSU Jena (URZ, THULB): - Projekt seit Mitte dieses Jahres, Laufzeit ca. 2 Jahre - Transparente, gemeinsame Nutzung von digitalem Videomaterial - Erschliessung der Struktur von Videos: Szenen-Erkennung, Storyboard-Generierung - Transcoding für verschiedene Bandbreiten - Erweiterung der Recherchemöglichkeiten z. B. durch Volltextindizierung der Audio-Spur nach Spracherkennung 07. 11. 2001 Präsentation Humboldt-Universität Berlin 30

MILESS und Campus. Source / My. Co. Re • Problem: Langfristige Weiterentwicklung/Pflege von ca. 45. 000 Codezeilen problematisch • Erste Idee: IBM übernimmt MILESS als Beispiel-Anwendung als Teil der Content Manager Distribution ? -> Rechtliche Probleme, gescheitert • Erfahrungen mit ersten Nachnutzern: GWDG, FSU Jena (Ur. MEL), Uni Leipzig (Bach Digital) • Neues Konzept: MILESS Code als Open Source unter GNU GPL Lizenz für jedermann nachnutzbar • Unterstützt durch die "Campus. Source Initiative NRW" • Ziele: Erfahrungsaustausch, Bildung einer Gemeinschaft zur Weiterentwicklung und Pflege • Daraus Entstehung des My. Co. Re-Projekts 07. 11. 2001 Präsentation Humboldt-Universität Berlin 31

My. Co. Re: Entstehung und Ziele • Essener Lösung „MILESS“ ist spezialisiert auf die Essener Anforderungen (z. B. in Datenmodell, Graphische Oberflächen) • „MILESS Community“ der Nachnutzer brachte zusätzliche Anforderungen, Flexibilisierungswünsche, neue Anwendungsgebiete ein • Daher, ausgehend von MILESS, gemeinsame Entwicklung eines flexiblen, anpassbaren Software-Kerns („My core“) zur Erstellung von digitalen Bibliothekssystemen / Archivlösungen (allgemein „Content Repositories“ -> Co. Re), für verschiedene Backend-Datenbanken, unter anderem IBM Content Manager • Entwicklung als Open Source auf Java-Basis unter GNU GPL • Kern, ergänzt um Anpassungen und Erweiterungen, bildet jeweils eine lokale Lösung, z. B. für Münzsammlung, Papyri-Archiv, . . . 07. 11. 2001 Präsentation Humboldt-Universität Berlin 32

My. Co. Re Projektbeteiligte • • • Universität Essen: Zentrale Einrichtungen Universität Jena: Rechenzentrum, Bibliothek Universität Leipzig: Rechenzentrum Universität Münster: Rechenzentrum, Bibliothek Universität Halle: Rechenzentrum, Bibliothek Universität Freiburg: Rechenzentrum Universität Rostock: Bibliothek, Informatik-Lehrstuhl Prof. Heuer GWDG Göttingen mit Bayerischer Staatsbibliothek München Universität Uppsala mit Louisiana Tech University IBM Deutschland: Content Manager Gruppe, Forschung & Lehr Weitere Interessenten / Potentielle Nutzer / Kontakte Universitäten Greifswald, Düsseldorf, BASF Ludwigshafen, . . . 07. 11. 2001 Präsentation Humboldt-Universität Berlin 33

My. Co. Re: Organisation • Einzelne Mitglieder übernehmen Weiterentwicklung bestimmter Funktionsbereiche: Analyse, Design, Implementierung usw. • Gemeinsame Arbeitsumgebung für die Software-Entwickler (Entwicklungsrechner in Essen, CVS-Repository zur Code. Verwaltung, Dokumentenaustausch via BSCW, Mailing-Liste): Teilkomponenten werden hier entwickelt und zusammengeführt • Architecture Board (5 Pers. ) koordiniert gemeinsame Entwicklung, legt Standards, Richtlinien, Schnittstellen fest, sammelt Anforderungen aller Mitglieder, stellt Integrationsfähigkeit der Teile sicher etc. • IBM-Support: gemeinsam, über einen Koordinator kanalisiert • Je ein Key Decider auf technischer Ebene / auf Management Ebene für My. Co. Re-Mitglieder und für die IBM, als Ansprechpartner 07. 11. 2001 Präsentation Humboldt-Universität Berlin 34

My. Co. Re: Arbeitsteilige Implementierung • Essen: Unterstützung hierarchischer Fachklassifikationen, Systeminterne Dateiverwaltung, Videofunktionen • Münster und Rostock: Verteilte Suche, Schnittstelle für Open Archives Initiative • Jena und Leipzig: Flexibilisierung des Metadatenmodells (Dokumente, Personen) • Freiburg: Benutzer- und Rechteverwaltung • Göttingen: Workflow-Funktionen • IBM: How. To-Support, Link zum Entwicklungslabor, spezielle Konditionen zur Nutzung von IBM Content Manager 07. 11. 2001 Präsentation Humboldt-Universität Berlin 35

My. Co. Re: Einsatzgebiete • Essen, Jena: Verteilte Digitale Audio-/Video-Bibliothek • Freiburg: Sammlung Salvator Rosa, Handschriften Raimundus Lullus, Videosammlung der Bibliothek, Altrömische Münzen • GWDG Göttingen, Bayer. Staatsbibliothek München: Publikations- und Redaktionssystem Geschichte (Frühe Neuzeit) • Jena, Leipzig: Digitalisierung historisches Universitätsarchiv • Jena, Leipzig, Halle: Papyri-Sammlung • Uppsala, Louisiana: Repository mit Material zur Architekturgeschichte, Anbindung an Online-Lernumgebung Projekt-Homepage und erste Quellcode-Ergebnisse unter http: //www. mycore. de/ 07. 11. 2001 Präsentation Humboldt-Universität Berlin 36