Mglichkeiten zur Messung der Qualitt von Datenbanken Marc

Möglichkeiten zur Messung der Qualität von Datenbanken Marc Rittberger Workshop „Informationsqualität bei Weiterbildungsdatenbanken“ Berlin 08. 10. 2007 Rittberger © IZ Bildung/DIPF

Gliederung 1. Qualität von Informationsdienstleistungen 2. Qualität in der Produktion von Literaturnachweisdatenbanken 3. Übertragung auf Weiterbildungsdatenbanken 4. Fazit Rittberger © IZ Bildung/DIPF 1/6/2022

Informationsqualität § Warencharakter von Information: - beliebig reproduzierbar - kann leicht gefälscht, gestohlen, versteckt, transportiert oder unbrauchbar gemacht werden. - Konsum führt zu keinerlei Verbrauchsmerkmalen, - ihre Entstehung ist nicht selten kostenlos. - Aufwand zur Überwachung, den Vertrieb zu kontrollieren und Zugang zu verknappen ist besonders hoch Rittberger © IZ Bildung/DIPF 1/6/2022

Informationsqualität § Informationsqualität bezeichnet das Mass mit dem Informationen relevant im gegebenen Kontext einem Informationsbedarf entsprechen. Rahmenbedingungen für eine hohe Informationsqualität sind der Gehalt der Information, der Zugang zur Information, die Präsentation der Information, die technische und methodische Unterstützung zur Organisation und Strukturierung der Informationen sowie die sozialen Rahmenbedingungen, die bei der Nutzung der Information von Bedeutung sind. Rittberger © IZ Bildung/DIPF 1/6/2022

Messverfahren § Kompetenz (Mitarbeiter, Unternehmen): Untersuchung der Fähigkeiten und Kenntnisse der Mitarbeiter. Diese sind bei der Erstellung von Informationsdienstleistungen häufig besonders hohen Anforderungen ausgesetzt (z. B. Qualitätsaudits, Vier. Augen-Prinzip, Vorschlagswesen, …) § Konstruktiv (Produktionsprozess): Eher produktions- und prozessorientierte Bewertung von Informationsqualität (z. B. Fishbone-Analyse, ISO 900 X Serie ) § Rezeptiv (Endprodukt): Kundenorientierte, meist ereignisgesteuerte Sicht (z. B. Silent-Shopper, Willingness-to. Pay, Story-Telling, Multiattributive Kennzahlensysteme ) Rittberger © IZ Bildung/DIPF 1/6/2022

Gliederung 1. Qualität von Informationsdienstleistungen 2. Qualität in der Produktion von Literaturnachweisdatenbanken 3. Übertragung auf Weiterbildungsdatenbanken 4. Fazit Rittberger © IZ Bildung/DIPF 1/6/2022

Wesentliche Qualitätsanforderungen bei der Produktion von Literaturhinweisdatenbanken § Anwendungsbereich & Abdeckung (scope & coverage): fachlicher Inhalt eines Gebietes sowie geographische Lage, Sprachraum und Zeitraum § Vollständigkeit (comprehensiveness): alle Arten von Dokumenten § Aktualität & Geltungsbereich (currency & timeliness): Zeitspanne zwischen der Veröffentlichung einer und dem Erscheinen der Publikation in einer Datenbasis § Genauigkeit (accuracy): Vermeidung von Fehlern § Konsistenz (consistency): Gleichbleibende und übereinstimmende Bearbeitung aller Informationseinheiten Rittberger © IZ Bildung/DIPF 1/6/2022

Produktion von Literaturnachweisdatenbanken Produktionsprozesse einer Literaturnachweisdatenbank: 1. Selektion der Dokumente 2. Bibliographische Erschließung 3. Inhaltliche Erschließung 4. Integration in das Informationssystem Allgemeine Empfehlungen: § Erstellung von Dokumentationen von Prozessen und Entscheidungen § Verwendung von Werkzeugen, Richtlinien und Standards § Veröffentlichung und Transparenz von Entscheidungsprozessen auf unterschiedlichen Ebene (Intern, im Verbund zum Nutzer bspw. durch Policy) Rittberger © IZ Bildung/DIPF 1/6/2022

Selektion der Dokumente Beschreibung: § Besteht aus Monitoring, Auswahl und Beschaffung der Dokumente § Ist zentral für Ausrichtung und Abdeckung der DB § Benötigt dokumentarisches und fachliches Wissen (Relevanz) Richtlinien, Standards und Werkzeuge: § Klassifikationsschemata, Thesauri, Schlagwörterlisten; Schemata für Kategorien, Dokumenttyplisten, etc. Kriterien: § Überblick auf Verteilung von Datenbankinhalt (Klassifikation), Dokumenttyp (Zeitschriftenartikel, Bericht, Graue Literatur etc. ), Begrenzung der DB (geographisch, zeitlich, sprachlich) durch Auswertung (%) Rittberger © IZ Bildung/DIPF 1/6/2022

Gliederung 1. Qualität von Informationsdienstleistungen 2. Qualität in der Produktion von Literaturnachweisdatenbanken 3. Übertragung auf Weiterbildungsdatenbanken 4. Fazit Rittberger © IZ Bildung/DIPF 1/6/2022

Übertragung auf Weiterbildungsdatenbanken Produktionsprozesse einer Weiterbildungsdatenbank: 1. Selektion der Weiterbildungsveranstaltungen - Wie wird Abdeckung erreicht? Bspw. geographisch, zeitlich, zielgruppen-, berufs- und bildungsstandspezifisch - Wie wird Transparenz über Selektionsprozesse des gesamten Workflows erreicht? 2. Formale Erschließung der Kurse - PAS beinhaltet u. a. Datumsform (ISO 8601), Country (ISO 3166) und Language Code (ISO 639) - Wie werden Termine der Kurse geprüft? Rittberger © IZ Bildung/DIPF 1/6/2022

Übertragung auf Weiterbildungsdatenbanken Produktionsprozesse einer Weiterbildungsdatenbank: 3. Inhaltliche Erschließung der Kurse - Standardisierung durch Richtlinien bei der Beschreibung, der Verschlagwortung und Klassifikation - Ausarbeitung von zielgruppenspezifischen Kriterien und Vereinheitlichung der Kategorien 4. Integration ins Informationssystem - PAS regelt Datenaustausch, Aktualisierungsverfahren, Pflichtfelder etc. Darstellungen basieren auf Überlegungen zur PAS (= Publicly Available Specification) "Weiterbildungsdatenbanken" - DIN PAS 1045 Rittberger © IZ Bildung/DIPF 1/6/2022

Wesentliche Qualitätsanforderungen bei der Produktion von Weiterbildungsdatenbanken § Anwendungsbereich & Abdeckung: fachlicher Inhalt der Weiterbildungsdatenbank sowie geographische Abdeckung, Zeitraum § Vollständigkeit: alle Arten von Weiterbildungsangeboten § Aktualität & Geltungsbereiche: Zeitspanne zwischen der Veröffentlichung der Weiterbildungsmassnahme und ihrem Erscheinen in der Datenbasis § Genauigkeit: Vermeidung von Fehlern bei der Produktion § Konsistenz: Gleichbleibende und übereinstimmende Bearbeitung aller Informationseinheiten Rittberger © IZ Bildung/DIPF 1/6/2022

Gliederung 1. Qualität von Informationsdienstleistungen 2. Qualität in der Produktion von Literaturnachweisdatenbanken 3. Übertragung auf Weiterbildungsdatenbanken 4. Fazit Rittberger © IZ Bildung/DIPF 1/6/2022

Überlegungen zur PAS-Entwicklung Evaluation als Basis reflektierten Gestaltens: § Analyse der Anwendung von inhaltlichen und formalen Kriterien der Erschließung sowie Problemfelder in der Praxis bzw. Barrieren der Durchsetzung (Fishbone-, Workflowanalyse und Interviews sowie bisher Umfragen) § Dokumentation und Festlegung des gesamten Weges der Informationen und der Entscheidungen über dessen Verlaufs vom Ursprungslieferanten bis zum Suchergebnis (u. a. Bildung einer Policy Bsp. FP) Rittberger © IZ Bildung/DIPF 1/6/2022

Überlegungen zur PAS-Entwicklung Ausrichtung auf Nutzer als Basis für Informationstransfer: § Berücksichtigung unterschiedlicher Informationskompetenzen (bei Interfacegestaltung, Kriterienbildung, Informationsdesign, Policy-Entwicklung und Darstellung) § sowie heterogener Bildungsbiografien und Arbeitsverhältnisse (siehe Bildungsbericht 2006) Rittberger © IZ Bildung/DIPF 1/6/2022

Überlegungen zur PAS-Entwicklung Standardisierung als Basis für Austausch: § Vereinheitlichung des Sprachgebrauchs und der Klassifizierung (Wording-Listen, Klassifikationsschemata etc. § Weiterentwicklung von Kriterien (bspw. Zielgruppe) und Neufestlegung von Pflichtfeldern Neue Wege für Standardisierungsprozesse: Öffnung der Partizipation und Diskussion der PAS-Entwicklung (Standardisierung 2. 0) Rittberger © IZ Bildung/DIPF 1/6/2022