Qualittskriterien zur Beurteilung von Dokumentationen vgl Kapitel 23

Qualitätskriterien zur Beurteilung von Dokumentationen vgl. Kapitel 23 Relevanz- und Vollständigkeitsrate. In: Wilhelm Gaus: Dokumentations- und Ordnungs -lehre. Berlin u. a. : Springer, 1995 Spree

Qualität und Zweck einer Dokumentation Zur Erinnerung: Zweck einer Dokumentation ist nicht das Speichern, sondern das Wiederfinden der Dokumente. Die Qualität einer Dokumentation ist also daran zu messen, inwieweit alle für den Benutzer relevanten Dokumentationseinheiten von der Dokumentationsstelle wieder gefunden werden. Spree

Qualitätskriterien: wägen Sie ab • • leichter Zugang Integration Konsistenz der Erschließung Aktualität Richtigkeit Relevanz (precision) Vollständigkeit / Abdeckung des Themengebiets (recall) Spree

Qualitätsmaßstäbe • Qualitative (subjektive) Kriterien • Quantitative Kriterien die Angemessenheit: beschreibt, inwieweit die Antwort dem Informationsbedarf entspricht (angemessen ist) die Neuigkeit: Anzahl gefundener Dokumente, die der Nutzer noch nicht kennt die Nützlichkeit: Information, die nicht im Kontext liegt, aber für eine andere Fragestellung nützlich ist, ist nicht relevant aber nützlich. die Relevanz (Precision): Bezeichnet den Grad der Übereinstimmung der inhaltlichen Aussage eines Dokumentes und der Suchfrage die Vollständigkeit (Recall): wurden alle relevanten Dokumente gefunden? Spree

Qualität der Suche: Recall und Precision D A C B A: gesuchte (= relevante) Dokumente Recall: C/A B: gefundene Dokumente Precision: C/B C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Spree

Recall / Precision ein Beispiel • Im OPAC HAW wurde gesucht nach Literatur zum Thema „Fisch“ im Feld (Titel Nachnamen Themen) – 39 Treffer (= B gefundene Dokumente) – 17 als relevant identifiziert (= C gesuchte und gefundene Dokumente) – Precision: 17/39 = 0, 435 • Verfeinerung der Suche durch „Fisch“ im Feld „Titel Nachnamen Themen“ und „Fische“ im Feld (Schlagwörter) – 5 Treffer (=B gefundene Dokumente) – 5 relevant (= C gesuchte und gefundene) – Precision: 5/5 = 1 • Wie errechne ich Recall? Spree

Recall • Errechnung von Recall ist nur möglich, wenn die Anzahl der relevanten Dokumente bekannt ist • In unserem Beispiel können die 17 relevanten Dokumente aus der ersten Recherche als A (= gesuchte und relevante Dokumente) gelten • C sind die 5 gefundenen Dokumente – C/A = 5/17=0, 58 Spree

Bedeutung in der Praxis • Relevanzrate: – Personen, die in kurzer Zeit relevante Infos brauchen – Z. B. Studenten, die Prüfung vorbereiten – Manager, der Vortrag vorbereitet – Journalistin, die Beitrag vorbereitet • Vollzähligkeitsrate – hochspezialisierte Fachwissenschaftlerin, die möglichst viele der einschlägigen Dokumente kennen muß – Journalistin, die wissen möchte, was zu einem Thema bereits geschrieben wurde – Patentrecherche Spree

Zusammenhang zw. Recall und Precision Optimales Ergebnis Recall Precision Recall hoch Precision niedrig Recall gering Precision hoch Spree

Ballastrate und Verlustquote Ballast/ Noise Verlustrate D A C A: gesuchte (= relevante) Dokumente B: gefundene Dokumente C: gesuchte und gefundene Dokumente D: Gesamtbestand der Datenbank Spree B Ballastrate: 1 – C/B Verlustrate: 1 - C/A

Gründe, warum die Qualität einer Dokumentation nur suboptimal ist • Indexat: – kein geeigneter Deskriptor vorhanden, weil • Ordnungsprinzip ungeeignet • Ordnungssystem zu grob • zu breite Äquivalenzklassen – ungeeignete Deskriptoren ausgewählt, weil • mangelnde terminologische Kontrolle • Indexierer kennt Ordnungssystem nicht • Indexierer hat mangelnde Sachkenntnis • Recherche: – hier können dieselben Fehler wie beim Indexat auftreten Spree

Vollzähligkeitsrate Prüfverfahren • Alle gespeicherten Dokumente auf Relevanz für die Suchfrage prüfen (nur bei extrem kleinen Dokumentationen zu prüfen / experimentell, da ja dann bereits bekannt) • Stichprobenverfahren (nur bei thematisch eng begrenzten Dokumentationen möglich, da die Stichprobe sonst nicht repräsentativ sein kann) • eingeschleuste Dokumentationseinheiten – Für Testfragen relevante Dokumente werden heimlich eingeschleust • prospektive Dokumentation – Relevanz der Dokumente für eine ausgwählte Frage wird über längeren Zeitraum extern geprüft - anschließende wird Recherchetest durchgeführt • e) externe Quellen Spree