Men vkonu a kvality slueb akademickch knihoven pednka

Měření výkonu a kvality služeb akademických knihoven přednáška pro Klub vysokoškolských knihovníků Praha, 3. 11. 2015 Martin Krčál

Obsah přednášky úvod do měření výkonu knihoven používané metoda data metody benchmarkingu z ročních výkazů systémy návrh benchmarkingu české platformy pro akademické knihovny

Měření výkonu knihoven snaha v kdo knihoven obstát v konkurenci je konkurencí knihoven? v rozdíly ve službách zkvalitnění v děláme v jsme a zefektivnění procesů služby dobře? dostatečně efektivní? v nesmíme library zůstat uzavření sdílení zkušeností advocacy v obhájení služeb knihoven (projekt APLS)

výkon knihovna x kvalita služeb Výkon knihovny Kvalita služeb

Metody měření evidence-based v uživatelské standardy ROI výzkumy (design služeb) kvality = return on investments benchmarking … librarianship

Evidence-based librarianship

EBL Evidence-based librarianship (EBL) is a means to improve the profession of librarianship by asking questions as well as finding, critically appraising and incorporating research evidence from library science (and other disciplines) into daily practice. It also involves encouraging librarians to conduct high quality qualitative and quantitative research. Zdroj: Ellen Crumley, Denise Koufogiannakis

Co je tedy EBL? koncept převzatý z medicíny cílem zlepšit knihovnickou profesi, její procesy a služby v neustálé v na hledání nejlepšího řešení základě důkazů důležitá znalost uživatelů a jejich potřeb v výzkumy rychlá zaměřené na uživatele a jsoucí do praxe implementace do praxe průběžná realizace

Cyklus EBL Zdroj: http: //vyzkumy. knihovna. cz

Příklady výzkumných otázek Proč má knihovna malé procento čtenářů mezi obsluhovanou populací? Proč nechodí muži v produktivním věku do knihoven? Je stavění fondu v knihovně pro uživatele pochopitelné?

Kvalita výzkumů teoretická v ze připravenost školy znát různé výzkumné metody zkušenosti s realizací výzkumů potřeba zkoušet něco nového dokázat je implementovat do praxe podpora od všech zaměstnanců mohou knihovníci část pracovní doby věnovat výzkumům?

Druhy výzkumů kvantitativní v Co? Jak? Kolik? v testování v velký teorií a hypotéz výzkumný vzorek, redukce informací v dotazníky, ankety, … kvalitativní v Proč? v menší výzkumný vzorek, vyčerpávající informace v rozhovory, focus group, orální historie, …

Standardy kvality

Knihovní služby v Jaká v Je definovány zákonem je jejich úroveň? ? ? všude stejná? ? ? v Jak to poznat? ? ?

Standardy kvality knihovních služeb definovat minimální úroveň služeb pro daný typ knihovny v délka provozní doby v minimální v počet PC s internetem v množství v počet přírůstek financí na nákup knih studijních míst v… základním kritériem je obsluhovaná populace

Cíle standardů zlepšit dostupnost a kvalitu služeb pro uživatele možnost nástroj srovnání a kontrola kvality služeb pro plánování a rozvoj služeb systematická v zřizovatelé, v financování podpora rozvoje služeb knihovnické orgány, stát, …

Dostupné standardy IFLA v přeloženo do 13 -ti jazyků (i CZ) národní v některé české v MK státy USA, GB (Cilip), ŠPA veřejné knihovny ČR + vyhodnocení standardů v standard vydán i knižně NK ČR Ø Standard vv pro dobrou knihovnu (2012) současnosti i analýzy na úrovni krajů (regionální funkce)

Parametry standardu kvality Kategorie Provoz/týden Přírůstky/rok Nákup/1 obyv. PC s internetem Studijní místa 1– 500 5 - 10 45 - 80 25 - 35 1 -2 4 -5 501 -1000 10 - 15 80 - 150 25 - 35 2 6 -8 1001– 3000 15 - 20 150 - 350 25 - 35 2 -3 9 - 10 3001– 5000 20 - 25 350 - 750 25 - 35 3 -5 10 - 18 5001 -10000 25 - 30 750 - 1500 25 - 35 5 -7 20 - 28 10 001 -20 000 35 - 45 1500 - 4000 25 - 35 7 - 10 28 - 40 20 001– 40 000 45 - 50 4000 - 7500 25 - 35 10 - 15 40 - 75 Nad 40 000 50 a více 7500 a více 25 - 35 15 a více 75 a více Zdroj: Knihovna. Plus

ROI Return on investments

ROI návratnost investic ekonomická metoda cíl v ukázat hodnotu knihoven a jejích služeb pro mateřské instituce (např. univerzity), pro společnost a stát využití v library v pro advocacy rozvoj knihovny

Výpočet ROI Návratnost investice = ((čistý zisk - počáteční investice) / počáteční investice) x 100 [%]

Využití v praxi poukázání na přínos vybraných služeb a oddělení knihovny získání respektu vedení knihovny (např. při vyjednávání o rozpočtu) obhájení rozpočtu prosazování nových služeb zvýšení prestiže knihovny identifikace (ne)efektivních služeb, oddělení (rozšíření, změna, zrušení)

Benchmarking knihoven

Benchmarking „Nepřetržitý a systematický proces porovnávání a měření produktů, procesů a metod vlastní organizace s těmi, kdo byli uznáni jako vhodní pro toto měření, za účelem definovat cíle zlepšování vlastních aktivit. “ (Nenadál)

Benchmarking proces měření vlastních služeb a jejich porovnávání za účelem jejich zlepšení srovnávat metoda vznik v 80. srovnatelné!!! strategického řízení v komerčním prostředí léta, Xerox využívá v roční statistiky výkazy knihoven

Fungování benchmarkingu co děláme, jak to děláme, je to efektivní? ? ? co dělají jiní, jak to dělají, je to efektivnější? ? ? benchmarking = učení se od sebe = učení se od jiných

Cíle BM hledání hledat silných a slabých stránek možnosti zlepšení v zamyšlení v hledání lepší se nad vlastními službami inspirace u jiných pochopení chování a potřeb uživatelů neustálý rozvoj instituce - aplikace změn motivovat zaměstnance ke změnám

Výhody BM neustálý rozvoj instituce podpora spolupráce mezi institucemi úspora času v nezavádět zbytečnosti, neztrácet čas zkoušením věcí, které uživatel nepotřebují, … v nemusíme vymýšlet nové věci, ale inspirovat se identifikace chyb ve statistikách identifikace obecných trendů

Nevýhody BM pouze obecná definice metody specifika institucí v každá instituce je jiná, může mít specifické podmínky v nutné s tím počítat omezení nutnost chyby na podobné instituce přijetí metody zaměstnanci ve statistikách nejednotnost metrik

Nevýhody BM nepokrývá celé spektrum služeb a procesů kvantitativní v dnes metoda kombinace s kvalitativními uživatelskými výzkumy nutnost špatná interpretace výsledků analýz zneužití v kodex pouhá spolupráce výsledků!!!!!!! využití výsledků komparace výsledků

Co není benchmarking? ? ?

Proces benchmarkingu 1. plánování 5. aplikace změn 4. anaýza dat 2. hledání partnerů 3. sběr dat Zdroj: Peter Brophy

Údaje pro analýzu parametry v základní v např. údaje sbírané z knihoven počet uživatelů výkonové/poměrové v vypočítávají v např. indikátory se s parametrů výdaje na nákup literatury na 1 obyvatele

Druhy benchmarkingu interní v uvnitř v např. instituce pobočky, oddělení apod. externí vs jinými institucemi v musí být srovnatelné

Druhy benchmarkingu výkonový v zaměřuje v jaká se na výkon produktů a služeb, orientace na uživatele je návštěvnost, využívání služeb apod. procesní v sleduje v např. jednotlivé procesy v instituci jak funguje půjčování knih funkcionální v orientace v např. na funkce a druhy služeb jaké druhy výpůjček knihovna poskytuje

Benchmarking v ČR ve světě již v 90. letech 2005 – projekt Benchmarking knihoven v NKP + NIPOS v pouze v knihovny základní 248 českých a 49 slovenských knihoven v analytický nástroj: Ø www. benchmarking. cz

Parametry a indikátory v BKČR 1 KF/1000 obyv. 17 Návštěvy/obyv. 2 % obnovy KF 18 Virtual. navšťěvy/obyv. 3 Přírůstek/1000 obyv. 19 % návštěv internet 4 Periodika/1000 obyv. 20 Výpůjčky/čtenář 5 Internet/1000 obyv. 21 Obrat KF 6 Plocha/1000 obyv. 22 Kult. a vzděl. akce/1000 obyv. 7 Stud. míst. /1000 obyv. 23 Inter. služby 8 Úvazky/1000 obyv. 24 Provoz. nákl/1000 obyv. 9 Úvazky/1000 čten. 25 Náklady KF/obyv. 10 Úvazky/1000 návšť. 26 Náklady EIZ/obyv. 11 roční provoz. doba/1000 obyv. % roč. provoz. doby/prac. 12 fond zam. 27 Náklady KF/výpůjčky 13 Provozní doba 14 %výdajů/rozp. města 15 % obsl. popul. 28 %provoz. nákl. 29 % nákladů na KF 30 % osobních nákl. 31 % získaných dotací 32 % vlast. příjmů Zdroj: Vít Richter. Benchmarking: prezentace v MZK, 2014.

Systémy benchmarkingu aktivity v M. v rámci Výzkumného semináře Krčál, J. Fryš, P. Kalíšek, A. Chodounská v výzkum nástrojů benchmarkingu ve světě v rozdělení v článek dle funkcionality do tří skupin na Proinflow

Základní dělení systémy pro sběr ročních statistických výkazů v jen statistiky, pro členy obvykle zdarma, obvykle národní v Academic Library Survey (ALS), Performance Analysis for Polish Research Libraries (PAPRL), ARL Statistics (součást Stats. QUAL), … systémy pro benchmarking kvalitativních dat v klasický benchmarking, národní nebo institucionální v BIX, ROBLE, REBUIN, CAUL Library statistics, ACRL metrics, Sveriges officiella biblioteksstatistik, … systémy pro benchmarking uživatelské spokojenosti v kombinace s výzkumy uživatelské spokojenosti v Lib. QUAL+, Insync Surveys

Bix založen v roce 1999, původně pro veřejné knihovny v SRN dnes 2000+ knihoven (GER, AUT, SWI, SLO, SVK, CZE, …) rozděleno výsledky na veřejné a akademické knihovny veřejné

LIBQUAL+ vznik v roce 1999 komerční systém vyvíjený ARL (USA) zapojeno celkem přes 1200 knihoven z celého světa, zejména akademické v ale 171 v roce 2012 zahrnuto v 22 i uživatelské testování otázek, škála 1 -9 výsledky jen pro účastníky

Insync Surveys novozélandský pro univerzitní knihovny provozují funkčně dnes 38 systém CAUL a CONSUL podobný Lib. QUAL+ zejména NEZ a AUS účastníků data i analýzy jen členům

LAMP - Library Analytics and Metrics Project vzniká v prostředí britských akademických knihoven kombinuje statistiky, průzkumy uživatelů a data jejich chování ze systémů cílem získat komplexní přehled o fungování knihovny a jejím výkonu v současnosti prototyp

Výzkumy v oblasti měření výkonu knihoven

Analýza ročních výkazů českých akademických knihoven od roku 2001

Dvě analýzy KRČÁL, Martin a Martin FASURA. Statistiky nově a plánovaná česká platforma pro benchmarking akademických knihoven. Bibliotheca academica 2014 [online]. Ústí na Labem: UJEP, 15. 10. 2014 [cit. 2014 -01 -03]. Dostupné z: http: //www. akvs. cz/aktivity/ba-2014/ba 2014 -krcal. pptx. Prezentace obsahuje analýzu dat a základní výstupy ze sběru ročních výkazů akademické knihovny z let 2001 -2013. FRYŠ, Jakub. Analýza ročních výkazů českých akademických knihoven od roku 2001. Brno, 2015. 105 s. Dostupné tak z: http: //is. muni. cz/th/415407/ff_b/thesis_fulltext. pdf. Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce Ph. Dr. Martin Krčál.

J. Fryš – Analýza ročních výkazů… vymezení základní terminologie historický vývoj popis procesu měření na vlastním obecném modelu popis metody benchmarkingu analýza sekundárních dat od AKVŠ hodnocení konzistence, úplnosti a chybovosti dat zpracování dat pomocí deskriptivní statistiky prezentace výsledků doporučení a návrhy změn

Výpůjčky 38, 4 mil. výpůjček v letech 2001 -2013 2, 9 mil. výpůjček v průměru za rok 20 477 výpůjček v instituci za rok (medián)

Výpůjčky

Uživatelé 4, 7 mil. registrovaných uživatelů v letech 2001 -2013 364 304 5 217 registrovaných uživatelů za rok registrovaných uživatelů na instituci za rok (průměr)

Fond 12 mil. knihovních jednotek v akademických knihovnách 2012 99 581 v tomto roce mají AK nejvyšší počet k. j. knihovních jednotek na jednu akademickou knihovnu (medián) 1, 1 mil. největší fond měla Univerzita Karlova

Fond 3, 8 mil. knihovních jednotek bylo v letech 2001 -13 zakoupeno do AK 297 546 4 232 průměrný počet přírůstků za rok průměrný přírůstek na jednu knihovnu, středová hodnota je 2614 k. j. (medián)

Počet k. j. celkem a ve volném výběru

Podíl jednotek ve volném výběru k velikosti fondu

Obměna fondu

Počet titulů seriálů

Náklady na akvizici 344 mil. Kč utratily v roce 2013 za akvizici dokumentů AK 2010 3 v tomto roce klesly výdaje na akvizici o více než polovinu mil. Kč utratí průměrně knihovny za akvizici dokumentů, středová hodnota je 1, 5 mil. (medián)

Náklady na nákup/reg. uživatele

Knihovníci 916 knihovníků pracovalo v roce 2013 v akademických knihovnách 2007 13 nejvíce zaměstnanců (979) i úvazků (883) knihovníků pracuje v průměrné knihovně, středová hodnota je pouze 9 knihovníků (medián)

Počet zaměstnanců na 1000 uživ.

Provozní doba 214 45 dnů v roce mají AK otevřeno (medián) hodin v týdnu mají AK otevřeno (průměr i medián)

Budova 9470 853 studijních míst nabízely AK v roce 2013 počítačů je nyní k dispozici v akademických knihovnách

Počet míst/1000 uživatelů

Přínosy práce J. Fryše nový pohled na data ukázka možností benchmarkingu identifikace chyb ve výkazech doporučení pro sběr dat v závěru

Měření a řízení výkonu v knihovnách MU

P. Kalíšek – Měření výkonu na MU KALÍŠEK, Petr. Měření a řízení výkonu v knihovnách MU. Brno, 2015. 182 s. Dostupné také z: http: //is. muni. cz/th/415437/ff_b/BP_kalisek_verejna. pdf. Bakalářská práce. Masarykova univerzita, Filozofická fakulta, Ústav české literatury a knihovnictví, Kabinet informačních studií a knihovnictví. Vedoucí práce Ph. Dr. Martin Krčál. vykazování statistik na MU analýza dat v knihovnách MU polostrukturované rozhovory s řediteli knihoven MU nad daty s ročních výkazů v FF, FSS, PřF, Pra. F, Ped. F, FI, ESF a KUK

Analýza parametrů v ročním výkazu

Pilotní průzkum dotazník v cílem zjistit důležitost údajů v ročním výkazu z pohledu knihovníků a jak se s daty pracuje v distribuci zajišťovala AKVŠ v osloveni členové AKVŠ (24 institucí) v dotazník měli vyplňovat knihovníci, kteří mají v popisu práce vypracovávání statistik v možné přeposlání i na fakulty sběr v termínu: 26. 11. -10. 12. 2014 Survey. Monkey

Návratnost dotazníku 24 institucí v 6 škol neodpovědělo urgence v e-mailem znovu osloveni ředitelé knihoven (+4) návratnost v 22 institucí v 32 respondentů v 9 x fakulty MU, 3 x fakulty VUT

Návratnost dotazníku

Vyhodnocujete data z výkazů? Ano 29 Ne 2 0 5 10 15 20 25 Odpověď Počet Procenta ANO 29 94% NE 2 6% Celkem 31 100% 30 35

Jak s daty pracujete?

Proč data nevyhodnocujete? „Pracovalo se s nimi v rámci knihovny, ne na úrovni školy, pokud je mi známo. “ „Data vyhodnocují kolegové a vedoucí knihovníci na fakultách, já zajišťuji stahování a archivaci uživatelských dat v systému pro analýzu statistik. “

Fondy

Uživatelé

Uživatelé fyzické a virtuální návštěvy sjednotit metodiku sběru registrovaní/aktivní uživatelé

Výpůjčky

Výpůjčky příliš složité na vyplňování mnoho větší parametrů členění „výpůjček“ EIZ

Elektronické informační zdroje

Elektronické informační zdroje příliš podrobné zbytečné údaje v přístupy přes lokální stanici, … financování v různé způsoby financování (něco hradí univerzita a ne knihovna) v více rozlišovat nevykazují se repozitáře a discovery služby v ano/ne statistiky - Counter

Informační vzdělávání

Informační vzdělávání rešerše v klasické nebo i konzultace k rešerším? ? ? v rešerše již nejsou využívaná služba, zanedbatelný počet požadavků počet školení a účastníků v zvlášť exkurze a výstavy (můžou hodně zkreslovat) v nedůležité, často odhady zjišťovat formy infovzdělávání v e-learning, počet workshopy, přednášky, … knihovníků, kteří učí, školení knihovníků

Studovny

Studovny

Studovny

Studovny PC a přístup – příliš detailní sledovat v plocha v počet na uživatele míst pro postižené

Technika a vybavení

Technika a vybavení

Technika a vybavení sledovat v čtečky k půjčování v selfchecky v počet a zařízení na vracení knih tiskáren atd. pro veřejné užití mimo knihovnu

Zaměstnanci Údaj Procenta Odpovědí Počet zaměstnanců knihovny celkem (fyzických osob) 100, 0% 31 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 80, 65% 25 Počet zaměstnanců knihovny (fyzických osob) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 83, 87% 26 Počet zaměstnanců knihovny celkem (přepočtený počet) 77, 42% 24 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého vzdělání (VŠ/VOŠ/SŠ) 61, 29% 19 Počet zaměstnanců knihovny (přepočtený počet) dle dosaženého knihovnického vzdělání (VŠ/VOŠ/SŠ) 61, 29% 19

Zaměstnanci DPP, DPČ a nekmenové osoby – jak je započítávat dělit dle oddělení? ? ?

Finance Údaj Náklady na akvizici Procenta Odpovědí 100, 0% 31 celkové náklady na provoz knihovny náklady na zaměstnance náklady dle oddělení

Závěry pilotního průzkumu Je nutné prodiskutovat potřebné údaje v jednotlivých částech dotazníku Nutno vytvořit podrobnou metodiku k jednotlivým indikátorům Stálice – výpůjčky, registrace, přírůstky, velikost fondu, vzdělávání, náklady na akvizici Zvážit zastaralé údaje (technika, sítě) Zjednodušit formulář, je nutné jej mít tak složitý? Více se zaměřit na financování a EIZ Důležité informační vzdělávání

Statistiky, jak je znáte, statistiky, jak je neznáte

Seminář VUT prezentace pilotního průzkumu workshop metoda focus group 3 skupiny po 5 -6 lidech v M. Fasura, Z. Dohnálková, M. Krčál diskuze nad parametry z výzkumu v co je důležité v jak složitě se získávají hledání optimální podoby výkazů

Výstupy dokument podklady z XLSX pro 2. kolo připomínkování části potvrzení výsledků z pilotního průzkumu v ale některé původně nejasné byly v diskuzi obhájeny

Fondy „stálice“ – pro knihovny důležité nerozhodnuto v seriálové publikace – exempláře, dle forem přidat v náklady v účast financování dle zdrojů v projektech (do zaměstnanců? ? ? ) možná přidat v financování v počet – náklady na provoz knihovny, akvizice knihovníků ve zpracování (ale úvazky, počet? ? ? )

Uživatelé nerozhodnuto v návštěvy v uživatel dle druhu v dílčí a centrální DB přidat v virtuální v počet návštěvy akademiků

Výpůjčky nerozhodnuto v první výpůjčky, prodloužení, MVS a MMVS zrušit v MVS a MMVS dle druhu (výpůjčka, kopie, el. kopie) možná v počet přidat prezenčních výpůjček (ale jak to zjišťovat? ? ? )

Elektronické informační zdroje zachovat jen počet EIZ nerozhodnuto v EIZ vytvářených knihovnou (lepší definice), možná přidat v statistiky v stažení přístupů FT (jak to jednoduše zjišťovat? ? ? , Counter? ? ? )

Informační vzdělávání nerozhodnuto v počet rešerší přidat v formy infovzdělávání v pracovníci v počet možná v počet ve vzdělávání školících akcí pro knihovníky přidat prezenčních výpůjček (ale jak to zjišťovat? ? ? )

Studovny snaha o zrušení většiny parametrů zachovat jen v počet ÚK, dílčích knihoven, provozní doba ÚK, dílčích knihoven, počet k. j. ve volném výběru, počet PC celkem nerozhodnuto v počet míst, dostupnost hlavních služeb (co to je? ? ? ) ÚK i dílčích, počet k. j. ve volném výběru v dílčích knihovnách, počet míst celkem a na pobočkách přidat v plocha knihovny, Wi-Fi (ano/ne), bezbariérový přístup (ano/ne)

Technika a vybavení knihovny zachovat v počet tiskáren nerozhodnuto v skenery, kopírky, multifunkce, dělení žařízení dle pobočkových a ÚK přidat v discovery služby (ano/ne), institucionální repozitář (ano/ne), selfchecky a biblioboxy možná v čtečky přidat k půjčování, název knihovního systému

Zaměstnanci zachovat všechny stávající přidat v stáže zaměstnanců v zahraničí možná přidat v náklady na zaměstnance i dle činností, počet zaměstnanců dle činností, počet hodin vzdělávání knihovníků, stáže, publikační činnost zaměstnanců, vystoupení na konferencích v ČR i zahraničí

Další navrhované paramery financování průzkumy rozpočet v poměry dle zdrojů spokojenosti (ano/ne) univerzity, fakulty, knihovny knihovna/instituce

Prozatimní závěry prozatím v ale nebyly řešeny indikátory nutno k nim sbírat parametry často protichůdné názory nedomýšlí nutno se složitost sběru porovnat se zahraničními systémy

Plán delfská metoda s odborníky (cca. 6) zaměřit se i na sběr údajů provést podrobnou analýzu systémů zohlednit ve finálním návrhu navrhnout formulář pro sběr dat

Budoucnost sběru ročních výkazů

Roční výkazy V 21 -01 Roční výkaz o vysokoškolské knihovně data od roku 2000 -2014 výraznější problém úpravy v roce 2010 s metodikou v nejasnosti vyplňování v upřesňování v málo podrobná

Sběr ročních výkazů 2001 -2013 – MŠMT 2014 – AKVŠ, využit SW a formuláře MŠMT 2015 – AKVŠ, formulář stejný, SW pro sběr? ? ?

Vývoj SW pro AKVŠ výzkumy analýza nad parametry a indikátory systmů návrh formuláře pro sběr dat návrh analytického nástroje v co vše porovnávat metodika etický vyplňování kodex práce s daty realizace? ? ? – kdo to údělá, financování

Diskuze?

Děkuji za pozornost Martin Krčál KISK, Filozofická fakulta, Masarykova univerzota e-mail: krcal@phil. muni. cz