EVALUACE PROGRAMU Jan inera 2010 Obsah vodn pojmy

EVALUACE PROGRAMU Jan Činčera, 2010

Obsah Úvodní pojmy, příklady, smysl evaluace… Cyklus evaluace Tipy Eval uačn í zprá va. Sběr a analý za dat Infor mac eo progr amu Eval uačn í otáz ky Plán evalu ace

Příklad 1 Zelená škola Realizátor zvolil nevhodný způsob bodování škol zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. Těžiště aktivity se z dětí přesunulo na učitele. Učitelé naplňovali program aktivitami podle svého uvážení. Program neměl měřitelný vliv na žáky. Realizátor přehodnotil systém bodování škol.

Příklad 2 GLOBE Učitelé realizují pouze některé z doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity. Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí. Realizátor připravuje nové metodiky na zaškolení učitelů.

Příklad 3 Kurz pro koordinátory EV Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika. Menšina nespokojená – střety s vlastní představou o EV x organizátoři Absolventi přesto nezvládají připravit program. Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

Evaluace = proces kritického prověřování programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

Proč evaluace? Zkvalitnění programu Úspory v organizaci Prezentace Komunikace se sponzory

Kdy má evaluace smysl Je reálná šance, že program funguje Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím programu, má o evaluaci zájem Programy, které neprošly sumativní evaluací, pravděpodobně nefungují podle očekávání realizátorů.

Obecné zásady Neexistuje ideální evaluační design Pragmatický přístup k evaluaci Participace evaluátor – středisko empatická neutralita evaluátora Opatrnost v interpretacích a doporučeních Žádná evaluace neříká přesnou výpověď, pravděpodobnostní charakter

Evaluační roviny Spokojenost Učení Chování Dopady

Teorie programu Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu) Logický model programu Program = souhrn aktivit, které naplňují společné cíle.

Zaškolení týmu Příprava manuálu Prezentace CS Kooperativ ní aktivity Proakční přesvědčení Akční znalosti Kooperativní dovednosti Přesvědčení o zvládnutelnosti spolupráce Zajištění klientely Diskuse o místních problémech Vyřešený místní problém Spolupráce na řešení místního problému

Typy evaluace Expertní hodnocení Analýza potřeb Analýza náklady výstupy Akční výzkum Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Monitoring Formativní evaluace Sumativní evaluace Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

Evaluační proces Informace o programu Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Expertní hodnocení Evaluační otázky Sběr a analýza dat Paradigma programu Evaluační zpráva Plán evaluace Výstupově x procesně orientovaný Metodická východiska… Logický model programu Tématický rámec programu Organizační model (sekvence) programu Předchozí evaluace a zkušenosti s programem Vstupy Aktivity Krátkodobé dopady (spokojenost, učení) Střednědobé dopady (transfer do chování) Dlouhodobé dopady (vliv na komunitu)

Informace o programu Evaluační otázky Evaluační zpráva Co chceme zjistit? Jaké roviny logického modelu chceme zkoumat? Jaké jsou základní indikátory pro evaluační otázky? Sběr a analýza dat Evaluační otázky Plán evaluace

Příklady evaluačních otázek Informace o programu Evaluační zpráva Do jaké míry program rozvíjí znalosti dětí o globálních problémech? Chovají se absolventi programu k životnímu prostředí jinak než děti, které ho neabsolvovaly? Co si děti v průběhu programu uvědomily nového? Měl program vliv na další život dětí? Které konkrétní aktivity děti nejvíce ovlivnily? Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Plán (design) evaluace Kvantitativní Evaluační zpráva Sběr a analýza dat Do jaké míry bylo dosaženo očekávaných výstupů programu? Čísla: četnosti, průměry, čísla, statistická významnost Kvalitativní Proč účastníci reagovali při programu tak, jak reagovali? Jak účastníci interpretují to, co se dozvěděli? Slova, obrazy, situace: textová analýza Smíšený Evaluační otázky Plán evaluace

Informace o programu Kvantitativní metodika Předpoklady Program lze objektivně měřit Výstupy lze kvantifikovat Plán evaluace Monitoring výstupů Experimenty a kvaziexperimenty Korelační analýza Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Kvantitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Výběr vzorku Evaluační zpráva Sběr a analýza dat Census – všichni účastníci Náhodný – randomizované experimenty Jiný (dostupnost, samovýběr)- kvazi experimenty Evaluační otázky Plán evaluace

Informace o programu Monitoring výstupů Evaluační zpráva Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. CO? Jak mnoho – hladina úspěšnosti? Př. : 70% žáků na myšlenkové mapě uvede správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich. Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů Sběr a analýza dat Evaluační otázky Plán evaluace

Informa ce o program u Plán vyhodnocování indikátorů Evaluač ní zpráva Sběr a analýza dat Evaluač ní otázky Plán evaluac e Výstup Indikátory • Ve spolupráci s kolegy zpracuje SWOT analýzu EVVO své školy podle předem daných kritérií. Sběr dat • Ze zpracované SWOT analýzy získají nejméně 2/3 účastníků více než 50% bodů. • Úkol: zpracovat SWOT analýzu • Hodnotící tabulka: seznam kritérií

Informace o programu Experimenty Evaluační zpráva Sběr a analýza dat Pretest Kontrolní skupina Plán evaluace Program Posttest 1 Posttest 2 - Posttest 1 Posttest 2 Experimentální skupina Pretest Evaluační otázky

Informace o programu Korelační analýza Vztah dvou či více proměnných Pozitivní či negativní korelace Důvody Chybí kontrolní skupina Méně fixní program ve více variantách Sledujeme vliv jedné proměnné Sledujeme vliv kombinace proměnných Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Metody sběru dat Ankety Dotazníky Testy Pozorování (observační tabulka) Evaluační zpráva Validita Reliabilita Anonymita Přesné a jednotné zadání Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Analýza dat Monitoring Deskriptivní Evaluační zpráva Sběr a analýza dat Experimenty významnost rozdílů mezi skupinami Velikost účinku (size effect) Korelační analýzy Síla Plán evaluace statistika – porovnání indikátory: data Statistická Evaluační otázky korelace

Informace o programu Kvalitativní metodika Předpoklady Program Evaluační zpráva Sběr a analýza dat interpretuje každý jinak – neexistuje "objektivní" realita programu Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost Evaluační otázky Plán evaluace

Informace o programu Kvalitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Výběr vzorku NENÍ náhodný, ale záměrný Např. Evaluační zpráva Sběr a analýza dat kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti. . . Evaluační otázky Plán evaluace

Informace o programu Plán sběru dat Evaluační zpráva Evaluační otázky NENÍ lineární, ale cyklický Není předem daný rozsah Data se sbírají, dokud nejsou nasyceny sledované kategorie Typy Sběr Analýza Zakotvená teorie dat Etnografický průzkum… Smíšený plán QUAL+quan… Sběr a analýza dat Plán evaluace

Informace o programu Metody sběru dat Rozhovory Ohniskové skupiny Pozorování, nahrávky Analýza textů, posterů, artefaktů, deníků, portfólií. . Evaluační zpráva Sběr a analýza dat Důvěryhodnost Triangulace Evaluační otázky Plán evaluace

Informace o programu Analýza dat Evaluační zpráva Kódování Vytváření obecných kategorií a subkategorií (témat) Analýza vztahů mezi kategoriemi, modely …Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně Sběr a analýza dat Evaluační otázky Plán evaluace

Informace o programu Evaluační zpráva 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Cíle evaluace Popis programu Evaluační otázky Indikátory, design evaluace Charakteristika vzorku Metody sběru dat Prezentace výsledků Interpretace, diskuse Doporučení Závěry Evaluační zpráva Sběr a analýza dat Evaluační otázky Plán evaluace

Jak začít Kritická analýza vlastního programu Samostatně x externí evaluátor Formativní evaluace, akční výzkum Finanční zdroje Čas Odhodlání

Jak evaluovat různé výstupy Typ výstupů Metoda sběru dat Specifické nástroje a postupy Znalosti Testy Dovednosti • Manuální • Kognitivní Testy Pozorování Analýza dokumentů Hodnotící tabulka, Indikátory Zcitlivující koncepty Postoje a hodnoty Dotazníky Pozorování Dokumenty, portfolia… Rozhovory Obrázky, imaginární cesty. . Standardizované nástroje Stejně jako dovednosti či chování Chování Dotazníky Rozhovory Pozorování Posttest 2 – delší časový odstup

Jak evaluovat afektivní proměnné Senzitivita Ohnisko kontroly Obecné Specifické (sebehodnocení) Obecné postoje Specifické postoje Hodnoty Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému) Standardizované nástroje Kvalitativně

Dotazy… Jan Činčera, jan. cincera@tul. cz