SYSTEM MONITORINGU I EWALUACJI USUG SPOECZNYCH REALIZOWANYCH NA

SYSTEM MONITORINGU I EWALUACJI USŁUG SPOŁECZNYCH REALIZOWANYCH NA PODSTAWIE GMINNEJ STRATEGII ROZWIĄZYWANIA PROBLEMÓW SPOŁECZNYCH AGNIESZKA WRÓBLEWSKA KONSULTANT REGIONALNY MINISTERSTWO PRACY I POLITYKI SPOŁECZNEJ

Cel szkolenia zapoznanie z systemem monitorowania usług społecznych sporządzenie raportu monitoringowego dla usług realizowanych z PPWOW przygotowanie materiałów dla zespołu ds. strategii do przeprowadzenia monitoringu usług społecznych realizowanych w gminie w 2009 r. na podstawie GSRPS

Po co nam monitoring? ukazuje przydatność działań w programie/projekcie służy polepszaniu działań, wychwyceniu czego nie zrobiliśmy, czego nie mamy, nie boimy się kontroli zewnętrznych służy promocji programu, możemy mieć dane dla mediów w planu, szybko możemy wychwycić „kłopoty” i zapobiegać kryzysowi uczymy się działać profesjonalnie- metodologicznie, zgodnie z cyklem życia projektu kiedy kolejny raz dostaniemy podobne zadanie, projekt będziemy już mieć „gotowca” mamy rodzaj „ewidencji danych” mamy stałą kontrolę nad tym, co zrobiliśmy, a co jeszcze przed nami

Cykl życia projektu CYKL ŻYCIA PROJEKTU Identyfikacja - co chcemy zrobić (etap analizy) Planowanie - jak to zrobić Realizacja - wykonanie Ocena i zamknięcie czy to co zamierzaliśmy zostało zrobione

Matryca logiczna projektu

PRODUKT (twardy, mierzalny) REZULTAT (zbieżny z celami „wypełnienie treścią celu”) - 300 h konsultacji z doradcą zawodowym Ogólny: zwiększenie mobilności zawodowej wskutek: - wypracowanie 100 IPD ODDZIAŁYWANIE (długoterminowe, po zakończeniu wsparcia) - 30 osób znajduje pracę - 10 osób zakłada własną - poprawy znajomości rynku pracy działalność gospodarczą - 10 – 3 godzinnych warsztatów z APP - podniesienia samoświadomości umiejętności, kwalifikacji i predyspozycji - kurs prawa jazdy dla 25 beneficjentek - wzrost motywacji do poszukiwania pracy - 15 wydanych praw jazdy - zwiększenie mobilności dzięki możliwości korzystania z własnego środka transportu MIERNIKI I SPOSOBY DOKUMENTACJI - ankiety - karty pracy - listy obecności - testy - faktury - opinie psychologów i doradców zawodowych - 25 osób podejmuje kształcenie - oświadczenia - kopie dokumentów

MONITORING Monitoringiem i ewaluacją objęte będą postępy w realizacji GSRPS na dwóch poziomach: Ø poszczególnych zadań i projektów Ø oraz celów operacyjnych i strategicznych Monitoring prowadzony może być jako: monitoring wskaźnikowy – w oparciu o oczekiwane wskaźniki osiągnięć monitoring społeczny – na podstawie wyników badania opinii, w szczególności poprzez konsultacje społeczne

MONITORING-wskaźniki Wskaźniki zasobów – przedstawiają informacje o środkach finansowych, rzeczowych oraz zasobach ludzkich, które są wykorzystywane do wdrożenia projektu, np. liczba dni pracy ekspertów. Wskaźnik wyników - odnoszą się do bezpośrednich konsekwencji działań projektu, oddziałujących na bezpośrednich beneficjentów; mogą mieć charakter fizyczny, np. liczba osób przeszkolonych, lub finansowy zmniejszenie kosztów transportu, wzrost sprzedaży. Wskaźniki oddziaływania - odnoszą się do konsekwencji projektu (za- mierzonych i niezamierzonych, pozytywnych i negatywnych), wykraczających poza efekty bezpośrednie – krótkoterminowe. Można wyróżnić dwa rodzaje oddziaływania: Ø oddziaływanie bezpośrednie – efekty, które pojawiają się po pewnym upływie czasu, ale są bezpośrednio związane z podjętymi działaniami i beneficjentami bezpośrednimi; Ø oddziaływanie pośrednie – wszystkie inne rodzaje efektów – niezamierzone przez daną interwencję lub wynikające z niej działania;

MONITORING - wskaźniki 3 poziomy: ◦ produkt - produkty materialne i usługi dla beneficjentów ◦ rezultat - natychmiastowy efekt działania ◦ wpływ – długoterminowe konsekwencje powinny spełniać zasadę SMART, czyli być ◦ ◦ ◦ KONKRETNE – jasno definiować, co mają weryfikować MIERZALNE – możliwe do zmierzenia, w postaci liczbowej ZGODNE – muszą wynikać z prowadzonych wcześniej analiz REALISTYCZNE – możliwe do osiągnięcia OKREŚLONY W CZASIE – z ustalonym momentem pomiaru

MONITORING Przykładowe pomysły na monitoring duży arkusz papieru wiszący w pokoju u usługodawców (zmieniany co tydzień), na którym każdy uczestnik zapisuje swoje spostrzeżenia, po każdej „imprezie” – spotkanie podsumowujące, wymiana uwag, pomysłów, wniosków, zapis-protokół kronika grupy lub pamiętnik kolejno pisany przez wszystkich uczniów, zdjęcia/filmiki rejestrujące działania, codzienność, etapy projektu porfolio usługodawcy/projektu (teczka, w której gromadzi on wszystkie dokumenty dokumentujące to, co się dzieje w projekcie), krótkie ankiety przeprowadzane wśród uczniów, rodziców i nauczycieli badające ich opinię w ważnych sprawach, wydawane regularnie gazetki/ulotki/programy medialne karty samooceny wypełniane przez odbiorców, dyskusje na tematy projektowe podczas posiedzeń zespołu realizatorów, roboczych i wnioski zapisywane w protokołach

MONITORING - raporty Merytoryczne i finansowe Przygotowane na standardowych formularzach, aby ułatwić porównywanie i analizę trendów Umożliwiające porównanie rzeczywistego stanu realizacji projektu ze stanem planowanym i identyfikujące ewentualne odchylenia Sporządzane regularnie w trakcie projektu oraz po jego zakończeniu

MONITORING – raporty Przedstawiają najważniejsze działania podjęte danym okresie sprawozdawczym Przedstawiają wydatki poniesione w związku z realizacją działań Podają oszacowaną liczbę beneficjentów, którzy byli zaangażowani w działania realizowane w projekcie Podsumowują napotkane i przewidywane problemy i trudności w realizacji projektu

Sukces strategii/planu/projektu - definiowanie Poziom 1 Poziom 2 S U K C E S Poziom 3 Poziom 4 REALIZACJA CELÓW Czy osiągnęto zakładane cele? SKUTECZNOŚĆ Jaki był wpływ na interesariuszy? (pozytywny/negatywny Czy efektywnie wykorzystano zasoby? UŻYTECZNOŚĆ Odpowiedź na faktycznie występujące potrzeby Wykorzystanie powstałych produktów WZMOCNIENIE ORGANIZACJI Czy organizacja wyciągnęła wnioski z realizacji i wykorzysta je w przyszłości?

Schemat raportu 1. Informacje wstępne na temat projektu. 2. Cele usług/działań w ramach projektu do zrealizowania. 3. Metody zastosowane przy zbieraniu danych. 4. Ocena usług jako produktu. 5. Ocena usług jako rezultatu, poziomu zadowolenia beneficjentów. 6. Ocena podsumowująca, rekomendacje na przyszłość, propozycje zmian.

Podsumowanie

EWALUACJA

Monitoring a ewaluacja Monitoring § Oparty na wskaźnikach (głównie wkładu i produktu) § Prowadzony w sposób ciągły w trakcie całego programu § Charakter syntetyczny i selektywny § Pozwala obserwować postępy we wdrażaniu programu § Służy śledzeniu wdrażania programu § Zawiera główne wskaźniki statystyczne opisujące kontekst wdrażania programu Ewaluacja § Odwołuje się do wskaźników monitoringowych § Prowadzona w konkretnych momentach wdrażania programu § Charakter całościowy i analityczny § Pozwala oceniać postępy we wdrażaniu programu § Służy ulepszeniu wdrażania programu § Dostarcza niezbędnych informacji na potrzeby kolejnego okresu programowania

Ewaluacja Co? Jak? Kto? Kiedy? Głównie analiza skuteczności, efektywności, oddziaływania, adekwatności oraz trwałości polityki i działań pomocowych Analiza pogłębiona Zewnętrzni ewaluatorzy wyspecjalizowani w przedmiocie oceny Raz lub dwa razy, ocena na zakończenie lub ex post, ale również w trakcie wdrażania – tzw. ewaluacja w trakcie, która ma ukierunkować wdrażanie

Kluczowe zasady ewaluacji § Ewaluacja każdego programu jest obowiązkowa (każdy priorytet i działanie poddawane jest szczegółowej analizie) § Ewaluacja dokonywana jest w oparciu o współpracę partnerską (współpraca pomiędzy instytucjami zaangażowanymi w dokonywanie oceny) § Ewaluacja musi być zaplanowana § Ewaluacja musi być niezależna (dokonywana przez ewaluatorów zewnętrznych) § Ewaluacja nie jest kontrolą

CELE EWALUACJI § w procesach podejmowania decyzji (decyzje o modyfikacji realizowanych programów, ich kontynuacji i rozwoju, wybór najlepszej alternatywy, testowanie nowych rozwiązań); § do uzyskania dowodów na to, iż program (projekt) wart/nie wart był wsparcia; § przekonać się, czy program był skuteczny, efektywny, odpowiedni, użyteczny, trwały; § po to, żeby lepiej rozumieć przebieg i skutki różnych procesów społecznych, ekonomicznych, technologicznych; § do celów public relation;

Rodzaje ewaluacji Kryterium czasu prowadzenia ewaluacji § ex ante (wstępna), § okresowa (bieżąca, on-going), § końcowa, § ex post (odroczona). Kryterium celu wykorzystania uzyskanych informacji § formatywna, § podsumowująca. Kryterium sposobu prowadzenia ewaluacji § zewnętrzna, § wewnętrzna.

Kto powinien prowadzić ewaluację - wady i zalety różnych rozwiązań Zewnętrzny zespół Wewnętrzny zespół § na ogół ma większą § lepiej zna specyfikę wiedzę ekspercką, programu i zarządzania nim, § przez swoją niezależność § ma lepszy dostęp do zwiększa wiarygodność niektórych informacji i osób, ewaluacji, § trudniej jest zapewnić § daje możliwość doboru niezależność ewaluacji. specjalistów z różnych dziedzin.

Poziomy ewaluacji Nakłady Działania Produkty Rezultaty Oddziaływanie Inputs Activities Outputs Outcomes Impacts §Pieniądze § Szkolenia §Ludzie § Doradztwo §Sprzęt § Usługi §Nieruchomości §Pomieszczenia §Materiały (wpływ, efekty) § Liczba godzin § Podwyższone §Lepiej zarządzane szkoleniowych § Wydane publikacje § Liczba osób objętych usługami kompetencje § Zwiększone możliwości zatrudnienia organizacje §Rozwój lokalnej przedsiębiorczości

Kryteria ewaluacji Kryterium skuteczności - pozwala ocenić, czy i w jakim stopniu zrealizowano zakładane cele. Skuteczność można badać na różnych poziomach. Można oceniać i porównywać skuteczność różnych metod działania. Kryterium efektywności /wydajności – ocenia, czy działania zrealizowano zgodnie z harmonogramem, a wykorzystane zasoby użyto w ekonomicznie uzasadniony sposób. Szczególną uwagę zwraca się na stosunek nakładów do efektów. Kryterium odpowiedniości – na ile założone cele i cała zaplanowana interwencja jest zgodna ze zidentyfikowanymi potrzebami danej grupy docelowej, danego regionu. Szczególna uwaga zwrócona jest na to kryterium w ewaluacji ex ante.

Kryteria ewaluacji Kryterium użyteczności – może dotyczyć użyteczności wewnętrznej (na ile program okazał się użyteczny dla grupy docelowej i beneficjentów), jak i użyteczności zewnętrznej (na ile przyjęte rozwiązania mogą być zastosowane przez innych, w innych regionach, w odniesieniu do innych grup). Kryterium trwałości – bada, na ile efekty działań będą trwałe w średnio- i długoterminowej perspektywie, czy pozytywne skutki będą odczuwalne po zakończeniu programu.

Techniki ewaluacji – mikro, popularne Ilościowe – co, ile, jak często? ? ? - wywiady kwestionariuszowe, telefoniczne, ankieta pocztowa, audytoryjna, analiza dokumentów Jakościowe- dlaczego, jak, w jaki sposób? ? ? - wywiady indywidualne pogłębione, grupowe (focus), obserwacja, case study, analiza dokumentów, panele ekspertów Łączenie - Rozpoznanie, opis, diagnoza

Techniki ewaluacyjne zebrane Faza strukturalizacji: - Analiza SWOT - Matryca logiczna - Metaplan - Mapa oddziaływań Faza obserwacji: - Wywiady - Kwestionariusze - Zogniskowane wywiady grupowe

Techniki ewaluacyjne- zebrane Studia przypadków Obserwacje uczestniczące Dane z systemu monitoringu Faza analizy: Grupy porównawcze System informacji, analiza kosztów i korzyści Modele makroekoniczne, statystyczne Panele ekspertów Analizy wielokryteriowe

Dziękuję za uwagę