Gwne wyzwania dla ewaluacji w perspektywie 2014 2020

Główne wyzwania dla ewaluacji w perspektywie 2014 -2020 Województwo Małopolskie Toruń, 21 – 22 czerwca 2016 r.

Edukacja Wiedza Aktualność Ludzie Ufność Analiza Cel Jakość Ankieta

Małopolska Jednostka Ewaluacyjna • powstała 1 stycznia 2015 roku • mieści się w Departamencie Zarządzania Programami Operacyjnymi Urzędu Marszałkowskiego Województwa Małopolskiego, w Zespole ds. Monitoringu, Sprawozdawczości i Ewaluacji • liczy 3 osoby, posiadające doświadczenie w prowadzeniu ewaluacji w pespektywie 2007 -2013 oraz wiedzę zdobytą na licznych szkoleniach, warsztatach i studiach podyplomowych z zakresu ewaluacji • jest odpowiedzialna za ewaluację RPO WM 2014 -2020

1. Wyzwanie: stosowanie metod kontrfaktycznych w badaniach Problem: niewielka wiedza nt. metod kontrfaktycznych zamawiających oraz małe doświadczenie wykonawców w realizacji badań z ich wykorzystaniem • trudności w przygotowaniu i realizacji badań, w szczególności w napisaniu OPZ • kiedy i w jakich badaniach stosować metody kontrfaktyczne? • zdiagnozowanie grup kontrolnych • skąd pozyskać dane? – niekompletne systemy gromadzenia danych (SL, e-RPO), nieaktualność danych („opóźnienia” w publikowaniu danych przez GUS), ograniczony dostęp do danych (ZUS) • jak wybrać dobrą ofertę? – niewielka wiedza przeszkodą w wyborze dobrej oferty?

1. Wyzwanie: stosowanie metod kontrfaktycznych w badaniach Środki zaradcze: • warsztaty/szkolenia „szyte na miarę” • „przerzucenie” przygotowania szczegółowych założeń badawczych na wykonawców – dialog techniczny, dialog konkurencyjny • Plan Ewaluacji pozwala odpowiednio wcześniej zabezpieczyć dane • korzystanie z doświadczeń takich instytucji jak PARP czy Ministerstwo Rozwoju • wiedza ze świata nauki – wykorzystanie potencjału ośrodków naukowych, letnie szkoły metod kontrfaktycznych

2. Wyzwanie: lepsza jakość badań Problem: niska jakość badań • powstaje coraz więcej firm, które mają niewielkie doświadczenie w realizacji badań ewaluacyjnych • niezrozumienie potrzeb zamawiającego - wykonawcy ewaluacji często nie znają specyfiki funkcjonowania danej instytucji, projektu, czy programu • minimum z minimum – ubogość ofert przetargowych • prowadzenie Wykonawcy za rękę • niska jakość raportów: • duże zaangażowanie czasowe i kadrowe zamawiającego do poprawy raportów • niska jakość raportów zniechęca do korzystania z zawartych w nich wyników

2. Wyzwanie: lepsza jakość badań Środki zaradcze: • poprawa współpracy z wykonawcą poprzez częste spotkania i kontakty w trakcie realizacji badania • raportowanie z przebiegu prac, np. w formie cotygodniowych, codwutygodniowych sprawozdań • lepsza jakość badań – większy nacisk Zamawiającego na wysoką jakość raportów końcowych • wyższe kary za niewłaściwą realizację zapisów umowy i ich egzekwowanie

3. Wyzwanie: Opis Przedmiotu Zamówienia Problem: zbyt szczegółowe OPZ, tendencja do zawierania w OPZ „sztampowych”, najbardziej popularnych metod i technik badawczych • brak zaufania do wykonawcy • inwencja wykonawców ograniczona do minimum, niechętnie wychodzą z propozycjami innych metod, technik badawczych niż te zawarte w OPZ • „nieprofesjonalne” firmy, niemające wiele do zaoferowania • ubogie oferty • niewielka specjalistyczna wiedza zamawiającego w zakresie niestandardowych technik badawczych • ograniczenia w stosowaniu niestandardowych technik badawczych może prowadzić do obniżenia jakości wyników

3. Wyzwanie: Opis Przedmiotu Zamówienia Środki zaradcze: • dajmy szansę wykonawcy na zaproponowanie czegoś nowego = mniej szczegółowe OPZ • nie bójmy się wykorzystywać mniej znanych technik badawczych • budujmy zaufanie po obu stronach – na tym powinno zależeć zamawiającym i wykonawcom

Problem: niechęć do ewaluacji, „bo to kolejny rodzaj kontroli” • ewaluacja = kontrola • realizacja ewaluacji poprzez pryzmat obowiązku narzuconego przez UE /”zło konieczne”/ • traktowanie ewaluacji jedynie jako krytyka podejmowanych działań, wytykanie błędów systemu zarządzania i wdrażania • opór wobec wdrażania rekomendacji

5. Wyzwanie: ewaluacja zewnętrzna vs. ewaluacja mieszana/wewnętrzna Problem: brak możliwości realizowania ewaluacji mieszanych/ wewnętrznych • opieranie się na ewaluacjach zlecanych na zewnątrz często o niewystarczającej jakości • braki kadrowe vs. duża ilość planowanych badań ewaluacyjnych • brak podstawowych narzędzi, np. oprogramowania do obróbki danych

5. Wyzwanie: ewaluacja zewnętrzna vs. ewaluacja mieszana/wewnętrzna Środki zaradcze: • wzrost zatrudnienia osób posiadających wiedzę z zakresu prowadzenia analiz, badań terenowych, etc. • właściwe wyposażenie stanowiska pracy • specjalistyczne szkolenia z zakresu realizacji badań, staże u wykonawców

6. Wyzwanie: przetargi powyżej progów unijnych Problem (? ): stosowanie przetargów unijnych • łączenie badań ewaluacyjnych w planach zamówień publicznych tworzonych dla projektu Pomocy Technicznej • ryzyko wejścia w przetargi powyżej progów unijnych = znaczne wydłużenie procedur przetargowych = zagrożenie dla terminowej realizacji badań • czy audyt i kontrola rozumieją się z ewaluacją?

6. Wyzwanie: przetargi powyżej progów unijnych Środki zaradcze: • stosowanie racjonalnego podejścia do łączenia badań ewaluacyjnych w planach zamówień publicznych • traktowanie badań ewaluacyjnych jako odrębnych bytów – każde jest specyficzne • uświadamianie o wyjątkowości ewaluacji poprzez spotkania z decydentami, osobami odpowiedzialnymi za tworzenie projektu PT oraz za realizację zamówień publicznych

Dziękujemy za uwagę Barbara Porębska-Maciołek Agnieszka Zawrzykraj