Proces ewaluacji i efekty polityki spjnoci z perspektywy

Proces ewaluacji i efekty polityki spójności z perspektywy Komisji Europejskiej i Polski – Stanisław Bienias, Fundacja IDEA Rozwoju Tomasz Kot, Naczelnik Krajowej Jednostki Ewaluacji w Ministerstwie Rozwoju

Post scriptum do prezentacji Przyszłość i rola ewaluacji w nowym okresie programowania na konferencji „toruńskiej” w 2013 r. Ziściły się wszystkie przewidywania dotyczące zwiększenia roli ewaluacji w regulacjach unijnych, a system PL je zinternalizował, ale. . nie zostały zwiększone zasoby kadrowe – pomimo większych wyzwań liczba pracowników administracji rządowej i regionalnej zaangażowanych w proces ewaluacji systematycznie się zmniejsza

tu jesteśmy 06. 2016 Dyskusja nad tym co chcemy zmienić w ewaluacji Przygotowanie Systemu Wdrażania Rekomendacji Plany ewaluacji PO Plan ewaluacji UP 1233 Założenie Torunia Ex post 2007 -13 Koncepcja nowych rozporządzeń Negocjacje rozporządzeń Monitorowanie wdrażania rekomendacji Plany ewaluacji nowych PO Plan ewaluacji 2020+ Koordynacja i aktualizacje planów PO Koordynacja i aktualizacje planu UP On-going 2007 -13 Ex ante 2020+ Możliwa redefinicja polityki spójności Ex post 2014 -20

Na jakim etapie jesteśmy – perspektywa KE Zakończenie oceny planów ewaluacji VII Europejska Konferencja Ewaluacyjna w Bułgarii PRIORYTET Ewaluacja ex post perspektywy 20072013 (bo jesteśmy mocno opóźnieni)!

Plany ewaluacji Programów Operacyjnych oraz Umowy Partnerstwa – wstępna analiza

Plany ewaluacji – perspektywa KE Przegląd planów ewaluacji objął plany dla EFRR, EFS i FS; łącznie 217 PO (do końca maja 2016) Liczba ewaluacji zaplanowanych średnio na jeden PO – 11 (3 w okresie 2007 -2013) W tym średnio 5 ewaluacji wpływu na PO (mniej niż 1 w okresie 2007 -2013) + 2 mieszane (wpływu i procesowe/proceduralne) Nierówny rozkład planowanych ewaluacji w PCZ – liderzy – Estonia, Litwa i Polska Wyniki oceny planów – łącznie 217 przeszło proces oceny (do maja 2016) – najsłabsze oceny w obszarze – dostępność danych oraz metody i koncepcja badań

BADANIA EWALUACYJNE W RAMACH PO W LATACH 2014 -2020 ~ 600 badań realizowanych w ramach 870 etapów > 140 mln PLN na realizację badań 21% to ewaluacje mieszane 24% to ewaluacje procesowe 58% on-going* = średnio 200 tys. PLN / badanie 55% to ewaluacje wpływu 34% ex-post 5% ex-ante *pozostałe badania mają charakter mieszany

BADANIA WG OBSZARÓW TEMATYCZNYCH W RAMACH EWALUACJI PO

BADANIA WG FUNDUSZY I PI EFRR/EFS 32% FS 1% EFRR/FS 5% Inne 4% EFRR 34% EFS 24% 180 9 i 174 10 i 166 172 10 iii 3 a 175 3 c 178 1 b

METODOLOGIA BADAŃ ü Analiza danych zastanych pojawia się w 94% badań ü Prawie w 50% badań zostaną wykorzystane wywiady ü Ankiety zostaną użyte w ~35% badań ü W 25% badań będziemy się inspirować studiami przypadku ü Po ~20% badań i grupy fokusowe wykorzysta warsztaty, panele eksperckie ü Metody kontrfaktyczne zostaną użyte w ok. 15% badań ü Dominuje podejście jakościowe - tam, gdzie konkretnych metod i technik nie wskazano

HARMONOGRAM EWALUACJI W RAMACH PO Liczba badań w podziale na lata (w szt. ) 140 132 117 120 107 100 92 90 82 80 60 49 40 27 20 13 4 0 2015 2016 2017 2018 2019 2020 2021 2022 2023 2024

ZASOBY KADROWE JE W LATACH 2014 -2020 Średnia liczba badań na jednego pracownika JE 0. 7. . . 1. 0 2. 0 Docelowo 159 etatów 3. 7 VS. . 2. 9 . . . 7. 5 196 w 2013 8. 0 9. 7 10. 3 12. 5 . . . 4. 2 . . . 4. 7 . . 5. 2 . . . 5. 3 . . . 5. 6 7. 0 . . . 5. 0 6. 7 . . . 4. 7 4. 9 188 w 2014 . . . 2. 9 3. 0 3. 5 . . . .

BADANIA EWALUACYJNE NA POZIOMIE UP PODSUMOWANIE ~ 58 badań ewaluacyjnych (69 osobnych procesów badawczych) > 16, 86 mln PLN na realizację badań 6, 78% to ewaluacje mieszane 10, 17% to ewaluacje procesowe 16, 95% on-going* = średnio 244 tys. PLN / badanie 81, 6% to ewaluacje wpływu 71, 19% ex-post 3, 39% ex-ante *pozostałe (6, 78%) badania mają charakter mieszany

HARMONOGRAM EWALUACJI W RAMACH UP Liczba badań w podziale na lata (w szt. ) 14 12 10 8 6 4 2 0 2016 2017 2018 2019 2020 2021 2022 2023

HARMONOGRAM EWALUACJI EWALUACJE UP vs PO Liczba badań w podziale na lata (w szt. ) 140 120 100 80 EWALUACJE UP EWALUACJE PO 60 40 2016 2017 2018 2019 2020 2021 2022 2023

BADANIA WG OBSZARÓW TEMATYCZNYCH UMOWA PARTNERSTWA PRZEDSIĘBIORCZOŚĆ 11. 02% ROZWÓJ REGIONALNY I LOKALNY 9. 24% SYSTEM REALIZACJI 7. 56% WŁĄCZENIE SPOŁECZNE 7. 56% ZDROWIE 6. 72% EDUKACJA 6. 72% TRANSPORT 6. 72% ŚRODOWISKO 5. 88% KULTURA 5. 88% RYNEK PRACY 5. 04% TURYSTYKA 2. 25% SPOŁECZEŃSTWO INDORMACYJNE 2. 52% B+R 1. 68% ENERGETYKA 0. 84% TIK 0. 84% POLITYKI HORYZONTALNE 0. 84% METODOLOGIA BADAŃ 0. 84% INFORMACJA I PROMOCJA 0. 00% Kategoria „inne” – 15, 13%

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFRR+FS badanie ex post objęło 75% wszystkich wydatków; koncentrowało się na głównych obszarach wsparcia tj. przedsiębiorczość, transport, środowisko, B+R Wyzwania dla badania: 2014/2015 – za wcześnie – PO nie zakończone Zbyt późno na uwzględnienie wniosków w nowej perspektywie, Wielość celów - trudność w ocenie Trudno wyróżnić efekty netto interwencji

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFRR+FS – wyniki badania: Wydatkowano 269, 9 mld euro (88% w regionach konwergencji) W EU 12 – 70% środków na infrastrukturę, 23% przedsiębiorstwa i innowacje, 7% inne W EU 15 – 56% - przedsiębiorstwa i innowacje, 31% - infrastruktura, 13 % inne Redukcja zróżnicowań międzyregionalnych (Theil index) - między krajami (ale wewnątrzkrajowe zróżnicowania rosną) Pozytywny wpływ na wzrost gospodarczy– największy w Polsce (6% do 2023) i na Węgrzech (5% do 2023)

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFRR+FS – lekcje na przyszłość – wyniki badań podobne do 2000 -2006: Niejasne cele –trudne do oceny – większe ukierunkowanie celów na rezultaty w okresie 2014 -2020 Duże rozproszenie finansowania – obowiązkowa koncentracja tematyczna w okresie 2014 -2020 Zbytnia koncentracja na absorpcji Mało ewaluacji wpływu Wymagający system realizacji – duże obciążenia administracyjne (zamówienia publiczne głównym źródłem opóźnień) Szersze użycie instrumentów finansowych

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFS – badanie ex post objęło 117 PO (68% finansowania EFS w krajach celu konwergencja). Ograniczenia badania: dostęp do danych i ich porównywalność, brak wspólnych definicji wspólnych wskaźników rezultatu, mało ewaluacji dotyczących wpływu Wyniki: główne obszary wsparcia to Kapitał Ludzki (45% EFS) i dostęp do zatrudnienia (34% wsparcia), 91. 7 mld euro wydane do końca 2014 roku (79, 3%), 48 mln uczestników działań do 2014 roku, 30, 5 mln pozytywnych rezultatów, 9 mln osób weszło na rynek pracy, 8, 6 mln osób uzyskało kwalifikacje, 12, 8 mln innych pozytywnych rezultatów, 0, 3 mln samozatrudnionych.

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFS – wyniki badań: EFS mocno dostosowany do UE i krajowych priorytetów i wyzwań ( w tym Country Specific Recommendations), EFS elastyczny – reakcja na kryzys, Wdrażanie przebiegało właściwie pod względem absorpcji, EFS dosięgnął większość grup docelowych (tj. młodzi, nieaktywni zawodowo, z niskimi kwalifikacjami), Zrównoważony udział kobiet (większość programów stosowała zasadę równości kobiet i mężczyzn.

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFS – wyniki badań: EFS był generalnie skuteczny (większość celów (targets) osiągnięta), Słabe dowody dotyczące trwałości rezultatów, Średni koszt na uczestnika to 900 euro, Wartość dodana EFS – zapewnia dodatkowe środki dla wsparcia polityk krajowych oraz umożliwia rozszerzenie wsparcia na nowe grupy i bardziej dostosowane do potrzeb usługi, Wpływ EFS widoczny na poziomie mikro/ trudniej uchwytny na poziomie makro (efekty makroekonomiczne).

Wyniki badań ewaluacyjnych ex post polityki spójności – perspektywa KE EFS – lekcja na przyszłość: Kontynuacja dostosowania EFS do unijnych i krajowych priorytetów, Zachowanie elastyczności funduszu, Na etapie programowania jasne definiowanie celów i rezultatów, programowanie w oparciu o dowody, Zapewnienie wsparcia dla grup znajdujących się w gorszej sytuacji (disadvantaged groups), Standaryzacja wskaźników, Zwiększenie znaczenia ewaluacji wpływu.

Wybrane efekty Polityki Spójności 07 -13 w świetle ewaluacji PL

Ewaluacja korzyści UE 15 z realizacji PS w V 4 Ostateczne wyniki badania dostępne w lipcu 2016 → do wykorzystania m. in. w ramach przeglądu WRF → lipiec/ sierpień 2016 strategia komunikacji wyników badania we współpracy z MSZ i partnerami z V 4 Jedno z największych przedsięwzięć ewaluacyjnych w UE: § § badanie realizowane jednocześnie w 4 krajach Grupy Wyszehradzkiej koordynowane przez POL → duże wyzwanie organizacyjne (i polityczne…) część mikroekonomiczna badania w oparciu o ok. 27 tys. wypełnionych ankiet z POL, CZE, HUN i SLK (ankiety rozesłane do ok. 120 tys. respondentów/beneficjentów wsparcia PS)

Ewaluacja korzyści UE 15 z realizacji PS w V 4

Ewaluacja korzyści UE 15 z realizacji PS w V 4 Przykładowe pozytywne efekty zewnętrzne: Wsparcie przedsiębiorstw: §Nowe technologie produkcji, pozwalające spółkom z V 4 nawiązać współpracę (jako dostawcy) z czołowymi producentami z UE-15 (przykłady w raporcie końcowym) np. wsparcie Continental Automotive Czech Republic s. r. o. (grupa projektów) → wzrost majątku czeskiej spółki-córki niemieckiego koncernu Continental, dostęp do relatywnie niżej opłacanych kadr naukowych i eksperckich Transport: §Zwiększenie możliwości portu należącego do sieci TEN-T korytarza Bałtyk. Adriatyk → stworzenie warunków rozwoju oferty operatorów logistycznych i armatorów z UE-15, korzystających z Portu Gdynia

Ewaluacja korzyści UE 15 z realizacji PS w V 4 Przykładowe pozytywne efekty zewnętrzne: Dydaktyka i B+R: §Stworzenie centrum doskonalenia dla budownictwa drogowego (Słowacja) → włączenie centrum do sieci najlepszych jednostek badawczo-rozwojowych w europejskim obszarze badawczym oraz stworzenie możliwości wykorzystania zasobów na rzecz firm (w tym: prace B+-R na rzecz firmy z Finlandii) Ochrona środowiska i energetyka: §Projekt: ograniczenie emisji zanieczyszczeń w Elektrowni Dolna Odra → ograniczenie emisji zanieczyszczeń i poprawa jakości powietrza w krajach UE 15, w szczególności we wschodnich landach Niemiec

Wpływ funduszy europejskich perspektywy finansowej 2007 -2013 na rozwój społeczno-gospodarczy Polski Wschodniej (1) Po 2006 r. okresie Polska Wschodnia rozwijała się nieznacznie wolniej niż Polska ogółem (PKB per capita w relacji całego kraju spadło o około 3 punkty procentowe). W tym samym czasie makroregion odrobił jednak około 1/5 dystansu rozwojowego w stosunku do całej Unii Europejskiej. Wartość PKB per capita w 2014 r. na poziomie 48% średniej unijnej oznacza realizację celu SRPW z 2008 r. przewidzianego na 2020 r. Tempo zmian nie było równomierne w poszczególnych województwach. Relatywnie mniejsza była dynamika województw warmińsko-mazurskiego oraz świętokrzyskiego, które w okresie przedakcesyjnym wyróżniały się względnie wyższym poziomem rozwoju. Wyższy wzrost odnotowano z kolei w województwach podkarpackim, podlaskim i lubelskim. Około 50% zmiany w latach PKB per capita w latach 2006 -2014 r. można przypisać programom finansowanym z polityki spójności, a więc około dwukrotnie więcej niż w całej Polsce. Oznacza to, że w okresie analizy interwencja finansowana ze środków europejskich miała kluczowe znacznie dla realizacji celów rozwojowych makroregionu. Za około 52% łącznego oddziaływania makroekonomicznego NSS 2007 -2013 w makroregionie odpowiadają działania związane z rozbudową infrastruktury podstawowej, 26% - ze wsparciem przedsiębiorstw a pozostałe 22% - z rozwojem zasobów ludzkich.

Wpływ funduszy europejskich perspektywy finansowej 2007 -2013 na rozwój społeczno-gospodarczy Polski Wschodniej (2) Na poziomie lokalnym pozytywna zmiana społeczno-gospodarcza jest silniejsza w tych jednostkach, w których w przeliczeniu na mieszkańca dofinansowanie ze środków europejskich było większe. Odnotowano m. in. pozytywny wpływ całej interwencji na dynamikę wynagrodzeń oraz dynamikę wpływów z PIT. Jednocześnie zidentyfikowano wpływu interwencji na wskaźniki opisujące sytuację na lokalnych rynkach pracy (tj. stopę bezrobocia oraz udział pracujących w populacji). Wpływ na poszczególne gałęzie gospodarki: innowacyjność i konkurencyjność rynek pracy i kapitał ludzki - pozytywne efekty na poziomie mikroekonomicznym - brak przełożenia na odwrócenie większości negatywnych tendencji dotyczących konkurencyjności/ innowacyjności, przy dużym wkładzie w zmianę niektórych wskaźników (B+R) - decydujące znaczenie interwencji w tym obszarze dla pozytywnego oddziaływania całego wsparcia ze środków europejskich (polityka spójności i PROW) - pozytywne efekty na poziomie beneficjentów, choć ciągle niewiele wiemy o efektach netto - poprawa kluczowych wskaźników sytuacji na rynku pracy, jednak tempo zmian wolniejsze niż w całym kraju; - silny makroekonomiczny wpływ całości interwencji - brak oddziaływania zróżnicowania skali interwencji na poziomie lokalnym dostępność i infrastruktura techniczna jakość życia i ochrona środowiska - poprawa dostępności w ruchu drogowym (choć względna poprawa wskaźników mniejsza niż w innych województwach), co w szczególności dotyczyło stolic województw, a w mniejszym stopniu terenów peryferyjnych - mniejsza skala i oddziaływanie inwestycji kolejowych - pozytywne zmiany w obszarze transportu publicznego, częściowo powiązane z projektami finansowanymi ze środków UE - koncentracja interwencji w obszarach funkcjonalnych stolic województw (w szczególności Rzeszów i Lublin), które dzięki środkom UE rozwinęły swoje funkcje metropolitalne - fundusze UE zmniejszyły lukę cywilizacyjną (np. infrastruktura sanitarna) oraz zwiększyły dostępność niektórych usług publicznych (np. przedszkola) - badania wskazują na ograniczone efekty rozwojowe rozbudowy infrastruktury społecznej

Prognoza tempa rozwoju w poszczególnych regionach Polski Wschodniej: • w najbliższych latach można spodziewać się zmian względnych pozycji poszczególnych województw makroregionu. • W 2013 r. wszystkie 5 regionów znajdowało się na bardzo zbliżonym poziomie rozwoju. • Utrzymanie tych tendencji będzie oznaczało, że pomiędzy 2015 i 2018 r rokiem województwa świętokrzyskie i warmińsko-mazurskie stracą swoją dominującą pozycję, co więcej staną się najsłabiej rozwiniętymi częściami Polski Wschodniej. • W tym samym okresie na czoło wysuną się województwa podkarpackie i lubelskie, które jako jedyne w makroregionie będą rozwijać się w tempie zbliżonym do Polski ogółem. • Do 2020 r. pięć województw Polski Wschodniej utrzyma pięć ostatnich pozycji w rankingu polskich regionów. • Dalsze podtrzymanie tendencji będzie jednak oznaczać, że po 2020 r. znacznie zbliżą się one do województw kujawsko-pomorskiego, zachodniopomorskiego oraz opolskiego, w których dynamika wzrostu jest niższa niż w Polsce Wschodniej.

Wpływ Polityki Spójności na rozwój przygranicznej i ponadnarodowej współpracy terytorialnej polskich regionów w perspektywie 2007 -2013 Wpływ Programów EWT na życie lokalnych społeczności przejawia się w czterech wymiarach: • upadek dotychczas utrzymywanych stereotypów, tj. lepsze zrozumienie funkcjonowania sąsiedniego państwa lub regionu, ale także wzrost samowiedzy dzięki możliwości porównania. • zmiana w przestrzeni fizycznej i dostępności do usług związana z budową lub odnową infrastruktury transgranicznej i przygranicznej. • zmiana w zakresie potencjału instytucjonalnego - instytucje realizujące projekty i biorące w nich udział w trwały sposób zmieniają swój potencjał, przybierając nieraz charakter międzynarodowy, rozwijając i rozszerzając swoją działalność. • zmiana w zakresie aktywności - sama realizacja projektów wzbudza niejednokrotnie uśpioną od dawna aktywność mieszkańców (np. kulturalną, sportową itp. ). Projekty EWT wpływają na umiędzynarodowienie polskich organizacji, w szczególności samorządów terytorialnych. Wysoki poziom aktywności samorządów we współpracy terytorialnej jest wpisany w założenia EWT. W partnerstwa tworzone na szczeblu lokalnym przez samorząd zaangażowane są szkoły, domy kultury, służby ratownicze i bezpieczeństwa (straż pożarna, policja), inne instytucje kultury, urzędy pracy (na szczeblu powiatowym), organizacje turystyczne oraz organizacje pozarządowe. Za pomocą środków EWT organizacje włączają się w działalności, których prawdopodobnie by nie podjęli gdyby tych środków nie było.

Wpływ polityki spójności 2007 -2013 na środowisko naturalne Gospodarka wodnościekowa • Udział ludności korzystającej z sieci wodociągowej wzrósł z poziomu 87, 3% do poziomu 91, 6% ogółu mieszkańców, czyli o 4, 3 punkty procentowe, w tym wkład NSRO odpowiada wartości 0, 7 punktu procentowego. Liczba ludności korzystającej z sieci kanalizacyjnej wzrosła o 3, 1 mln osób, a udział ludności podłączonej do sieci kanalizacyjnej wzrósł z poziomu 61, 5% do poziomu 68, 7% (wkład NSRO – ok. 70% przyrostu ogólnej liczby osób podłączonych do sieci kanalizacyjnej, co odpowiada zmianie na poziomie 6 pkt. procentowych). Gospodarka odpadami • Instalacje wybudowane lub zmodernizowane w ramach NSRO 2007 -2013 mogą zagospodarować około 50% wszystkich odpadów komunalnych zbieranych w ciągu roku. Oddziaływaniem ww. instalacji zostało objętych 1115 gmin, a więc 46% wszystkich gmin w Polsce. Dofinansowane instalacje obejmując zasięgiem swojego oddziaływania 17, 7 mln mieszkańców, tj. 46% populacji kraju. Rekultywacja terenów zdegradowanych i ochrona powierzchni ziemi • Środki NSRO 2007 -2013 umożliwiły rekultywację składowisk odpadów odpowiadających liczbowo ponad 85% obiektów wyłączonych z użytkowania. Oczyszczono także większość gruntów powojskowych i popoligonowych, na których występowały niewypały i niewybuchy oraz zabezpieczono ok. 5% linii wybrzeża.

Zapobieganie zagrożeniom naturalnym, adaptacja do zmian klimatu i monitoring środowiska • Dzięki inwestycjom w infrastrukturę przeciwpowodziową oraz wielozadaniowe zbiorniki retencyjne w ramach NSRO 2007 -2013, ochroną przeciwpowodziową objęto około 4% mieszkańców kraju. Poziom retencji wód zwiększył się o co najmniej 58, 3 mln m 3, w większości za sprawą przyjaznych środowisku działań dotyczących małej retencji. Dzięki rozwojowi systemów kanalizacji deszczowej przed podtopieniami lub powodzią zabezpieczono tereny o powierzchni około 3, 6 tys. ha. Ochrona powietrza oraz redukcja emisji gazów cieplarnianych • Szacunkowa redukcja emisji CO 2 w wyniku realizacji przedsięwzięć w ramach NSRO 2007 -2013 stanowi 1, 1 – 1, 2% rocznej emisji gazów cieplarnianych w Polsce w okresie 2009 -2013. Czysty transport miejski • Środki transportu zakupione w ramach NSRO 2007 -2013 stanowią prawie 1/5 środków transportu obsługujących komunikację publiczną w roku 2014. Z kolei liczba miejsc w pojazdach zakupionych lub zmodernizowanych w ramach NSRO 2007 -2013 stanowi około 1/4 wszystkich miejsc w pojazdach komunikacji miejskiej użytkowanych w roku 2014. Ochrona środowiska w przedsiębiorstwach • Zmniejszeniu uległ poziom emisji zanieczyszczeń do powietrza, ograniczona została ilość nieoczyszczonych ścieków przemysłowych odprowadzanych do wody i gleby, oraz poziom zużycia wody. Środki dostępne w ramach NSRO 2007 -2013 miały niewątpliwie wkład w powyższe korzystne zmiany, w szczególności w obszarze ochrony powietrza, jednak nie były kluczowym impulsem działań prośrodowiskowych podejmowanych przez przedsiębiorstwa

Wpływ polityki spójności 2007 -2013 na środowisko naturalne Efekty społeczne identyfikowane przez przedstawicieli gmin, w których realizowano projekty środowiskowe

EFEKTY GOSPODARCZE IDENTYFIKOWANE PRZEZ PRZEDSTAWICIELI GMIN, W KTÓRYCH REALIZOWANO PROJEKTY ŚRODOWISKOWE

Dziękuję za uwagę Tomasz Kot tomasz. kot@mr. gov. pl