EWALUACJA SYSTEMU WYBORU PROJEKTW ZE SZCZEGLNYM UWZGLDNIENIEM KRYTERIW

EWALUACJA SYSTEMU WYBORU PROJEKTÓW ZE SZCZEGÓLNYM UWZGLĘDNIENIEM KRYTERIÓW WYBORU PROJEKTÓW Projekt finansowany przez Unię Europejską ze środków Europejskiego Funduszu Społecznego w ramach Regionalnego Programu Operacyjnego Województwa Śląskiego na lata 2014 -2020

CELE BADANIA

CELE BADANIA

METODOLOGIA

METODY BADAWCZE Analiza danych zastanych Analiza porównawcza dokumentacji stosowanej w ramach naborów Indywidualne wywiady pogłębione (IDI) z przedstawicielami IZ i IP RPO WSL oraz IP ZIT/RIT RPO WSL (n=20) Indywidualne wywiady telefoniczny(ITI) z przedstawicielami firm doradczych (n=8) Wywiady Telefoniczne (CATI) z beneficjentami i podmiotami aplikującymi w ramach RPO WSL 2014 -2020 (n=300) Zogniskowane wywiady grupowe (FGI) z ekspertami oceniającymi wnioski o dofinansowanie (13 sesji) Walidacja kryteriów oceny projektów

SYSTEM ORAZ PROCES WYBORU I OCENY PROJEKTÓW

ROZPLANOWANIE NABORÓW Rok 2015 • 3 wersje harmonogramu naboru wniosków, • przewidziano nabory dla 53 Działań/Poddziałań, • nie przewidziano naborów dla 71 Działań/Poddziałań, • dla większości termin rozpoczęcia został określony na IV kwartał 2015 roku. Rok 2016 • 4 wersje harmonogramu naboru wniosków, • przewidziano nabory dla 110 Działań/Poddziałań, • nie przewidziano naborów dla 12 Działań/Poddziałań, • zaplanowanie w 24 przypadkach więcej niż jednego naboru, • na ostatnie 3 miesiące roku zaplanowano aż 40, 7% naborów, a jednocześnie w drugiej połowie – blisko 2/3 wszystkich naborów (65, 9%). REKOMENDACJA Na etapie planowania kolejnych naborów, w sposób priorytetowy traktować te obszary interwencji, w których do tej pory nie przeprowadzono żadnych naborów, a w dalszej fazie wdrażania Programu, należy poszerzać katalog instrumentów pozwalających na wybór przedsięwzięć w największym stopniu powiązanych z realizacją głównych założeń i celów Programu. Jednocześnie, należy – w miarę możliwości – w sposób bardziej równomierny rozplanowywać kolejne nabory w ramach poszczególnych kwartałów.

ROZPLANOWANIE NABORÓW CECHY PROJEKTÓW MAJĄCE WPŁYW NA ROZPLANOWANIE NABORÓW „sezonowość” powiązanie funkcjonalne określonych projektów formuła ZIT/RIT PLANOWANIE NABORÓW – REKOMENDACJA Należy wprowadzić częściowe uelastycznienie ustawowego zakazu aktualizacji terminów naboru wniosków o dofinansowanie, których przeprowadzenie zaplanowano w terminie dłuższym niż 3 miesiące, licząc od dnia aktualizacji. Dodatkowo, należy rozważyć skrócenie rzeczonego terminu z 3 do 2 miesięcy. OCENA TERMINU PRZEPROWADZENIA NABORU HARMONOGRAM - REKOMENDACJA Celowe byłoby wprowadzenie określonych modyfikacji do struktury i zakresu merytorycznego publikowanych harmonogramów, które zwiększyłyby jego użyteczność dla wnioskodawców.

BEZSTRONNOŚĆ SYSTEMU OPINIE WNIOSKODAWCÓW REKOMENDACJE 1. Należy dokonać doprecyzowania i uspójnienia treści regulaminów naborów wniosków dotyczących wsparcia z EFS i EFRR w tych aspektach, które dotyczą przejrzystości systemu wyboru projektów. 2. Należy położyć większy nacisk na upowszechnianie informacji o tym, w jaki sposób realizowana jest w ramach naborów zasada bezstronności oceny – upowszechnianie już istniejących regulacji i dokumentów w tym zakresie.

OGŁOSZENIE NABORU 15, 7% badanych dostrzega wśród dokumentów wymaganych do złożenia dokumenty zbędne. Należą do nich: deklaracje PIT, formularz pomocy de minimis, wpis do CEIDG, analiza finansowa, decyzje środowiskowe, oświadczenie dotyczące wód gruntowych, pełnomocnictwo dla partnera projektu, promesa bankowa, status przedsiębiorstwa oraz zaświadczenie o niekaralności. REKOMENDACJE § Wdrożenie rozwiązań minimalizujących ryzyka wynikające z bazowania na treści oświadczeń oraz rozważenie możliwości przesunięcia części wymaganej dokumentacji na etap podpisywania umowy (a na etapie składania wniosku – ograniczenia się do złożenia oświadczenia). W dalszej perspektywie, i przy potwierdzonej skuteczności proponowanych działań zwiększających rzetelność i restrykcyjność składanych oświadczeń, możliwe byłoby rozważenie ewentualnego dalszego poszerzania zakresu ich obowiązywania, także na etapie podpisywania umowy. § Należy wprowadzić określone modyfikacje i usprawnienia w aspekcie dostępności i treści dokumentacji konkursowej.

NABÓR WNIOSKÓW OPINIE WNIOSKODAWCÓW O CZASIE NA PRZYGOTOWANIE WNIOSKU O DOFINANSOWANIE

OCENA I WYBÓR PROJEKTÓW Przyczyny wydłużania się procedury oceny wniosków: § wnoszenie przez wnioskodawców wyjaśnień do treści złożonych wniosków, przy jednoczesnym wnioskowaniu przez tychże o wydłużenie terminu wyznaczonego na złożenie wyjaśnień przez projektodawcę, § więcej niż jednokrotne wprowadzanie korekt do wniosków o dofinansowanie na etapie oceny formalnej, § realizowanie zadań z zakresu oceny merytorycznej przez tych samych ekspertów w ramach równolegle toczących się etapów oceny, § konieczność powiązania merytorycznego wybranych naborów z dokumentami strategicznymi lub wytycznymi szczebla krajowego, które nie są dostępne w momencie ogłaszania naboru lub brakuje dla nich dokumentów wykonawczych, § złożenie wniosków w ilości większej niż pierwotnie zakładana przez IOK. OPINIE WNIOSKODAWCÓW O CZASIE OCENY WNIOSKÓW O DOFINANSOWANIE REKOMENDACJA Należy podejmować sukcesywne działania zorientowane na: a) skrócenie czasu trwania procesu oceny formalnej i merytorycznej, b) ograniczenie skali zmienności rzeczywistego czasu trwania procesu oceny (względem czasu pierwotnie planowanego i ogłoszonego).

OCENA I WYBÓR PROJEKTÓW OCENA CZYTELNOŚCI GRADACJI WYMAGAŃ DOTYCZĄCYCH PROJEKTÓW REKOMENDACJE DOTYCZĄCE WSPARCIA EKSPERCKIEGO NA ETAPIE OCENY WNIOSKÓW Należy podejmować sukcesywne działania zorientowane na: a) usprawnienie przebiegu procesu oceny wniosków, b) podnoszenie jakości pracy ekspertów

PROJEKTY INNOWACYJNE OCENA WPŁYWU PROCEDUR ORAZ KRYTERIÓW WYBORU PROJEKTÓW NA ZASTOSOWANIE W PROJEKCIE INNOWACYJNYCH / NOWATORSKICH ROZWIĄZAŃ

PROJEKTY KOMPLEMENTARNE OCENA WPŁYWU PROCEDUR ORAZ KRYTERIÓW WYBORU PROJEKTÓW NA ZAPEWNIENIE KOMPLEMENTARNOŚCI PROJEKTU Z INNYMI PRZEDSIĘWZIĘCIAMI Specyfiką bieżącego okresu finansowania jest szczególne traktowanie powiązań pomiędzy przedsięwzięciami finansowanymi ze środków EFS i EFRR, które w ramach RPO WSL 2014 -2020 dotyczy przede wszystkim następujących Działań: Działania 10. 2: Rozwój mieszkalnictwa socjalnego, wspomaganego i chronionego oraz infrastruktury usług społecznych, Działania 10. 3: Rewitalizacja obszarów zdegradowanych, Działania 12. 1: Infrastruktura wychowania przedszkolnego oraz Działania 12. 2: Infrastruktura kształcenia zawodowego. Sytuacja ta wymaga podejmowania dwojakiego rodzaju działań. Po pierwsze, kwestia powiązania projektów musi znaleźć odzwierciedlenie w kryteriach wyboru projektów. Po drugie zaś, należy zapewnić odpowiednie powiązanie naborów wniosków (na poziomie harmonogramów naborów), w sposób który umożliwiłby weryfikację wymaganych powiązań.

SYSTEMY INFORMATYCZNE REKOMENDACJA: Należy podejmować działania zorientowane na zapewnienie stabilności systemu oraz zwiększenie użyteczności i przyjazności w szczegółowych aspektach jego funkcjonowania.

PROCEDURY ODWOŁAWCZE Procedura rozstrzygania protestów gwarantuje sprawną i obiektywną analizę i rozstrzygnięcie dotyczące wnoszonych przez projektodawców środków odwoławczych. Dotychczasowe protesty dotyczyły przede wszystkim zarzutów podnoszonych w obrębie poszczególnych kryteriów, nie zaś zarzutów o charakterze proceduralnym, chyba że zarzuty o charakterze proceduralnym pozostawały w powiązaniu z zarzutami dotyczącymi oceny za pomocą poszczególnych kryteriów. REKOMENDACJA Eksperci powinni być powiadamiani o fakcie wniesienia protestu w odniesieniu do ocenianego przez nich projektu i jego wyniku, w przypadku gdy protest zostaje rozstrzygnięty pozytywnie.

KRYTERIA WYBORU PROJEKTÓW

KRYTERIA FORMALNE EFS I EFRR REKOMENDACJA: Należy podjąć – możliwe do wdrożenia i użyteczne – działania zorientowane na optymalizację katalogu kryteriów formalnych dotyczących naborów w ramach EFS i EFRR.

KRYTERIA OGÓLNE MERYTORYCZNE REKOMENDACJA Należy podjąć działania zorientowane na optymalizację katalogu ogólnych kryteriów merytorycznych i dodatkowych w ramach EFRR oraz kryteriów merytorycznych w ramach EFS. Kryteria dodatkowe dotyczą bardzo zróżnicowanych kwestii, które premiowane są w takim samym stopniu. Dotyczą zarówno kwestii horyzontalnych (komplementarność projektu, realizacja projektu w partnerstwie), jak i sektorowych, co może utrudniać ocenę ekspertom merytorycznym niereprezentującym dziedziny, której dotyczy dane kryterium. Dotyczą częściowo kwestii objętych innymi kryteriami i nie mają w praktyce wpływu na wybór projektów i realizację wskaźników.

ZGODNOŚĆ ZE STRATEGIĄ ZIT/RIT REKOMENDACJA: Należy podjąć działania zorientowane na optymalizację katalogu ogólnych kryteriów zgodności ze Strategią ZIT/RIT.

KRYTERIA HORYZONTALNE REKOMENDACJA Na podstawie wyników pilotażu oceny strategicznej planowanego na rok 2017 należy dokonać analizy tego sposobu oceny, także w kontekście poszerzenia jej zakresu.

KRYTERIA MERYTORYCZNE DLA OSI Dla analizowanych Działań / Podziałań sformułowano określone zalecenia w ramach poszczególnych Osi Priorytetowych. W przeważającej mierze rekomendacje te dotyczyły takich kwestii jak: uproszczenie treści danego kryterium, wprowadzenie dodatkowych kryteriów punktowych (lub zmiana charakteru kryterium, z zerojedynkowego na punktowy), rezygnacja z danego kryterium lub zmiana sposobu jego pomiaru, dokonanie przeniesienia określonych kryteriów pomiędzy etapami oceny (ocena formalna i ocena merytoryczna).

PROJEKTY INNOWACYJNE W przypadku RPO WSL 2014 -2020 mamy do czynienia ze zdolnością kryteriów wyboru do identyfikacji i selekcji projektów innowacyjnych. W przypadku EFS zagadnienie innowacyjności odwołuje się raczej do ewentualnego wykorzystania rozwiązań innowacyjnych niż ich wypracowywania w projekcie. Dotyczy to głównie: Osi Priorytetowej I Nowoczesna gospodarka i III Konkurencyjność MŚP. W innych obszarach wsparcia w ramach EFRR zagadnienia dotyczące innowacyjności mają raczej charakter dodatkowy. Zidentyfikowany stan rzeczy ocenić należy jako funkcjonalny i uzasadniony celami interwencji w RPO WSL 2014 -2020, gdzie kwestia innowacyjności jest szczególnie akcentowana właśnie w tych obszarach, w których znajduje następnie odzwierciedlenie w kryteriach wyboru projektu. Sytuacja ta wpisuje się w konkluzje pojawiające się w badaniu jakościowym, gdzie zwracano uwagę, że innowacyjność projektu nie powinna być traktowana jako cel nadrzędny i uniwersalny i raczej należy ją premiować punktowo / sektorowo.

PROJEKTY KOMPLEMENTARNE REKOMENDACJA Należy dążyć do uspójnienia definicji i sposobu pomiaru komplementarności we wszystkich naborach, w których jest stosowane to kryterium w celu zapewnienia skutecznej identyfikacji i selekcji projektów komplementarnych. DEFINICJA Komplementarność to stan powstały na skutek podejmowanych, uzupełniających się wzajemnie działań/projektów, które są skierowane na osiągniecie wspólnego lub takiego samego celu, który nie zostałby osiągnięty lub osiągnięty byłby w mniejszym stopniu w przypadku niewystępowania komplementarności.

POLITYKI HORYZONTALNE EFS EFRR • na etapie oceny merytorycznej stosuje się kryteria horyzontalne – weryfikowana jest zgodność projektu z zasadami horyzontalnymi, ze szczególnym uwzględnieniem zgodności projektu z zasadą równości i niedyskryminacji oraz zgodności projektu z zasadą równości szans kobiet i mężczyzn oraz niedyskryminacji; • realizacja polityk horyzontalnych odbywa się także w przypadku szczegółowych /specyficznych kryteriów wyboru projektów w wybranych Działaniach / Poddziałaniach, np. w Poddziałaniu 8. 2. 3 Wsparcie dla przedsiębiorców i ich pracowników w zakresie rozwoju przedsiębiorstwa – konkurs, 11. 4. 3 Kształcenie ustawiczne- konkurs, czy Działaniu 11. 3 Dostosowanie oferty kształcenia zawodowego do potrzeb lokalnego rynku pracy – kształcenie zawodowe osób dorosłych. • kryterium dotyczące zasad horyzontalnych zaklasyfikowane zostało do katalogu kryteriów merytorycznych, mając charakter zerojedynkowy; • w ramach kryterium: Dodatkowe efekty wprowadzono premię punktową m. in. za: realizację polityk horyzontalnych, która nie wynika wprost z prawa, lecz stanowi rozwiązania dodatkowe (np. utworzenie miejsca pracy dla osoby z niepełnosprawnością), co traktować należy jako rozwiązanie wspierające ponadstandardowe działania w zakresie realizacji polityk horyzontalnych; • pośrednio, wpisywanie się w realizację polityk horyzontalnych realizowane jest także poprzez premiowanie w wybranych Działaniach / Poddziałaniach np. uczestnictwa osób niepełnosprawnych, czy uwzględnienia w projekcie rozwiązań gwarantujących lub ułatwiających dostęp do rezultatów projektu.

ZALECENIA OGÓLNE Uproszczenie systematyzacji kryteriów wyboru projektów i posługiwanie się tylko dwoma etykietami kryteriów: kryteria merytoryczne (dopuszczające i punktowe) i kryteria formalne (spójne z dwoma etapami oceny), a w przypadku formuły ZIT/RIT – kryteria zgodności ze Strategią ZIT/RIT bez wprowadzania dodatkowego nazewnictwa (ogólne, specyficzne, szczegółowe, dostępu, horyzontalne). W przypadku kryteriów szczegółowych dotyczących Działań wdrażanych przez WUP – ograniczenie definicji kryteriów wyłącznie do informacji dotyczących sposobu rozumienia danego kryterium i jego weryfikacji, bez uwzględniania rozbudowanych informacji i rozbudowanych danych statystycznych stanowiących w praktyce uzasadnienie danego kryterium lub po prostu obrazujących sytuację w obszarze, którego dotyczy kryterium. Zwiększenie stopnia wykorzystywania metody analizy porównawczej stosowanej w ocenie spełniania kryteriów o wysokim poziomie parametryzacji, tj. dotyczących w szczególności takich kwestii jak: stopień realizacji wskaźników, stopień realizacji celów, poziom oddziaływania itp. Choć analiza ta nie musi być prowadzona w formule panelowej, to i tak stanowić będzie kwestię zwiększającą złożoność i czasochłonność procesu oceny. Z tego względu jej wdrożenie powinno nastąpić w momencie, gdy słabnąć będzie dynamika wdrażania Programu (liczba konkursów), a rosnąć będzie znaczenie selekcji określonego typu projektów.

ZALECENIA OGÓLNE Przeprowadzenie pilotażu rozwiązania (w pierwszej kolejności w ramach wybranego konkursu dotyczącego EFS, ew. w ramach jednego z naborów przewidujących formułę panelowej oceny strategicznej) polegającego na wprowadzeniu kryterium „eksperckiej premii punktowej”. Przyjęcie założenia odnoszącego się do opracowywania SOPZ dotyczących przetargów na usługi badań ewaluacyjnych poświęconych RPO, że każdorazowo do problematyki badań sektorowych o charakterze on-going, oceniających daną Oś Priorytetową, czy też dane Działanie w ramach RPO WSL 2014 -2020 wprowadzona jest kwestia kryteriów wyboru projektów, ze szczególnym uwzględnieniem badań, których celem jest pomiar efektów wsparcia.

DZIĘKUJĘ ZA UWAGĘ