O projekcie > Wiadomości > Ewaluacja narzędziem...

Ewaluacja narzędziem zarządzania

2013-04-05

4 i 5 kwietnia 2013 r. w Krakowie, podczas seminarium organizowanego w ramach projektu „Decydujmy razem”, przeprowadziliśmy przegląd kluczowych zagadnień i zjawisk związanych ze stosowaniem – bądź nie stosowaniem – mechanizmów ewaluacji na szczeblu lokalnym. Celem tego wydarzenia było także dzielenie się doświadczeniami, spostrzeżeniami i refleksją między tymi wszystkimi, dla których ewaluacja ma znaczenie.

Pierwszego dnia panele dyskusyjne dotyczyły kwestii najważniejszych, takich jak: kultura ewaluacji, liderzy ewaluacji oraz ewaluacji jako elementu zarządzania i polityk publicznych. Był to kompleks zagadnień, które tworzyły ramy do pogłębionej debaty. W efekcie zobrazowała ona dzisiejsze dylematy związane z włączaniem mechanizmów ewaluacji w procesy decyzji politycznych, dotyczących w ostatecznym rozrachunku przede wszystkim społeczności lokalnych.

Uczestników seminarium powitali prof. Stanisław Mocek, rektor Collegium Civitas w Warszawie oraz prof. Jarosław Górniak, kierownik Centrum Ewaluacji i Analiz Polityk Publicznych UJ, który mówił - Korzenie ewaluacji mają miejsce w społecznej weryfikacji działań publicznych w krajach anglosaskich. W Polsce ewaluacja ruszyła dopiero w latach dwutysięcznych. Faktyczne przekładanie się ewaluacji na procesy decyzyjne jest niestety wciąż szczątkowe. Mam takie poczucie, że efekty pracy ewaluatorów nie przekładają się w sposób systemowy na decyzje. Ewaluacja szczególnie silnie funkcjonuje jedynie w miejscach gdzie zarządza się funduszami europejskimi. Cóż z tego, skoro w mniejszym stopniu przenika na szczebel lokalny? Wiązałem pewne nadzieje z ewaluacją jako narzędziem mobilizacji społeczeństwa obywatelskiego do rozliczania władz publicznych. Jest zatem o czym rozmawiać, czas zadać sobie pytanie: z czego wynikają problemy w zarządzaniu publicznym? Tym samym rozpoczął panel pt. "Ewaluacja jako składnik kultury organizacyjnej w sektorze publicznym na szczeblu lokalnym", podczas którego uczestnicy zastanawiali się jak można zjawisko ewaluacji zastosować do społeczności lokalnych i podejmowania decyzji na poziomie lokalnym. 

Ewaluacja to nie kontrola

Ważne jest by zrozumieć, że ewaluacja to nie kontrola. Ewaluacja to proces gromadzenia wiedzy pomocnej w podejmowaniu decyzji - mówił Przemysław Herman, naczelnik Wydziału Ewaluacji w Departamencie Zarządzania EFS Ministerstwa Rozwoju Regionalnego. Wskazał też konkretne przykłady zadań, w których ewaluacja na szczeblu lokalnym może być pomocna m.in.: ocena potrzeb mieszkańców, priorytetów inwestycyjnych, potencjału rozwojowego gminy/powiatu, usług świadczonych ze środków publicznych i samej pracy instytucji samorządowych. Okazuje się, że dzięki ewaluacji możemy dowiedzieć się wielu rzeczy, ważne jest jednak byśmy wiedzieli o co i w jaki sposób zapytać. 

Jaki klimat sprzyja ewaluacji w instytucjach publicznych? Refleksja, zarządzanie oparte na analizie, nastawienie na zmiany i cele, na wiedzę i umiejętność jej konsumowania. Czynnikiem, który sprzyja jest też świadome sięganie po ewaluację. Ewaluacja musi być użyteczna czyli przynosić takie rozwiązania, które ludzie będą w stanie zaaplikować - mówiła Agnieszka Haber, kierowniczka Sekcji Ewaluacji w Polskiej Agencji Rozwoju Przedsiębiorczości - Czym jest ewaluacja? Staramy się konsekwentnie o tym uczyć. Należy edukować nie tylko tych, którzy odpowiadają za realizację ewaluacji ale także tych, którzy udzielają odpowiedzi. Nie każda ewaluacja jest pomocna instytucji - taka, która przynosi błędne wyniki i szkodliwe rekomendacje nic nie wniesie, będzie stratą czasu i pieniędzy. Dzieje się tak gdy badamy to czego decydenci nie są ciekawi bowiem na wiedzę musi być konkretne zapotrzebowanie. Skąd więc czerpać wiedzę jak przeprowadzić ewaluację? Na stronie www.efs.gov.pl znajdziemy raporty z badań ewaluacyjnych i projektów badawczych "Ewaluacja krok po kroku" oraz bazę projektów badawczych PO KL. Na stronie www.ewaluacja.gov.pl - bazę badań ewaluacyjnych, dokumenty związane z systemem ewaluacji programów operacyjnych współfinansowanych z funduszy strukturalnych. Www.pte.org.pl to strona Polskiego Towarzystwa Ewaluacyjnego gdzie znajdziemy informacje o ewaluacji, firmach, które prowadzą badania, konferencjach i szkoleniach z zakresu ewaluacji. 

Przedstawiciel Wojewódzkiego Urzędu Pracy w Krakowie wyraził opinię, że ewaluacja jest często wynikiem paniki urzędników w momencie, gdy działania nie zmierzają w wyznaczonym kierunku - Trzeba uporządkować zarządzanie, ewaluacja powinna być jednym z elementów podejmowanych działań, by już w trakcie ich realizacji sprawdzać czy zmierza się do założonego celu. Ona przecież pozwala korygować działania - mówił zgromadzonym gdy rozwinęła się szersza dyskusja.

Dobrze wykorzystajmy wiedzę

Jeżeli ewaluacja jest w stanie pełnić służebną rolę wobec naszych głównych zadań to to jest świetnie. Ewaluacja jest taka jacy my jesteśmy i jak długo będziemy potrafili ją wykorzystywać. Każdy z nas ma inne style kreowania rzeczywistości, a moim podstawowym zadaniem jest próba integracji tych wszystkich perspektyw, ludzi, organizacji, ich metod, poziomu edukacji. Jako społeczeństwo musimy zintegrować to co próbujemy zrobić jako odrębne instytucje, zintegrować nasze cele i osiągnięcia. Uważam, że grupy które mają coś do powiedzenia w polityce muszą zająć jednoznacznie głos - mówił dr hab. Grzegorz Mazurkiewicz z UJ, koordynator i kierownik merytoryczny projektu "Program Wzmocnienia Efektywności Systemu Nadzoru Pedagogicznego i Oceny Jakości Pracy Szkoły". 

Debata, którą podjęli uczestnicy miała na celu wywołanie pewnych problemów, uporządkowanie wiedzy o ewaluacji, jej zdefiniowanie i wyznaczenie celów. Pytania i komentarze okazały się być bardzo pomocne podczas kolejnej części spotkania pt. "Ewaluacja jako element uczenia się i kształtowania lokalnych polityk publicznych".  

Każdy starał się zdefiniować czym jest ewaluacja. Dla mnie to pewien rodzaj refleksji czy to co zrobiliśmy jest dobre. To nie jest jednak autorefleksja tylko wyciąganie wniosków opartych o dowody naukowe. Uważam, że jedną z głównych barier dla ewaluacji na każdym poziomie jest słabość zarządzania strategicznego - brak dookreślenia, doprecyzowania celów, tego co powinniśmy zrobić. Przecież kiedy wiemy co chcemy zmienić możemy wykorzystać ewaluację by nam w tym pomogła - powiedział Stanisław Bienias, naczelnik Krajowej Jednostki Oceny.

Jacek Pająk, starosta bocheński, przewodniczący Konwentu Starostów Województwa Małopolskiego dodał też - Niewłaściwie zdefiniowany cel to marnotrawstwo. Trudno jest w realiach polityki demokratycznej, gdzie obowiązuje mechanizm wielopłaszczyznowy zarządzania, wyznaczyć jedyne i obiektywne cele na miarę posiadanych środków. Jeżeli skoncentrujemy się na samej metodzie wówczas będziemy realizować prawidłowo głupie zadanie. 

Jak sprawić by ewaluacja sprzyjała lokalnemu zarządzaniu?

W trakcie panelu pt. "Ewaluacja jako składnik lokalnego i regionalnego zarządzania oraz polityk publicznych" uczestnicy dyskutowali w jakich sferach ewaluacja jest najlepsza do zastosowania. Czy jej wartość jest dostatecznie postrzegana w obecnym modelu zarządzania? Postawione zostały 3 tezy, do których odnieśli się uczestnicy: po 1 - lokalne polityki publiczne są obecnie zaprzeczeniem "polityk publicznych opartych na dowodach", których podstawą jest ewaluacja; po 2 - niska jakość i niewielka użyteczność badań ewaluacyjnych oferowanych przez uczelnie/firmy/organizacje pozarządowe zniechęcają władze i urzędników lokalnych do korzystania z ich wyników; po 3 - pełniejsze wykorzystanie ewaluacji może nastąpić jedynie za sprawą dostrzeżenia przez elity samorządowe wynikających z niej praktycznych korzyści oraz podjęcie działań na rzecz rzeczywistego wkomponowania ewaluacji w mechanizmy zarządzania sprawami lokalnymi. Andrzej Zybała z Collegium Civitas mówił - Zarządzamy wciąż bardzo autorytarnie. Władza jest silnie skomasowana w grupie zarządczej. Nie ma instynktu do weryfikowania założeń swojego działania. Myślenie jest takie: nie chcę poddawać się ocenie ewaluatorów - mogę poddać się ocenie wyborców. O jakość działania publicznego pytamy wiec tylko raz na 4 lata, a ocenę przeprowadzamy niemetodologicznie - Zybała podkreślił, że przez taki stan rzeczy nie ma też możliwości rzetelnej, szczegółowej oceny działań. Dodał też - Problemem jest brak szacunku dla wiedzy i złożoności problemów publicznych. Wydaje nam się często, że lokalne problemy są proste - rzeczywistość jest na wskroś inna. Te narzędzia autorytarne są bardzo zawodne. Tu potrzebna jest właśnie partycypacja społeczna i narzędzie ewaluacji. 

Do wypowiedzi poprzednika nawiązał Rafał Kulczycki, dyrektor Wydziału Rozwoju Miasta, UM Kraków - Decydenci uzurpują sobie prawo do jednostkowej wiedzy, do wszechdecyzji - takie myślenie narasta w samorządach. To wiąże się z nieodpowiednim poziomem partycypacji. A dziś już nie da się na poziomie miasta czy mniejszej gminy zarządzać długofalowo bez odpowiednich danych. Zdecydowanie niezbędne jest zdobycie odpowiedniej ilości materiału i wiedzy w czym pomocna jest właśnie ewaluacja. Podobnie argumentował Jacek Woźniak, pełnomocnik Zarządu Województwa Małopolskiego ds. planowania strategicznego - Polityki publiczne prowadzi się w oparciu o preferencje decydentów i grę sił wolnorynkowych. Nasze interwencje publiczne i środki finansowe, które poświęcamy, często okazują się bardzo ograniczone by skorygować pewne procesy. Musiało by upłynąć sporo czasu by pewne procesy i procedury ewaluacji były przyswojone jako pożyteczne. Tu potrzebne są konsekwencja i czas

Na koniec pierwszego dnia seminarium o praktykach ewaluacyjnych i o tym jak należy zbudować system oceny by był funkcjonalny, przydatny i poprawny metodologicznie mówili Jacek Pokorski i Rafał Trzciński z Sekcji Ewaluacji PARP. Uczestnicy spotkania mieli możliwość zapoznania się z konkretnymi przykładami działań wdrażanych przez Polską Agencję Rozwoju Przedsiębiorczości.
 
Uspołecznienie ewaluacji

Drugiego dnia rozmawialiśmy m.in o uspołecznieniu zarządzania lokalnego, współpracy samorządów z sektorem pozarządowym i budowaniu partnerstwa. Zgromadzonych gości powitał prof. Leszek Korporowicz z Uniwersytetu Jagiellońskiego, który mówił - Ewaluacja jest zagrożona przez podpinanie pod nią pozorowanych badań, analiz i diagnoz. Powinniśmy wspólnie zastanowić się w jaki sposób można dojrzale ewaluować, znaleźć społecznego adresata i społeczny sens, w którym ewaluacja powinna się manifestować. 

Tomasz Skierniewski, członek Polskiego Towarzystwa Ewaluacyjnego zwrócił uwagę, że to ministerstwa zamawiają najwięcej ewaluacji. Jednak te działania nie przekładają się na szczeble niższe, których podmioty czują się raczej przedmiotem badań - Oddziaływanie demokratyzujące jest przecież najsilniejsze na tym właśnie poziomie - dodał. 

Panel "Jak wzmocnić potencjał organizacji pozarządowych w zakresie wykorzystania ewaluacji w rozwoju lokalnym i regionalnym?" poprowadził dr Bohdan Skrzypczak (CAL), który prosił uczestników o: diagnozę - czy ewaluacja dosięga działania i organizację ngo? przybliżenie specyfiki działań ngo - sfera miękka (społeczna, kulturowa) więc trudno mierzalna - tu ewaluacja jest problemowa więc jak ją prowadzić? rekomendacje - jak zwiększać kompetencje ngo w tej sferze ewaluacji? 

Magdalena Jelonek z Uniwersytetu Ekonomicznego w Krakowie w oparciu o doświadczenia potwierdziła, że przypadku mniejszych ngo pojawiają się działania quasi ewaluacyjne - Rzeczywiście w organizacjach występuje ta cenna refleksyjność. Zagrożeniem jest więc narzucanie im standardów ewaluacji, sformalizowanie jej. Wówczas te właśnie miękkie elementy bieżącej weryfikacji własnych działań mogą w ngo zaniknąć. Ewaluacja może przerodzić się w mechaniczny, nieludzki proces - dodała też - Często jest tak, że sam ngo jest ewaluowany odgórnie i w takiej sytuacji z rozmów nieformalnych mogę powiedzieć, że taka ewaluacja nie jest dobrze oceniania - ngo nie ma z niej żadnych korzyści, to jest raczej kontroling i sprawozdawczość. Magda Biejat ze STOCZNI potwierdziła wypowiedź poprzedniczki - Uczymy się w praktyce, podczas ewaluacji. Ngo jeśli są jej poddawane to raczej z przymusu (np. uczestnictwo w pewnych projektach UE). I wtedy rzeczywiście te uczenie się nie jest efektywne. Dochodzi do momentu gdy proces uczenia się jest zaburzony od samego początku poprzez mechaniczność ewaluacji, która jest nieelastyczna, nie dostosowana do warunków. Wówczas już na poziomie planowania dochodzi do porażek. Jeśli chodzi o oddolne dążenie do ewaluacji są to raczej inicjatywy miękkie. Trudno jest mówić na poziomie lokalnym o ustrukturalizowanym mechaniźmie wdrażania ewaluacji. 

O dojrzałej ewaluacji

Ostatnią część seminarium poświęciliśmy debacie okrągłostołowej, podczas której uczestnicy podsumowali wypowiedzi i podjęli próbę określenia konkretnej ścieżki dojścia do uzyskania dojrzalszych mechanizmów ewaluowania działań publicznych. Wskazywali też na sposoby, które potencjalnie mogą umożliwić przyspieszenie dojrzałego wykorzystywania mechanizmów ewaluacji i na zagrożenia, czyli czynniki, które mogą hamować pozytywne procesy w tym względzie. Podjęli się także odpowiedzi na pytanie o to, jak rozpocząć proces budowania wysokich standardów ewaluowania działań publicznych. 

  • Kolejny numer Animacji Życia Publicznego, wydawanej w ramach "Decydujmy razem", poświęcimy w całości właśnie ewaluacji. Publikacja dostępna będzie w wersji elektronicznej w portalu (www.decydujmyrazem.pl), a bezpłatna wersja papierowa dostępna po skontaktowaniu się z nami (kontakt@decydujmyrazem.pl). O numerze informować będziemy na stronie projektu i w naszym newsletterze.

Portal Decydujmy razem używa plików cookies. Przeczytaj naszą Politykę prywatności aby dowiedzieć się więcej.
Aby usunąć tą wiadomość wystarczy kliknąć w przycisk po prawej: