Izvērtējumu darba uzdevumu izstrāde – diskusijas kopsavilkums

2018.gada 18.septembrī Rīgas Ekonomikas augstskolā notika Latvijas izvērtētāju asociācijas rīkotā diskusija par izvērtējumu darba uzdevumu izstrādi. Latvijas izvērtētāju asociācija rīkoja šo diskusiju, lai kopīgi ar izvērtējumu izpildītājiem un pasūtītājiem pārrunātu izvērtējumu darba uzdevumu izstrādi un starptautisko labo pieredzi izvērtējumu darba uzdevumu noteikšanā. Kvalitatīvs izvērtējuma darba uzdevums ir viens no būtiskiem elementiem, lai nodrošinātu vienotu izpratni starp pasūtītāju un izpildītāju un sasniegtu izvērtējuma mērķi. 

Diskusijas ievadā A.Timofejevs (Oxford Research Baltic) dalījās ar izvērtējumu darba uzdevumu izstrādi biežāk saistītajiem izaicinājumiem un labo praksi to risināšanai:

Problēma: Darba uzdevums ir mērķēts uz procesu, nevis rezultātu.

Iespējamie risinājumi: veidojot darba uzdevumu, censties vispirms noteikt ar kādu nolūku izvērtējumu plānots veikt un kā tas tiks izmantots. Ieteicams definēt robežas, cik tālu tiek skatīts jautājums, ņemot vērā izvērtējuma kontekstu. Ieteicams definēt robežas, cik tālu tiek skatīts jautājums, ņemot vērā izvērtējuma kontekstu. Ja runa ir par ietekmes izvērtējumu, tad ieteicams skaidri definēt kas tiek saprasts ar ietekmi un kāda ietekme no politikas/programmas tiek sagaidīta. Darba uzdevumā vēlams noteikt pēc iespējas konkrētākus izvērtējuma jautājumus, nepārspīlējot ar to daudzumu.

Problēma: Cik precīzi pasūtītājam darba uzdevumā norādīt izvērtējuma metodes?

Starptautiskā pieredze rāda, ka veiksmīgi ir gadījumi, kad pasūtītājs definē izvērtējuma mērķi un jautājumus, metožu izvēli atstājot izpildītāja ziņā. Izpildītāja uzdevums, iesniedzot piedāvājumu, ir sniegt savus priekšlikumus un pamatojumu par visefektīvākajām izvērtēšanas metodēm, modeļiem vai pieejām konkrētā izvērtējuma veikšanai, un šo piedāvājumu pasūtītājs vērtē ar punktiem. Tādējādi netiek izslēgtas kādas inovatīvas metodes vai pieejas, par ko pasūtītājs nav bijis informēts vai nav iedomājies gatavojot darba uzdevumu.

Problēma: Pārspīlētas prasības pretendentam un ekspertiem

Katrā konkrētajā gadījumā izvērtēt kādas kompetences ekspertiem būtu visbūtiskākās, lai kvalitatīvi veiktu uzdevumu. Ieteicams vairāk fokusēties uz pieredzi, nevis formāliem kritērijiem. Tāpat būtu jāizvērtē, vai kāds no ekspertu pieredzes kritērijiem nav nepamatoti diskriminējošs. Piemēram, pieprasot atbilstošu pieredzi pēdējo 3 gadu laikā, eksperts, kas bijis bērna kopšanas atvaļinājumā šinī laika periodā tiek diskriminēts, kaut arī pirms tam daudz ilgstošākā laika periodā veicis ekvivalentus uzdevumus.

Problēma: Cena vai kvalitāte

Izvērtējuma iepirkumos viennozīmīgi noteicošajai vajadzētu būt piedāvājuma kvalitātei, nevis cenai. Vērtēšanas kritēriju īpatsvars var būt dažāds, bet cenai nevajadzētu būt lielākai par 10% – 30%. Pārējiem punktiem būtu jāsadalās starp piedāvājuma saturisko kvalitāti (metodoloģiju), pretendenta un ekspertu pieredzi un kompetencēm.

Problēma: Kā nodrošināt to, ka pasūtītājs un izpildītājs ir “uz viena viļņa”

Iepirkuma procesa laikā organizēt ieinteresēto pretendentu sanāksmes, kur klātienē var uzdot jautājumus un visi potenciālie pretendenti var dzirdēt atbildes. Pēc līguma noslēgšanas ieteicams rīkot ievadsanāksmi, kur detalizēti vienoties par darāmiem darbiem, pušu atbildību un procesu. Ieteicams izvērtējuma veikšanas gaitā regulāri tikties ar izvērtējuma vadītāju un galveno ekspertu.

Problēma: Nav pieejami izvērtējumam nepieciešamie dati

Pasūtītājam ieteicams programmas/[politikas īstenošanas gaitā savlaicīgi un regulāri uzkrāt un sistematizēt datus, kas būs nepieciešami izvērtējuma veikšanai un, uzsākot izvērtējumu, nodod tos izvērtētājam. Atbilstošu datu pieejamība ir jāizvērtē gatavojot darba uzdevumu un formulējot izvērtējuma jautājumus. Savlaicīgi uzkrājot datus, vai pieprasot tos no citām institūcijām tiktu atvieglots izvērtējuma process. Ja datu ieguve pirms izvērtējuma uzsākšanas nav iespējama, ieteicams paredzēt atbilstošu laiku datu ieguvei izvērtēšanas laika plānā.

Diskusijas turpinājumā N.Strautmanis (Finanšu ministrijas Izvērtēšanas nodaļa) dalījās ar Finanšu ministrijas pieredzi darba uzdevumu sagatavošanā un procesa vadībā, kā arī sagaidāmajām izmaiņām ES fondu izvērtēšanas regulējumā.

Nākošā plānošanas perioda Kopīgo noteikumu regulas priekšlikums paredz būtiskas izmaiņas, nosakot piecus kritērijus: efektivitāte (ieviešanas efektivitāte), lietderība (izmaksu efektivitāte), atbilstība (nepieciešamība), saskaņotība (papildinātība) un ES pievienotā vērtība (radītā pievienotā vērtība). Prognozējams, ka izmaiņas kritērijos būtiski ietekmēs izvērtējumu pieejas un fokusu, tomēr Finanšu ministrijas uzmanības centrā joprojām būs vēlme saprast kādas reālas pārmaiņas ir notikušas ieguldījumu ietekmē. Svarīgi apzināties, ka ietekmes izvērtēšana nevar aprobežoties ar Darbības programmas rādītāju sasniegšanas analīzi, kas ir uzraudzības procesa uzdevums.

ES fondu izvērtējumos lielākie izaicinājumi un problēmas saistāmi ar datu pieejamību atbilstošā griezumā un laikā, atšķirīgu izpratni par izvērtējuma mērķiem un rezultātiem, neatbilstošu izvērtējumu plānošanu, izvērtējuma mērķim neatbilstošu metožu pielietojumu un formālu ekspertu piesaisti. Darba uzdevuma kvalitāte ir būtisks priekšnosacījums, bet pasūtītajam ir pieejami arī citi instrumenti.

Finanšu ministrijas pieredze rāda, ka izvērtējuma kvalitāti veicina skaidri formulēti izvērtēšanas jautājumi. Nesena prakse, kas uzrādījusi labus rezultātus, ir iekļaut darba uzdevuma izveidi kā vienu no izvērtējuma jautājumiem. Procesa kvalitātes nodrošināšanā labā prakse ir regulāras tikšanās (reizi mēnesī) ar izvērtējuma komandas vadītāju un galveno ekspertu. Plānojot izvērtējumu ieteicams visas detaļas sīki atrunāt līgumā un par tām vienoties ar izpildītāju ievadsanāksmē, kur pārrunāt gan darba uzdevumu, gan tā izpildes gaitu. Ieteicams arī savlaicīgi nodrošināt nepieciešamos datus.

Diskusijas noslēgumā K.Veitners un K.Cinīte dalījās ar starptautisko labo praksi izvērtējumu plānošanā, konkrēti Evaluability Assessment (izvērtējamības novērtējums jeb priekšizpēte).

Evaluability assessment (EA) ir starptautiski plaši izmantots instruments, kas aktīvi iesaista galvenās ieinteresētās puses izvērtējuma plānošanā. EA atbild uz jautājumiem:
– Vai programma/politika ir gatava jēgpilnam un noderīgam izvērtējumam?
– Kāpēc izvērtēt?
– Kas ir jāizvērtē?
– Kam izvērtējums ir nepieciešams? Utt.

EA analizē programmas/politikas dizainu, datu pieejamību, kontekstu un plānoto izvērtējuma pielietojamību, palīdzot saprast cik lielā mērā programma/politika ir gatava izvērtējumam un kas būtu jādara, lai izvērtējums pēc iespējas labāk sasniegtu savu mērķi.

Izvērtējamības novērtējuma galvenie soļi ietver ieinteresēto pušu noteikšanu, programmas/politikas robežu definēšanu, pieejamo dokumentu analīzi, pārmaiņu teorijas precizēšanu (mērķi, resursi, aktivitātes, rezultāti). EA koncentrējas uz ieinteresēto pušu interesēm, analizējot to uzskatus par programmu/politiku, fiksējot dažādu grupu atšķirības rezultātu uztverē, tādējādi nosakot pārmaiņu teorijas ticamību un programmas/politikas lietderīgumu. Tikai tad, ja šajos soļos ir gūtas pozitīvas atbildes, tiek pieņemts lēmums par izvērtējuma veikšanu. EA parasti veic pasūtītājs iekšēji, vai arī piesaistot ārējus ekspertus pirms izvērtējuma uzsākšanas. Iespējams EA iekļaut arī izvērtējumā kā tā pirmo posmu.

Diskusijas kopsavilkums atrodams ŠEIT.

A.Timofejevs “Izvērtējumi: izaicinājumi un labās prakses piemēri”

N.Strautmanis “Izvērtējumu darba uzdevumi – Kas darbojas un kas nē?”

K.Veitners “Izvērtējamības novērtējums”

0 Komentāri
Pievienot Komentāru

Atbildēt

Jūsu e-pasta adrese netiks publicēta. Obligātie lauki ir atzīmēti kā *