Vaikuttavuuden todentaminen maaseudun kehittämisessä

Maaseudun kehittämistä tuetaan Suomessa EU-hankkeilla miljardeilla euroilla yhden ohjelmakauden aikana. Hankkeiden vaikuttavuutta, pitkäkestoisia vaikutuksia, maaseudun muutokseen on haastavaa arvioida. Maaseudun kehittymiseen vaikuttaa moni muukin asia kuin kehittämishankkeet. Tietoa siitä, mitä maaseudun kehittämisrahoituksella on saatu aikaan, on tärkeä kerätä. Tieto kiinnostaa ja konkretisoi vaikuttavuutta. 

Vaikuttavuus on usean osatekijän summa

Vaikuttavuus on noussut yhdeksi keskeiseksi termiksi organisaatioiden julkaisuissa ja asiantuntijoiden puheissa. Vaikuttavuudella halutaan osoittaa, että tehty toiminta on tärkeää, sillä on kestävyyttä ja sitä kannattaa tukea. Vaikuttavuus-termi on moniselitteinen ja siitä on käytössä lukuisia määritelmiä. Yleisesti ottaen vaikuttavuutta pidetään ’vaikutusta’ laajempana ilmiönä. Vaikuttavuus kiinnittyy yhteiskuntavastuuseen ja sen todentamiseen on alettu kiinnittää entistä enemmän huomiota.

Tämä artikkeli hyödyntää vaikuttavuuden ymmärtämiseen niin kutsuttua vaikutusketjua, joka on laajasti käytössä ja tunnetaan kansainvälisissä julkaisuissa iooi-menetelmänä (kuvio 1). Iooi tulee sanoista input-output-outcome-impact. Menetelmä auttaa tunnistamaan vaikutusketjun eri tekijöitä, niiden välisiä suhteita ja eroavaisuuksia. Vaikutusketjua voidaan tarkastella kahdesta lähtökohdasta riippuen siitä, onko kiinnostuksen kohteena pikemminkin panokset eli resurssit vai tavoitteellinen vaikuttavuus. Tästä syystä kuvassa 1 nuolet ovat molempiin suuntiin. Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Hakupäivä 9.3.2020. https://www.sitra.fi/julkaisut/vaikuttavuuden-askelmerkit/

KUVIO 1. Vaikutusketju eli iooi-menetelmä KUVIO 1. Vaikutusketju eli iooi-menetelmä. Muokattu teoksesta Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Hakupäivä 9.3.2020. https://www.sitra.fi/julkaisut/vaikuttavuuden-askelmerkit/. Ks. myös Corporate Citizenship planen und messen mit der iooi-Methode. Ein Leitfaden für das gesellschaftliche Engagement von Unternehmen. Bertelsmann-Stiftung. Hakupäivä 7.5.2020. https://www.bertelsmann-stiftung.de/de/publikationen/publikation/did/corporate-citizenship-planen-und-messen-mit-der-iooi-methode

Vaikuttavuus (impact) voi tarkoittaa monia asioita. Yleisesti se käsitetään ihmisten hyvinvointia ja yhteiskunnallista hyötyä tuottavana pitkän aikavälin myönteisenä kehityksenä. Jotta aikaansaadaan vaikuttavuutta, tarvitaan konkreettisia muutoksia (outcome) ihmisten käyttäytymisessä ja yhteisöjen rakenteissa. Tavoiteltavia muutoksia saadaan aikaan teoilla (output), jotka ovat harkittuja ja tulisi olla myös mitattavia. Teot kohdistuvat ennakkoon tunnistettuihin ja määritettyihin (asiakas)ryhmiin. Vaikutusketjun alin osa, eli panokset (input), voi tarkoittaa useita eri asioita, esimerkiksi aikaa, rahaa, osaamista ja kontakteja. Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Hakupäivä 9.3.2020. https://www.sitra.fi/julkaisut/vaikuttavuuden-askelmerkit/

Vaikuttavuuden todentaminen edellyttää selkeää kuvausta 

Vaikuttavuuden todentaminen on tärkeää. Ilman todentamista vaikuttavuuden tunnistaminen ja tunnustaminen hämärtyvät ja vaikuttavuus uhkaa jäädä abstraktiksi trendisanaksi strategiapapereihin ja rahoitusohjelmiin. Todentamisen yhteydessä puhutaan vaikuttavuuden arvioinnista ja mittaamisesta, jotka tekevät todentamisesta konkreettista ja läpinäkyvää. Diakonissalaitoksen Outi Kuikanmäen Diakonissalaitos. 2019. Se nyt vaan on tyhmää maksaa turhasta – eli miksi mitata sote-palveluiden vaikutuksia. Diakonissalaitoksen Uutiskirje 23.1. Hakupäivä 9.3.2020. https://www.hdl.fi/blog/2019/01/23/vaikuttavuus-mittaaminen/ mukaan vaikuttavuuden mittaaminen on tärkeää, koska silloin pysähdytään miettimään toimintaa, tehtyjä tekoja. ”Pohdimme, tuottaako jokin palvelumme sen tuloksen, jota varten se on olemassa.” Diakonissalaitos. 2019. Se nyt vaan on tyhmää maksaa turhasta – eli miksi mitata sote-palveluiden vaikutuksia. Diakonissalaitoksen Uutiskirje 23.1. Hakupäivä 9.3.2020. https://www.hdl.fi/blog/2019/01/23/vaikuttavuus-mittaaminen/

Vaikuttavuuden todentamiseen käytetään erilaisia menetelmiä ja mittaristoja. Koska vaikuttavuus, yhteiskunnallinen hyöty, on monen toimijan yhteisvaikutuksena tuottamaa, sen todentaminen ja arviointi on lähtökohtaisesti haasteellista. Ennen kuin ylipäätään pystytään kiinnittymään tiettyihin mittareihin, vaikutusketjun eri panokset, teot ja vaikutukset tulee tunnistaa ja saattaa avoimeksi Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Hakupäivä 9.3.2020. https://www.sitra.fi/julkaisut/vaikuttavuuden-askelmerkit/. Lopullinen kuvaus vaikutusketjusta voikin muistuttaa eräänlaista palvelupolkua Innanen, P. 2020. Palvelupolulla kehitetään parempia palveluita. Palvelumuotoilu PALO. Hakupäivä 12.5.2020. https://www.palvelumuotoilupalo.fi/blogi/2018/10/13/palvelupolun-kuvauksilla-kehitetaan-parempia-palveluita. Tarkoituksenmukaiset mittarit löytyvät, kunhan ensin ”ymmärretään itse ilmiö, minkälaisia vaikutuksia toiminnalla tavoitellaan, minkälaisia muutoksia täytyy tapahtua, jotka aikanaan johtavat tavoiteltuun vaikutukseen ja minkälaisella tekemisellä haluttu muutos voidaan saada aikaan Kuikanmäki, O. 2019. Vaikuttavaa muutosta huostaanotettujen lasten ja heidän perheittensä elämään. Diakonissalaitos, blogi 18.6. Hakupäivä 12.5.2020. https://www.hdl.fi/blog/2019/06/18/vaikuttavaa-muutosta-huostaanotettujen-lasten-ja-heidan-perheittensa-elamaan/.”

Todentamisen haasteet maaseudun kehittämisessä

Euroopan maaseudun kehittämisen maatalousrahasto eli maaseuturahasto tukee maaseudun kehittämistä Euroopan maaseuturahasto. Pohjois-Pohjanmaan ELY-keskus. Hakupäivä 12.2.2020. http://www.ely-keskus.fi/web/ely/euroopan-maaseuturahasto ja tavoittelee toiminnallaan vaikuttavuutta. Pohjois-Pohjanmaan maakunnassa maaseudun kehittämistukea myöntävät maakunnan ELY-keskus sekä Leader-ryhmät, joita on viisi: Keski-Piste Leader, Koillismaan Leader, Nouseva Rannikkoseutu ry, Oulun Seudun Leader ry ja Rieska-Leader ry. Leadereiden toiminnan vastuualuejako on kuntaperusteinen. Popikki.fi. Pohjois-Pohjanmaan ELY-keskuksen ja Leader-ryhmien yhteiset sivut. Hakupäivä 12.2.2020. https://popikki.fi/ Yhteensä ohjelmakaudella 2014–2020 on ollut tarjolla hankerahoitusta reilu kahdeksan miljardia euroa Euroopan maaseuturahasto. Pohjois-Pohjanmaan ELY-keskus. Hakupäivä 12.2.2020. http://www.ely-keskus.fi/web/ely/euroopan-maaseuturahasto.

Maaseudun EU-hankkeita määrittää monenkirjavuus. Ruokaviraston ylläpitämästä maaseuturahaston hankerekisteristä löytyvät kyseisestä rahoitusohjelmasta vuosina 2014–2020 rahoitetut hankkeet Suomessa. Pohjois-Pohjanmaan alueella on tuona aikana rahoitettu yhteensä 1 113 hanketta, joista kehittämishankkeita on ollut eniten (N=580, F=52 %), yritystukia seuraavaksi eniten (N=523, F=47 %) ja teemahankkeita vähiten (N=10, F=1 %). Nämä tukihakemus- eli hanketyypit sisältävät monenkokoista kehittämistä. Hankebudjetit vaihtelevat 10 000 eurosta yli miljoonaan euroon, ja hakijoina on niin kyläseuroja, rekisteröityjä yhdistyksiä, yrityksiä kuin isompia julkisia organisaatiotakin. Maaseutu.fi. Hankerekisteri. Manner-Suomen maaseudun kehittämisohjelmasta 2014–2020 rahoitetut kehittämishankkeet sekä yritystuet. Hakupäivä 7.5.2020. https://tietopalvelu.ruokavirasto.fi/QvAJAXZfc/opendoc.htm?document=Published/raportointi.qvw&Sheet=SH_HR_FI&anonymous=true

Eri hanketyyppien seurannassa ja arvioinnissa hyödynnetään lukuisia mittareita. Näillä indikaattoreilla pyritään osoittamaan hankkeiden vaikutuksia, mutta todentamaan myös niiden vaikuttavuutta. Leader-ryhmillä on käytössä niin sanottu Hyrrä-indikaattorit sekä muita indikaattoreita. Hyrrä-seuranta on Ruokaviraston ylläpitämä valtakunnallinen tietojärjestelmä, jonka kautta hankehakemukset jätetään. Hyrrässä on määritelty eri hanketyypeille omat indikaattorinsa, joita hankkeissa on seurattava. Ruokavirasto. Hyrrä-asiointipalvelu. Hakupäivä 7.5.2020. https://www.ruokavirasto.fi/tietoa-meista/asiointi/sahkoinen-asiointi/hyrra/ Muut indikaattorit ovat esimerkiksi Leader-ryhmän omaan strategiaan linkittyviä. 

Mittareiden runsaus ja hankkeiden erilaisuus tekevät kehittämistoimien seurannasta ongelmallista. Vaikuttavuuden todentaminen osoitetaan hankekohtaisesti indikaattoreilla sen sijaan, että se voitaisiin tehdä yhteismitallisesti tai kootusti. Käytössä olevassa mittaristossa on puutteita. Muun muassa talkootyöhön osallistuvien henkilömäärää ei seurata. Lisäksi Hyrrään ilmoitetaan hankkeessa syntyneiden palveluiden ja/tai tuotteiden määrä, mutta tätä tietoa ei ole ladattavissa raportiksi. Tietoa kerätään paljon, mutta sitä ei voida sellaisenaan johtaa vaikuttavuustiedoksi.

Vaikuttavuus löytyy yhdessä

Vaikuttavuus esiin -hanke Nouseva rannikkoseutu ry. Vaikuttavuus Esiin. Hakupäivä 12.5.2020. https://www.nousevarannikkoseutu.fi/fi/omat-hankkeet/kaynnissa/vaikuttavuus-esiin järjesti työpajan Pohjois-Pohjanmaan Leader-ryhmien ja ELY-keskuksen maaseudun kehittäjille loppuvuodesta 2019. Tulevaisuusverstaassa keskusteltiin vaikuttavuuden tunnistamiseen ja todentamiseen liittyvistä tekijöistä (kuva 1). Tunnistamisen osalta suurimmaksi haasteeksi todettiin nykyinen hankeprosessi. Sitä pidettiin jäykkänä, eikä se ohjaa vaikuttavuuden tunnistamiseen hankkeen suunnitteluvaiheessa. Koska rahoitusta hakevat ja sitä myöntävät tahot ymmärtävät vaikuttavuuden eri tavoin eikä siitä ole selkeää määrittelyä yhteisesti käytössä, seuranta ja arviointi monimutkaistuvat.

KUVA 1. Kriittisen vaiheen muotoilua Tulevaisuusverstaassa (kuva: ©Harri Kontio)

Vaikuttavuuden todentaminen tuotti osallistujilta useita kriittisiä näkemyksiä. Palaute kohdistui 

• käytössä olevan ajan ja resurssien riittämättömyyteen, 
• arvostuksen puutteeseen ja lisäämiseen, 
• laadullisiin ja ”ylhäältä annettuihin” mittareihin, 
• tiedottamisen vaikeuteen sekä 
• hankkeiden erilaisuuteen. 

Kuinka tehdä vaikuttavuuden analyysiä monenkirjavasta joukosta luotettavasti ja uskottavasti? Entä miten viestiä vaikuttavuudesta laajalle yleisölle ymmärrettävästi?

Tulevaisuusverstas osoitti, että ymmärrystä maaseudun kehittämishankkeiden vaikuttavuudesta rakennetaan yhdessä. Keskusteluun osallistuminen tulee avata kaikille vaikutusketjun keskeisille tahoille. Rahoittajat, hanketoimijat, asiantuntijat, mutta myös hankkeiden varsinainen kohderyhmä eli maaseudun ihmiset ja yritykset tulee ottaa huomioon. On tärkeää selvittää maaseudulla asuvien ja toimivien näkemyksiä siitä, miten hankkeilla edistetään maaseudun hyvinvointia, elinvoimaa ja yritysten kilpailukykyä. Vaikuttavuuden arviointiin sopivat mittaristot tuotetaan myös yhteistyössä. Kokeilujen kautta toimivat mittarit jäävät käyttöön, osaa muokataan ja toisista luovutaan Heliskoski, J., Humala, H., Kopola, R., Tonteri, A. & Tykkyläinen, S. 2018. Vaikuttavuuden askelmerkit. Työkaluja ja esimerkkejä palveluntuottajille. Sitran selvityksiä 130. Hakupäivä 9.3.2020. https://www.sitra.fi/julkaisut/vaikuttavuuden-askelmerkit/.

Lähteet

Kuvalähteet

Uusimmat artikkelit