Tiivistelmä Sitran, RAY:n, OKM:n, STM:n ja Veikkauksen järjestämän Vaikuttavuusvalmentamon vaikutusten arviointiin keskittyneistä moduuleista.

1. TIIVISTELMÄ:
Järjestöjen Vaikuttavuusvalmentamo
29.-30.10.2016
Saila Tykkyläinen @SailaTy

2. MODUULI 2
TAVOITE: Kirkastaa yhteiskunnallisten
vaikutusten ja vaikutusketjujen analysoinnin
lähtökohtia.
 Yhteiskunnalliset vaikutukset
 Vaikutusten arvioinnin lähtökohdat
 Vaikuttavuusmaiseman ja –polkujen kartoitus
Saila Tykkyläinen @SailaTy

3. Yhteiskunnalliset vaikutukset
Teko Muutos KerrannaisvaikutusYksilö
Läheiset
Vertaisyhteisöt
Paikallistalous
Viranomaiset
Työura
Elinajanodote
Verokertymä
Palvelut
Työkyky
Koulutustaso
Kansanterveys
HPI
Naapurusto
Kohde
Koettu terveys
Saila Tykkyläinen @SailaTy

4. Vaikuttavuustavoite
Saila Tykkyläinen @SailaTy
Vaikuttavuustavoite
 Hissipuhe, kiinnostuksen herättäjä ja jaettu tavoite
 Kerro se lööpillä!

5. Vaikutusten arviointi
Saila Tykkyläinen @SailaTy
Vaikutusten arviointi
 Vaikutusten mallinnus on tiekartta kohti
vaikuttavuustavoitetta. Miksi ja miten ratkaisusi
toimii?
 Vaikutusten todentamisella ja mittaamisella
tutkitaan mallin pätevyyttä.
- Keep it simple and sharp

6. Vaikutusketju1
- Arvioi vaikutuksia, älä tuotoksia
PANOS
(input)
TUOTOS
(output)
TULOS
(outcome)
VAIKUTUS
(impact)
Resurssit:
Hlöt
Osaaminen
Tilat
Välineet
Raha
Partnerit
Määrälliset:
Osallistujat
Käyttäjät
Laadulliset:
Aktiivisuus
Motivaatio
Välittömät
muutokset
Välilliset
muutokset
? ?
Pitkäkestoinen
muutos
- Mitä olisi
tapahtunut joka
tapauksessa
- Muiden osuus
- Drop off
?
TOIMINTA
(action)
Saila Tykkyläinen @SailaTy
1
Impact chain, I(A)OOI chain

7. Työntekijät:
5 opettajaa, opo,
liikuntaohjaaja
Vertaisryhmä:
5 oppilasta
Opettajan aikaa
vapautuu
opettamiseen
Sovellus
käyttöön 50
oppilaalle ja 5
opettajalle
Tarvittaessa
ohjataan sote-
palveluihin
Oppimisen tuki
15 oppilaalle,
yht. 46 tuntia Konseptin vaikutuksesta
syrjäytymisriskiin:
- 60% pääsee viiden
vuoden kuluessa
työelämään tai
opintoihin joka
tapauksessa.
-II asteen koulujen
panos valmistumiseen.
PANOS TUOTOS TULOS VAIKUTUS
Ilmapiiri luokassa
paranee
Yhteistyö:
kunnan
nuorisotyö
liikuntaseurat
II asteen opisk.
Todennäköisyys II asteen
tutkinnon
suorittamiseen kasvaa ->
syrjäytymisriski
pienenee
Uusia
kaverisuhteita
45 sovelluksen
käyttäjää jakaa
siellä kokemuksiaan
ja kannustaa muita
Sosiaalinen
oppimissovellus
Rahoitus
TULOS
MITTARIT
Oppimistulok-
set ja pääsy II
asteen kouluun
Sovelluksen
käytön
seuranta
Työrauha-
indikaattori
Esseet vapaa-
ajasta
Lintsaaminen
vähenee
35 oppilaan
oppimistulokset
paranevat
Opettajien
työhyvinvointi
paranee
Oppilaiden
myönteisyys
lisääntyy
e
€
€
Kielteinen vaikutus:
Lyhyellä aikavälillä
kunnan sote-
palveluiden käyttö
kasvaa
ESIMERKKI: Oppimistulosten parantaminen yläkoulussa
Tilat: koulu,
nuokkari ja
liikuntapaikat
25-30 nuorta
pelaa viikoittain
yhdessä
Uusia nuoria
saadaan
harrastusten pariin
Opiskelumotivaa
tio paranee
e
€
€
II asteen
opiskelijoiden
tapaamisia
Sosiaaliset
taidot
paranevat
Oppilaan ja
opettajan
arvio
Saila Tykkyläinen @SailaTy
Välitön m. Välillinen m.

8. Sidosryhmänäkökulma mallintamiseen
OPPIMIS-
KONSEPTI
PANOKSET TUOTOKSET TULOKSET VAIKUTUS
Oppilaat &
Vanhemmat
Koulu:
Tilat
Työntekijät
Kunta:
Tilat
Työntekijät
SIB-rahoitus
Sovellus
Oppimisen
tuki
Palveluiden
käyttö
Palveluohjaus
Työajan käyttö
Työhyvinvointi
Opetuksen
laatu
+ Poliisin
resurssit
- Palveluiden
käyttö lisääntyy
Op. motivaatio
Op. tulokset
Sos. suhteet ja
taidot
Harrastaja-
määrät
Vapaa-aika
II asteen koulutus
Elinkaaritulot
Tyytyväisyys
elämään
Tuloksellisuus
Sairauspoissaolot
Tuottavuus
Vähemmän NEET-
nuoria
Palveluiden käyttö
Sakkomaksut
Kunnallisverot
Säästöt ja tulot
Inhimillinen lisäarvo
Organisaatio- ja prosessihyödyt
Saila Tykkyläinen @SailaTy

9. Arvioinnin tavoitetaso
Kaksi koulukuntaa:
1. Tulosten kartoitus riittävä taso
 Painotus subjektiivisesti merkittävässä tiedossa ja osallistuvassa
arvioinnissa.
 Vertailtavuus kyseenalaista.
2. Oman toiminnan vaikutusten osuus selvitettävissä
 Kuinka suuri osa muutoksesta on ansiotasi: mitä olisi tapahtunut joka
tapauksessa (deadweight), mikä oli jonkun toisen osuus (attribution),
vaikutusten vaimeneminen ajan myötä (drop off).
 Objektiivinen vertailtavuus on tavoite. Kokeelliset tutkimusasetelmat
tyypillisiä.
Saila Tykkyläinen @SailaTy

10. Vaikutusketju arvioinnin välineenä
PANOS TUOTOS TULOS VAIKUTUS
Saila Tykkyläinen @SailaTy
TAVOITETARVE
Kenen
tarpeeseen
arvioitava
konsepti
vastaa?
Mikä on
arviotavan
konseptin
tavoite?
Tulosten ja vaikutusten suhde panoksiin ja toiminnan tavoitteisiin
- Arvioinnin ja arvioitavan konseptit tavoitteet kirkkaiksi!
Oletukset Oletukset Oletukset
VAIKUTTAVUUS

11. Saila Tykkyläinen @SailaTy
TARVE
TAVOITE
MALLI
TIEDON-
KERUU
ANALYY-
SI
PÄÄTÖK-
SET
1.
2.
3.
4.
UUSI
TARVE
UUSI
TAVOITE
HIOTTU
MALLI
Vaikutusten arvioinnin kierre
Kohti
vaikuttavuustavoitetta

12. Segmentointi
Hyödynsaajien näkökulma
 Kuka hyötyy välittömästi ja eniten?
Millaisia he ovat; kuinka monta, tausta,
lähtötilanne.
Minkälaiset tulevaisuudennäkymät heillä on?
 Kenen elämään välittömät hyödynsaajat
vaikuttavat?
Saila Tykkyläinen @SailaTy

13. Organisaation vaikuttavuus
Saila Tykkyläinen @SailaTy

14. Tunne ympäristösi
VAI
Saila Tykkyläinen @SailaTy

15. MODUULI 3
Saila Tykkyläinen @SailaTy
TAVOITE: Vakuuttavan, loogisen ja testattavan
vaikutusmallin perusteet.
 Mallintamisen merkitys
 Kaksi näkökulmaa mallintamiseen: vaikutuspuu ja
vaikutustarina
 Malleista mittareihin

16. Mallinnus on tärkeää…
 Nuku yösi hyvin: toimiihan ratkaisusi?
 Kehittämistyö, työntekijöiden motivointi
 Tietävätkö muut, että se toimii?
 Viestintä, lobbaus ja rahoittajat
 Malli on mittareiden perusta
Saila Tykkyläinen @SailaTy
- Ei järkeviä mittareita ilman hyvää mallia

17. …mutta kaikkein tärkeintä on aloittaa!
Saila Tykkyläinen @SailaTy

18. RUNKO:
PALVELULUPAUS
LEHVÄSTÖ:
VAIKUTUKSET
Yksilötason
muutokset
Kerrannais-
vaikutukset
JUURET: MIHIN
VAIKUTETTAVA?
RAVINTEET:
TOIMENPITEET
Edellytykset
Riskit
Vaikutuspuu
Saila Tykkyläinen @SailaTy
Copyright Saila Tykkyläinen, Antti Honkasalo

19. RUNKO:
PALVELULUPAUS
LEHVÄSTÖ:
VAIKUTUKSET
Yksilötason
muutokset
Kerrannais-
vaikutukset
JUURET: MIHIN
VAIKUTETTAVA?
RAVINTEET:
TOIMENPITEET
Copyright Saila Tykkyläinen, Antti Honkasalo
ESIMERKKI: Nuorten huono-osaisuuden lievittäminen
asumisessa
Edellytykset
Riskit
Nuori saa henkilökohtaista tukea ja tuntee
kuuluvansa aktiiviseen taloyhteisöön
Ammattitaito Nuoren
motivaatio
Toimeentulo
Elämäntavat
Luottamus
Talouden
hallinta
paranee
Ihmissuhteet
Osallistuminen
Yhteisön
Inklusiivisuus
Velkakierre
katkeaa
Asunnottomuus-
riski pienenee
Henkinen ja fyysinen
terveys kohenee
Työkyky paranee
Ennenaikainen
kuolleisuus
pienenee
Työ- ja op.
valmiudet
vahvistuvat
Palveluiden
käyttö vähenee
Kiinnittyminen
taloyhteisöön
Tulevaisuuden
usko kohenee

20. Kokemuksia puun käytöstä
 Hyvä malli syntyy vain kun palvelulupaus on tarkka ja
terävä.
 Kannattaisiko tehdä vaikutuspuumetsä: puu /
hyödynsaaja- tai asiakasryhmä?
Tosin ….
 Sopii myös taustoitus- ja suunnittelutyön
jäsentämiseen.
 Laajasta näkymästä on helppo pistää oksasakset
viuhumaan ja puristaa puu vaikkapa vaikutusketjuksi.
Saila Tykkyläinen @SailaTy

21. Mittaristo
Hyvä mittari...
 mittaa sitä mikä on tärkeintä.
 mittaa sitä mitä on tarkoitus (validiteetti).
 on ymmärrettävä tärkeimpien sidosryhmien näkökulmasta.
 perustuu arjessa kertyvään tietoon, jos vain mahdollista.
 tuottaa vertailukelpoista tietoa.
Hyvä mittaristo…
 seuraa ja todentaa matkaa kohti valittua vaikutustavoitetta.
 kattaa erilaisia aikajänteitä.
 tuottaa tietoa monien sidosryhmien näkökulmista.
 sisältää sekä subjektiivisia että objektiivisia mittareita.
 auttaa kehittämään toimintaa
Saila Tykkyläinen @SailaTy
- Mittaa muutosten suuntaa, suuruutta ja kestävyyttä

22. Saila Tykkyläinen @SailaTy
Vaikutustarina
Tarinat ja tarinallistaminen kiinteä osa ihmisen identiteetin rakentamista ja
sosiaalista maailmaa.
 Tarinalla on alku ja loppu
 Tarinan tapahtumia yhdistää juoni
 Usein tarina henkilöidään
Vaikuttavuutta mallinnettaessa ja viestittäessä:
 Hallittava ajanjakso tietyn hyödynsaajien arkkityyppiä,
”keskiarvoa”, edustavan ihmisen elämäntarinasta ja –
tilanteesta.
 Muista taustoittaa! Minkälainen henkilön tausta ja tilanne on.
 Tarinan muutoskohtiin kiinnitetään tilasto- / kustannus- /
hyötyjä kuvaavaa tietoa.

23. Saila Tykkyläinen @SailaTy
Esimerkki vaikutustarinasta
Lähde: Talentia

24. KIITOS
Saila Tykkyläinen @SailaTy