Sumo is ontwikkeld om reisgedrag te beïnvloeden. Met Sumo bouwt, volgt en evalueert u projecten stap voor stap. De stappen volgen elkaar logisch op. Het draait niet alleen om de maatregelen, maar juist om de gebruikers en hun gedrag. Alleen kijken naar maatregelen, zoals een nieuwe app of buslijn, helpt u nauwelijks verder dan het tellen van de gebruikers. Met de stappen van Sumo werkt u via ander gedrag toe naar effecten als minder autokilometers, minder parkeeroverlast en minder uitstoot. Door vanaf het begin te bepalen wat voor gedrag u wilt veranderen, kunt u de activiteiten en effectmeting meteen goed uitvoeren.
Meer informatie: http://www.crow.nl/sumo
5. Over Sumo
• Uit Zweden
• “System för Utvärdering av MObilitetsproject”
• Doorontwikkeld in het Europese Max-project
• Beheer en ondersteuning door EPOMM
• Eenvoudig, logisch & flexibel
• Gebaseerd op oude, vertrouwde methodes
• Van projectstart tot evaluatie
6. Waarom Sumo
toepassen?
• Focus op blijvende gedragsverandering geeft meer resultaat
• Tijdig signaleren dat bijstelling nodig is
• Effecten inzichtelijk maken
• Resultaten vergelijken met andere projecten
• Sumo is dé methode voor monitoring and evaluatie
9. Wanneer is een mobiliteitsmanagement-project
succesvol?
9
aanbieders mobiliteitsdiensten
afspraken afspraken
re izigers
overheden
werkgevers & publiekstrekkers
-
afspraken
winst
continuïteit
bedrijfsvoering
kostenbesparing
tevreden personeel
MVO
“genot”
“gewin”
“gemak”
doorstroming
meer treinreizigers
schone lucht
economie
parkeerprobleem
10. Centrale succesindicator voor
mobiliteitsmanagement
ander reisgedrag
minder
autokm
effecten
meer
opbrengst
tevreden
personeel
CO2 congestie
nieuwe
klanten
Dit meet Sumo!
programma/
project
11. Centrale succesindicator voor
mobiliteitsmanagement
“Het gaat niet om de maatregel,
maar om het gedrag
dat je wilt veranderen”
Marieke Martens, gedragswetenschapper bij TNO
13. Fasen van gedragsverandering
(MaxSem-model)
je staat niet open
voor verandering
Je ziet de voordelen van
verandering. Je staat er
open voor, maar bent
nog weinig gemotiveerd.
Je probeert het nieuwe
gedrag uit en kijkt of het
bevalt
Je zoekt informatie en
tast af hoe de omgeving
reageert. Je hakt knopen
door.
Je houdt het nieuwe
gedrag vast.
Het wordt een gewoonte.
15. 6
aanbod
4
5
gewenst gedrag
resultaat
1 doel
2 gewenst gedrag
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
G tevreden
met aanbod
H ander
gedrag
I
effecten
doelgroepen
F proberen
Van doel naar aanbod Van aanbod naar resultaat
3 aanbod
partijen
16. van doel naar aanbod
1 doel
doelgroepen
2 gewenst gedrag
3 aanbod
partijen
17. wat wil je bereiken?
Wat bied je de
doelgroepen en de
partijen aan?
welke groepen
reizigers
heb je nodig?
welke partijen
zijn nodig om de
doelgroep in
beweging te
krijgen?
wat wil jij dat de
doelgroepen en
de partijen
doen?
Product Prijs
Plaats Promotie
Proces
van doel naar aanbod
1 doel
doelgroepen
2 gewenst gedrag
3 aanbod
partijen
relatie tussen
doelgroepen en
samenhang tussen
en partijen
18. Is er een maximum
aan het aantal
mensen dat mee
kan doen?
Hoeveel mensen
passen naar
verwachting hun
gedrag aan?
Hoeveel mensen
moeten gedrag
veranderen om het
doel te bereiken?
Hoe groot
zijn de
doelgroepen?
Hoeveel mensen
vertonen
ongewenst
gedrag?
Hoeveel mensen
vertonen nu al
het gewenste
gedrag?
van doel naar aanbod
1 doel
doelgroepen
2 gewenst gedrag
3 aanbod
partijen Hoeveel partijen
zijn er?
19. 6
5
aanbod
gewenst gedrag
4
resultaat
doelgroepen partijen
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden
met aanbod
H ander
gedrag
I
effecten
Welke activiteiten zijn uitgevoerd
om het reisgedrag te veranderen?
Hoeveel kennen het aanbod?
Hoeveel mensen/ partijen hebben
belangstelling voor het aanbod?
Hoeveel zijn er tevreden met de
informatie over het aanbod?
Hoeveel zijn van plan gebruik te
maken van het aanbod?
Hoeveel proberen het nieuwe
gedrag uit?
Hoeveel zijn er tevreden over?
Hoeveel blijven het nieuwe gedrag
vertonen?
Wat is de impact hiervan?
Is het doel bereikt?
Maak
realistische
inschat-tingen
Maak
gebruik van
MaxEva
voor
inspiratie
Van aanbod naar resultaat
20. tussendoelen indicator(en) doel(en) wanneer meten hoe meten
4 aanbod 5 gewenst gedrag 6 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
21. monitoring & evaluatie doel(en) uitkomst(en) doelen gehaald? toelichting
3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
24. Analyse
• 20% fietst al
• 50% woont verder dan 10 km van het werk
• 30% woont op (e)fietsafstand maar pakt de auto
• als 10% hiervan (300) 2 dg/ week met de fiets komt, is het knelpunt opgelost
25. 1 doel
2 gewenst gedrag
3 aanbod
125 auto’s uit de spits
doelgroepen
automobilisten die < 10
km van werk wonen
2 dg/ week met (e)fiets
ipv auto naar werk
probeeractie
partijen
werkgevers op
Werklust
meewerken aan
campagne
promotiemateriaal
van doel naar aanbod
26. indicator(en) doel(en)
te bereiken
medewerkers
aantal
medewerkers
aantal
medewerkers
aantal
medewerkers
aantal
medewerkers
3000
4800
2400
1200
300
tussendoelen
3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
27. indicator(en) doel(en)
aantal
medewerkers
aantal
medewerkers
aantal
medewerkers
aantal
medewerkers
aantal
medewerkers
3000
3000
1500
750
188
tussendoelen
3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
28. Doel en doelgroepen
Uitkomst gesprekken + enquête
• 5 bedrijven zijn al actief
• 15 willen meedoen
• 10 hebben geen belangstelling
• automobilisten uit Woudstad en Bosstad willen best fietsen
• er ontstaan parkeerproblemen
• idee van fietsactie is sympathiek, maar mensen die al jarenlang fietsen,
voelen zich buitengesloten
29. van doel naar aanbod
1 doel
2 gewenst gedrag
3 aanbod
Definitief projectontwerp
125 auto’s uit de spits
doelgroepen
1. automobilisten
< 10 km van werk
2. huidige fietsers
1. 2 dg/ wk met (e)fiets
2. blijven fietsen +
ambassadeur worden
1. fietscompetitie en
e-fietsactie
2. fietscompetitie +
prijs beste ambassadeur
partijen
1. koploperbedrijven
2. volgers
3. achterblijvers
1+2: meewerken aan
campagne
3: actie niet frustreren
1: goede naam
1+2: promotiemateriaal
3: personeel
rechtstreeks benaderen
30. 3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
indicator(en) doel(en) wanneer meten hoe meten
aantal benaderde
medewerkers
aantal
medewerkers
aantal downloads
op website
aantal
inschrijvingen
aantal
medewerkers
aantal tevreden
medewerkers
aantal
medewerkers
doorstroming
CO2-reductie
3000
3000
1500
750
700
500
188
geen congestie
xxx
na een maand
na een maand
na een maand
continu
na inleveren e-fiets
3 maand na afloop
3 maand na afloop
xxx
steekproef
webstatistiek
tellen
bijhouden
enquête
2e enquête
oordeel werkgevers;
CO2 berekenen
tussendoelen
Definitief projectontwerp
31. Uitvoering
• tussenbalans na 1 maand:
• deelnemende bedrijven steunen de actie daadwerkelijk
• ambassadeurs functioneren goed
• aantal inschrijvingen loopt goed, maar kan beter
• bekendheid bij enkele bedrijven erg laag
• besluit:
• extra acties campagneteam bij deze bedrijven
• resultaat: ruim genoeg inschrijvingen
• 3 maanden na afloop:
• peiling bij werkgevers en bij deelnemers
32. 3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
3000
3000
1500
xxx
750
700
500
188
doel(en) uitkomst(en) doelen gehaald? toelichting
geen congestie
CO2-reductie
2400
1200
800
750
600
200
nog wat congestie
261 ton/ jr
nee
nee
ja
ja
ja
ja
niet helemaal
doel was te hoog
doel was te hoog
dankzij de
ambassadeurs
lukt wel met de
extra maatregelen
monitoring & evaluatie
Resultaat
33. Kosteneffectiviteit
kosten
project
personeel doelen gehaald?
Projectkosten:
€ 100.000,-
projectdoel
aandeel project in resultaten
kosteneffectiviteit
kosteneffectiviteit
kosten per deelnemer
kosten per bespaarde autokm
kosten per bespaarde liter brandstof
kosten per vermeden kg CO2
kosten-batenverhouding
€ 500
€ 0,12
€ 2,42
€ 0,38
1:10
35. Voorbeeld: Malmö no
ridiculous car trips
1 doel
2 gewenst
gedrag
3 aanbod
minder autogebruik bij korte ritten in de stad
doelgroepen
automobilisten
in Malmö
besef dat autogebruik in
de stad ‘ridiculous is’ en
daar naar handelen
‘confessions’ op laten
schrijven, prijs
website, billboard,
campagneteam
partijen
geen
36. 36
3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
uitkomsten
maatregel: schrijf op wat je ‘ridiculous car trip’ is
communicatie: website, billboard, campagneteam
50 % bewoners kent de campagne
94 % vindt de communicatie goed
16 % heeft overwogen om minder vaak de auto te pakken
23 % is anders gaan denken
9 % gebruikt de auto minder vaak = 14.000 mensen
14.000 gaan ervanuit dat ze het nieuwe gedrag vasthouden
Voorbeeld: Malmö no
ridiculous car trips
37. Voorbeeld: autodelen
Nijmegen-Oost
1 doel
2 gewenst
gedrag
3 aanbod
onderzoeken of groter aanbod deelauto’s
leidt tot meer autodelers
doelgroepen
bewoners Nijmegen-
Oost
abonnement nemen op
Greenwheels
8 extra deelauto’s
flyers, ingepakte auto’s,
mensen persoonlijk
aanspreken
partijen
gemeente,
Greenwheels
Transumo financiert
deelauto’s
GW voert actie uit
Projectfinanciering
voor Greenwheels +
onderzoek naar
effecten
38. 3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
uitkomsten
8 deelauto’s bijgeplaatst; actie met ingepakte auto’s
3500 flyers verstuurd; 5300 mensen aangesproken
50 % via brief gemeente; 26% via krant, 9% kent ingepakte auto’s
niet bekend
Greenwheels heeft cijfers
46 nieuwe abonnementen
(27% groei; rest Nijmegen: 1% groei)
4 van de 8 auto’s wordt permanent -> ca 16 minder bezette P’s, -540 kg
CO2/jr; -46.000 autokm; 5-20% meer fiets/ ov
Voorbeeld: autodelen
Nijmegen-Oost
870 willen meer informatie
1522 overwegen abonnement
46 nieuwe abonnementen (3 april – 9 december 2009)
Greenwheels heeft cijfers
39. Voorbeeld:
e-fietsactie
1 doel
2 gewenst
gedrag
3 aanbod
stimuleren e-fiets in woon-werkverkeer
doelgroepen
werknemers in
Haaglanden
met de e-fiets naar het
werk i.p.v. met de auto
één maand lang een e-fiets
proberen
partijen
werkgevers in
Haaglanden (convenant
MM)
meedoen aan de actie;
communicatie naar
personeel
meedoen is kosteloos
40. 3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
maatregel: probeer e-bike/ e-scooter
communicatie: via werkgevers
?
?
?
?
?
uitkomsten
Voorbeeld:
e-fietsactie
22 werkgevers met in totaal 3500 werknemers doen mee
292 inschrijvingen
Werkgevers en werknemers zijn enthousiast
41. Voorbeeld: met bel-gerinkel
naar de winkel
1 doel
2 gewenst
gedrag
3 aanbod
meer mensen gaan met de fiets naar de winkel
doelgroepen
bewoners
met de fiets naar de
winkel i.p.v. met de auto
met een volle spaarkaart
(10 ritten) maak je kans
op leuke (fiets)prijzen +
div. communicatie
partijen
winkeliers
meedoen aan de actie;
spaarkaarten
verstrekken en innemen
meer klandizie t.g.v. de
actie
42. 3 aanbod 2 gewenst gedrag 1 resultaat
A activiteiten
B bekendheid
C interesse
D tevreden over
informatie
E aanvaarden
F proberen
G tevreden met
aanbod
H ander gedrag
I effecten
uitkomsten
maatregel: spaarkaart
communicatie: posters, flyers, banner, h-a-h-bladen; in winkels
?
74 % is tevreden over de informatie
11.388 spaarkaarten ingeleverd (= 113.880 fietsritten)
20% zegt meer te fietsen
reductie:
38.719 kg CO2, 114 kg NOx, 13,6 kg PM10
Voorbeeld: met bel-gerinkel
naar de winkel
?
?
?
50. Wat is
monitoring & evaluatie?
• monitoren = meten & beschrijven wat er gebeurt
verzamelen opslaan, bewerken van gegevens
• evalueren = de waarde (value) op een
systematische manier bepalen, om:
• te bepalen of het doel is bereikt
• te vergelijken met andere projecten
• te leren
• causale verbanden te leggen
51. Waarom monitoren & evalueren?
• voortgang meten
• projecten tijdig bijstellen
• duidelijk maken wat (niet) effectief is
• tevreden stellen van managers, I&M, politici,…. jezelf
• steun voor vervolgacties krijgen
MM-effecten zijn vaak onzichtbaar !!
• MM –maatregelen zijn kosteneffectief
TOON DAT AAN!!
52. Waarom geen m&e?
- evalueren kost tijd, geld en moeite
- gedrag veranderen kost tijd
- we zijn geen academici of onderzoekers
De echte angst:
- tegenvallende uitkomsten
- een mislukt project
52
53. Het belang van m&e
• MM is kosteneffectief
• als je dat niet kunt aantonen, marginaliseer je het resultaat
• evaluatie kan je project redden
• evalueren is meer dan cijfers:
• verklaringen zoeken
• ook het proces evalueren
“Love your evaluation!”
(Eric Schreffler)
53