Presentatie door Carine Wesselius (Deltares) en Lieke Melsen (Wageningen Universiteit), op de D-HYDRO Gebruikersdag, tijdens de Deltares Software Dagen - Editie 2022. Woensdag, 22 juni 2022, Delft.

1. De ene modelleur is de
andere niet:
Hoe komen modelkeuzes
tot stand?
Carine Wesselius – Deltares
Lieke Melsen – Wageningen University
Janneke Remmers – Wageningen University
Brit van der Meijden – Wageningen University

2. Programma
13.30 (15 min) Introductie
13.45 (20 min) Welke keuzes komen jullie tegen tijdens het modelleren?
14.05 (20 min) Waar worden die keuzes op gebaseerd?
14.25 (20 min) Hoe kunnen we daarbij de kwaliteit waarborgen?
14.45 (15 min) Afsluiting

3. 3

5. Lumped or
distributed?
Resolution? Data source
for parameters?
Spin-up
period?
Calibration
period?
Calibration
algorithm?
Which metrics
or diagnostics for
calibration?
Forcing
data set?
Which model?

6. Doel van onderzoek naar modelleerbeslissingen
• Bewustwording omtrent modelkeuzes bij modelleurs en eindgebruikers vergroten
• Modeller-workflows verbeteren op basis van richtlijnen
• Meer transparantie en inzicht in modelresultaten die besluitvorming ondersteunen

7. Programma
13.30 (15 min) Introductie
13.45 (20 min) Welke keuzes komen jullie tegen tijdens het modelleren?
14.05 (20 min) Waar worden die keuzes op gebaseerd?
14.25 (20 min) Hoe kunnen we daarbij de kwaliteit waarborgen?
14.45 (15 min) Afsluiting

8. Welke keuzes komen jullie tegen tijdens het modelleren?
Expliciet Impliciet
Modelschema
Hard-
gecodeerde
parameter
Opties voor
representatie
duikers
Zichtbare keuzes Verborgen keuzes

9. Welke keuzes komen jullie tegen tijdens het modelleren?
Welke keuzes worden met de opdrachtgever besproken?
Zijn er keuzes die al vast liggen in de offerte-aanvraag?
Hoeveel overleg is er nog over specifieke modelkeuzes na
het toekennen van de offerte?
www.menti.com
2526 0973 10 min overleg

10. Onderzoek van het model-ontwikkelings proces
7 semi-gestructureerde interviews
Januari – Juni 2022
Gerelateerd aan overstromingsberekeningen in D-Hydro
357 minuten aan materiaal
46.163 woorden
3 Modelleurs van een ingenieursbureau
4 Betrokkenen van een Waterschap:
• 1 projectleider
• 1 accountmanager / hydroloog
• 1 expert vloeistofmechanica & dijken
• 1 calamiteitenadviseur
MSc thesis Brit van der Meijden, Wageningen University,
“Towards a more sustainable model development process: lessons learned from a
flood risk model for a dike in The Netherlands”

11. Schematisatie
Resolutie
Gevoeligheidsanalyses
Expliciet Impliciet
Zichtbare keuzes Verborgen keuzes
(Semi) hard gecodeerde parameters
No-data waarden
Interpolatiemethodes
Worden (over het algemeen) wel
besproken
Worden niet besproken
Welke keuzes worden met de opdrachtgever besproken?

12. Schematisatie
Resolutie
Gevoeligheidsanalyses
Overal waar er wordt afgeweken
van de default-waarde
Welke keuzes zou de opdrachtgever graag
besproken en gerapporteerd zien?
Expliciet Impliciet
Zichtbare keuzes Verborgen keuzes

13. Waar worden die keuzes op gebaseerd?
Weet ik niet
Consistentie
Balans
rekentijd en
detailniveau
Alternatieven
geprobeerd
Doel van
het model
Ervaring
van
collega’s
Gebruikt in
eerdere
studies
Gemak
In lijn met
de bron-
data
Schematisatie
Maakt niet uit
Beste
representatie
van de fysieke
werkelijkheid
Default
waarde
Besproken
met de klant
Het
makkelijkst &
snelst
Is gewoon zo
gekozen

14. Weet ik niet
Ervaring
van
collega’s
Gebruikt in
eerdere
studies
Gemak
Maakt niet uit
Default
waarde
Het
makkelijkst &
snelst
Is gewoon zo
gekozen
In lijn met
de bron-
data
Geen duidelijke inhoudelijke
onderbouwing
Wel een duidelijke inhoudelijke
onderbouwing
Balans
rekentijd en
detailniveau
Alternatieven
geprobeerd
Doel van
het model
Schematisatie
Beste
representatie
van de fysieke
werkelijkheid
Besproken
met de klant
Consistentie
Waar worden die keuzes op gebaseerd?

15. Echter…
• Niet alle keuzes die de klant graag wil zien worden meegenomen
‘Ik wilde liever dat alle A- en waar mogelijk ook B- en C-watergangen
meegenomen zouden worden als 1D-elementen.’
• Keuzes die niet als belangrijk worden gezien, worden om die reden ook niet
onderbouwd
• Ook expliciete keuzes worden vaak niet of maar deels onderbouwd en
gedocumenteerd
‘Over het algemeen is het enige wat aan de klant wordt geleverd een
rapport over welk model en/of scripts er zijn gebruikt, welke resultaten
daaruit zijn gekomen en mogelijk welke kaarten er als input zijn gebruikt.’

16. Waar baseer jij jouw keuzes op?
10 min overleg
Verschilt dit voor impliciete en expliciete keuzes?
Zijn er richtlijnen waar je op terug kan vallen?
Is het nodig om alles te documenteren?
www.menti.com
2526 0973

17. Onderzoek de modelleur....
14 semi-gestructureerde interviews
3 verschillende instituten (Frankrijk, Belgie, Duitsland)
Februari – Juni 2020
835 minuten aan materiaal
110.767 woorden
3 Groepleiders
4 Senior onderzoekers
4 Post-docs
3 PhD-kandidaten
L.A. Melsen, 2022, “It takes a village to run a model – the social practices of
hydrological modeling”, Water Resources Research

18. Literature
Best available
data
Method based on
a lot of data
Method lead to
best performance
Open source
Model
specifics
Tested
Vision
Agreement
Available setup
was starting point
Can’t
remember
Code
availability
Computer
power
Confidence
colleague
Confidence
model
Consistency
Data
access.
Data
availability
Data
quality
Data
requir.
Data res.
Default model
setting
Default
model tool
Default tool
setting
Default
use team
Developed
here
Developed
there
Discussion
author team
Don’t
know
Discussion
developer
Effort
Experience
colleague
Experience
external
colleague
Experience
supervisor
Funding
agency
Documentation
model
Documentation
tool
Heritage
Infra-
structure
Know the
region
Lack of
time
Like it
Managed
to run
Good model
performance
Modelling
protocol
No real
reason
Not exactly
known
Not the
aim
Origin
data
Personal
experience
Personal
interest
Personal
judgement
Popular in
other comm.
Pragmatism
Previous work
internal
Project
end-use
Research
stay
Reviewer
asked
Run
time
School
knowledge
Project
partners
Script
availability
Will be used in
follow-up study
Supervisor
Team
leader
Time
efficiency
Trial and
error
Typically
used
Visual
inspection
Widely
used
Legend
Good documenta-
tion of data
Knew
existence
Compatibility
User
friendliness
To be part of
community
Politics
Set-up
available
Competition
Consequential
Individual
External party
Scientific
collaborator
Institute
Team
Scientific
community Literature
Best available
data
Method based on
a lot of data
Method lead to
best performance
Open source
Model
specifics
Tested
Vision
Agreement
Available setup
was starting point
Can’t
remember
Code
availability
Computer
power
Confidence
colleague
Confidence
model
Consistency
Data
access.
Data
availability
Data
quality
Data
requir.
Data res.
Default model
setting
Default
model tool
Default tool
setting
Default
use team
Developed
here
Developed
there
Discussion
author team
Don’t
know
Discussion
developer
Effort
Experience
colleague
Experience
external
colleague
Experience
supervisor
Funding
agency
Documentation
model
Documentation
tool
Heritage
Infra-
structure
Know the
region
Lack of
time
Like it
Managed
to run
Good model
performance
Modelling
protocol
No real
reason
Not exactly
known
Not the
aim
Origin
data
Personal
experience
Personal
interest
Personal
judgement
Popular in
other comm.
Pragmatism
Previous work
internal
Project
end-use
Research
stay
Reviewer
asked
Run
time
School
knowledge
Project
partners
Script
availability
Will be used in
follow-up study
Supervisor
Team
leader
Time
efficiency
Trial and
error
Typically
used
Visual
inspection
Widely
used
Legend
Good documenta-
tion of data
Knew
existence
Compatibility
User
friendliness
To be part of
community
Politics
Set-up
available
Competition
Consequential
Individual
External party
Scientific
collaborator
Institute
Team
Scientific
community

19. Literature
Best available
data
Consistency
Method based on
a lot of data
Method lead to
best performance
Open source
Model
specifics
Tested
Vision
Agreement
Available setup
was starting point
Can’t
remember
Code
availability
Computer
power
Confidence
colleague
Confidence
model
Consistency
Data
access.
Data
availability
Data
quality
Data
requir.
Data res.
Default model
setting
Default
model tool
Default tool
setting
Default
use team
Developed
here
Developed
there
Discussion
author team
Don’t
know
Discussion
developer
Effort
Experience
colleague
Experience
external
colleague
Experience
supervisor
Funding
agency
Documentation
model
Documentation
tool
Heritage
Infra-
structure
Know the
region
Lack of
time
Like it
Managed
to run
Good model
performance
Modelling
protocol
No real
reason
Not exactly
known
Not the
aim
Origin
data
Personal
experience
Personal
interest
Personal
judgement
Popular in
other comm.
Pragmatism
Previous work
internal
Project
end-use
Research
stay
Reviewer
asked
Run
time
School
knowledge Project
partners
Script
availability
Will be used in
follow-up study
Supervisor
Team
leader
Time
efficiency
Trial and
error
Typically
used
Visual
inspection
Widely
used
Legend
Epistemic Contextual
Good documenta-
tion of data
Knew
existence
Compatibility
User
friendliness
To be part of
community
Politics
Set-up
available
Competition
Consequential
Individual
External party
Scientific
collaborator
Institute Team
Scientific
community
Epistemisch
“wetenschappelijk gebaseerd”, om de
waarheidsgetrouwheid te
maximaliseren
Context-afhankelijk

20. Literature
Best available
data
Consistency
Method based on
a lot of data
Method lead to
best performance
Open source
Model
specifics
Tested
Vision
Agreement
Available setup
was starting point
Can’t
remember
Code
availability
Computer
power
Confidence
colleague
Confidence
model
Consistency
Data
access.
Data
availability
Data
quality
Data
requir.
Data res.
Default model
setting
Default
model tool
Default tool
setting
Default
use team
Developed
here
Developed
there
Discussion
author team
Don’t
know
Discussion
developer
Effort
Experience
colleague
Experience
external
colleague
Experience
supervisor
Funding
agency
Documentation
model
Documentation
tool
Heritage
Infra-
structure
Know the
region
Lack of
time
Like it
Managed
to run
Good model
performance
Modelling
protocol
No real
reason
Not exactly
known
Not the
aim
Origin
data
Personal
experience
Personal
interest
Personal
judgement
Popular in
other comm.
Pragmatism
Previous work
internal
Project
end-use
Research
stay
Reviewer
asked
Run
time
School
knowledge Project
partners
Script
availability
Will be used in
follow-up study
Supervisor
Team
leader
Time
efficiency
Trial and
error
Typically
used
Visual
inspection
Widely
used
Legend
Epistemic Contextual
Good documenta-
tion of data
Knew
existence
Compatibility
User
friendliness
To be part of
community
Politics
Set-up
available
Competition
Consequential
Individual
External party
Scientific
collaborator
Institute Team
Scientific
community
Epistemisch
“wetenschappelijk gebaseerd”, om de
waarheidsgetrouwheid te
maximaliseren
Context-afhankelijk

21. Hoe kunnen we modelleerkwaliteit waarborgen?

22. Hoe kunnen we modelleerkwaliteit waarborgen?

23. Hoe kunnen we modelleerkwaliteit waarborgen?
Bekendheid/gebruik

24. Hoe kunnen we modelleerkwaliteit waarborgen?
Bekendheid/gebruik

25. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’

26. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
Ondersteuning modelleur

27. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
Ondersteuning modelleur

28. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
Ondersteuning modelleur
Visie

29. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
‘Het werd ook wel een beetje als een ballast ervaren zeg maar of een hele formele methode die allemaal veel te
veel tijd kostte.’
Ondersteuning modelleur
Visie

30. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
‘Het werd ook wel een beetje als een ballast ervaren zeg maar of een hele formele methode die allemaal veel te
veel tijd kostte.’
Ondersteuning modelleur
Visie
Moeite voor modelleur

31. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
‘Het werd ook wel een beetje als een ballast ervaren zeg maar of een hele formele methode die allemaal veel te
veel tijd kostte.’
‘Het zegt al een hele hoop dat waterschappen alsnog hun eigen standaard werkwijze hebben voor modelbouw
bijvoorbeeld.’
Ondersteuning modelleur
Visie
Moeite voor modelleur

32. Voor- en nadelen van handboek
‘Ik heb het wel gebruikt inderdaad, zeker toen ik net begon met werken. Ik pak hem er nog wel een bij om iets op
te zoeken.’
‘Op good modelling practice, een deel daarvan, is onze visie gebaseerd.’
‘Het werd ook wel een beetje als een ballast ervaren zeg maar of een hele formele methode die allemaal veel te
veel tijd kostte.’
‘Het zegt al een hele hoop dat waterschappen alsnog hun eigen standaard werkwijze hebben voor modelbouw
bijvoorbeeld.’
Ondersteuning modelleur
Visie
Moeite voor modelleur
Te generiek

33. Hoe kunnen we modelleerkwaliteit waarborgen?
10 min overleg
Wat zijn mogelijke problemen bij het implementeren van een workflow?
Hoe zouden wij hierin kunnen faciliteren?
Welke vorm zou werken?
www.menti.com
2526 0973

34. Hoe kunnen we modelleerkwaliteit waarborgen? (1)
Hoe kan het model
ontwikkelings process
verbeterd worden?
Voor model-
ontwikkelaars
Voor model-
gebruikers
Eisen Acties
Gemak
Kwaliteit
Reproduceerbaarheid
Flexibiliteit
Toegankelijkheid
Efficiëntie
1. Gestandardiseerde
cyberinfrastructuur; run records;
expliciete definitie van parameters;
geautomatiseerde processen
Transparantie
2. Handleidingen en cheklists voor
besprekingen, rapporten en de
presentatie van
resultatenpresentation
Gebaseerd op Arnold et al. (2020)
3. Trainingen om het bewustzijn
over het belang van documentatie
te vergroten en met concrete
acties om dit te verbeteren
Documentatie heeft een cruciale rol:

35. Hoe kunnen we modelleerkwaliteit waarborgen? (2)
Kwaliteitsborging moet op vijf
niveaus gefaciliteerd worden:
1. Opdrachtgever – modelleur
2. Werkgever – modelleur
3. Collega’s – modelleur
4. Modelleur zelf
5. Belanghebbenden – modelleur
Tijd, geld, en ruimte in het project voor het opzetten
van documentatie, het doen van gevoeligheidsanalyse,
en de ontwikkeling van transparante scripts
De werkgever moet inzetten op modelleer-richtlijnen en
de naleving hiervan. Hier behoort ook toe het faciliteren
van cursussen en het faciliteren van collegiaal overleg.
Gedetailleerde, technische keuzes kunnen alleen met
mede-experts overlegd worden. Peer-review en vier-ogen
principes kunnen fouten in de implementatie voorkomen.
De modelleur moet altijd kritisch blijven, vragen blijven
stellen, en alert blijven op (slechte) gewoontes die in
kunnen slijten.
Belanghebbenden kunnen een rol spelen bij validatie
d.m.v. gebiedskennis, maar kunnen ook inzicht bieden
in in hoeverre modelleerkeuzes normatief of
vooringenomen waren.

36. Afsluiting
• Bewustwording omtrent modelkeuzes bij modelleurs en eindgebruikers vergroten
• Modeller-workflows verbeteren op basis van richtlijnen
• Meer transparantie en inzicht in modelresultaten die besluitvorming ondersteunen

37. Bedankt!
Lieke Melsen
Assistant Professor
Wageningen University
lieke.melsen@wur.nl
Carine Wesselius
Researcher
Deltares
carine.wesselius@deltares.nl
Janneke Remmers
Researcher
Wageningen University
janneke.remmers@wur.nl
Brit van der Meijden
MSc thesis student
Wageningen University
brit.vandermeijden@wur.nl