Een model toepassen of niet? Elf vragen om modellen te beoordelen

Vroeg of laat krijg je als arboprofessional te maken met de uitslag van een wiskundig model. Twee zaken zijn dan belangrijk. Namelijk wat is de mogelijk toegevoegde waarde van het model? En hoe beoordeel je die gefundeerd? Deze elf vragen moeten daarbij helpen.

Een model toepassen of niet? Elf vragen om modellen te beoordelen

Het woord 'wiskundig' doet vermoeden dat een modeluitkomst een afgeleide is van een berekening. Maar dit betekent nog niet dat het model volledig uit berekeningen bestaat. Op de vraag wat een model precies is, kunnen we moeilijk een allesomvattend antwoord geven. Modelmakers onder elkaar weten dit onbewust wel. Net zoals de meeste mensen weten wat een spel is, of wat een samenleving inhoudt.

Prioriteiten stellen: de rol van data en modellen

Binnen het risicomanagement is het risico vaststellen essentieel. Hoe je dat doet laat zich traditioneel het eenvoudigst uitleggen met een simpele formule: kans x effect. Dat kans en effect bepalen vaak niet eenvoudig is – en soms zelfs onmogelijk lijkt – blijkt uit het almaar toenemende gebruik van wiskundige modellen. Dat maakt dat de uitkomst van zo'n model steeds vaker de enige informatie is die de arboprofessional voorhanden heeft.

De inzet van een wiskundig model is vaak gestoeld op de aanname dat dit model een subjectief onderbuikgevoel vervangt door een objectieve berekening. Mede hierdoor vindt tegenwoordig op grote schaal dataverzameling plaats. Daarbij wordt steeds vaker gebruikgemaakt van artificial intelligence of machine learning-modellen.

De inzet van deze modellen leunt op de aanname dat heel veel data gecombineerd met heel veel rekenkracht en complexe wiskundige berekeningen wel moeten leiden tot inzichtvolle uitkomsten. Wiskundige modellen en grootschalige dataverzameling houden elkaar daarmee cyclisch in stand. Het is echter nog maar de vraag of modellen zo eenvoudig het gezonde verstand kunnen vervangen.

De keerzijde van succesvolle wiskundige modellen

Wiskundige modellen ontlenen hun succes grotendeels aan de natuurkunde. Dit heeft er alles mee te maken dat onze omgeving een grote mate van regelmaat kent, zoals de cyclus van de aarde, de maan en de zon. Voor een aantal natuurkundige wetten geldt hetzelfde, denk aan de wet van de zwaartekracht en de wet van de thermodynamica.

Deze regelmatigheden vormen de perfecte omstandigheden voor een wiskundig model, omdat de uitkomst een haast perfecte afgeleide is van de invoer. Ook valt het onderliggend mechanisme van het model goed te verklaren: het is een natuurkundige regelmatigheid (een wet).

Wiskundige modellen zijn in het veld van de natuurkunde dus een succes, maar dit succes kent ook een grote keerzijde. Die komt tot uiting in het misplaatste gevoel dat ook onregelmatigheden zich goed laten vangen in wiskundige modellen. We hebben dit gezien tijdens corona, toen kosten noch moeite werden gespaard om de samenleving te modelleren. De ervaring leert echter dat mensen zich maar moeilijk laten vangen in wiskundige formules.

Hoe kunnen we modellen het beste gebruiken?

Wanneer een model eenmaal gemaakt is, is de uitkomst eigenlijk een simpel gegeven. Dit betekent dat de beoordeling van die uitkomst alleen zin heeft als we ook het model wat eraan ten grondslag ligt kunnen beoordelen.

In de modellenwereld bestaat een beroemd cliché dat lukraak wordt ingezet om een algemene beoordeling te geven van een wiskundig model: All models are wrong, but some are useful (George Box). In de risicowereld is de wet van Murphy alom bekend: Anything that can go wrong, will go wrong.

Hoewel clichés een natuurlijke aantrekkingskracht hebben, zijn ze vaak buitengewoon leeg als het op de inhoud aankomt. In ons boek Van Aardbeving tot Zoönose wilden Ronald Meester en ik daarom een bruikbaarder handreiking bieden aan de (arbo)professional. Met dat doel hebben we een lijst met elf vragen opgesteld.

11 vragen om modellen te beoordelen

Iedereen die met modellen te maken krijgt, kan deze vragen inzetten om de modellen te beoordelen.

  1. Adresseert het model de juiste vraag? Wat denken we te kunnen winnen met het gebruik van een model in vergelijking met beleidskeuzes zonder model?
  2. Wat beoogt het model precies te modelleren? Is het voorspellend? Is het beschrijvend?
  3. Als het model moet bijdragen aan besluitvorming, is er dan nagedacht over de risico's en consequenties van eventueel slecht uitpakkende beslissingen?
  4. Is er consensus in de wetenschappelijke literatuur of onder wetenschappers over het gebruik van dergelijke modellen?
  5. Wat weten we precies over het realiteitsgehalte van het model waar we over praten?
  6. Wie heeft het model geconstrueerd en welke belangen hebben de makers hier eventueel zelf bij?
  7. Wie worden geraakt door de beleidsvoornemens van de overheid? Zitten deze mensen of groepen ook aan tafel? Hebben zij de gelegenheid gehad het model diepgaand te bestuderen en kritiek te leveren of alternatieven aan te dragen?
  8. Waarom heeft de overheid voor dit specifieke model gekozen? Zijn er alternatieven onderzocht?
  9. Kunnen de gesprekspartners zich vinden in de aannames van het model, en waarom precies?
  10. Is het te verwachten dat we van modellen veel leren in dit dossier, en waarom precies?
  11. Is er een ethische component in het spel en hoe verhoudt het model zich hiertoe?

Beginpunt van gesprekken tussen professionals

Deze elf vragen vormen naar ons idee het beginpunt van een gesprek tussen professionals. Is zo'n gesprek niet mogelijk? Dan helpen de vragen de arboprofessional toch om richting te geven aan het benodigde zelfonderzoek.

De elf vragen staan niet op volgorde van belang. Toch is naar ons idee de eerste vraag wel meteen de belangrijkste. Want wanneer het gebruik van een wiskundig model geen winst oplevert, geeft het gebruik ervan alleen maar problemen. Dan creëert het model alleen onnodige afhankelijkheid bij het bepalen van risico's en het beoefenen van risicomanagement.

Een belangrijke kanttekening: een model komt tot stand door veel (persoonlijke) keuzes te maken. Diezelfde subjectiviteit speelt een rol bij de beoordeling van een model. Daarom is het belangrijk dat de arboprofessional kritisch blijft nadenken over de totstandkoming van het model én de eigen beoordeling. Het gesprek blijft daarvoor een essentieel onderdeel.

Klimaatrisico's meewegen in huizenprijzen

We geven hier een voorbeeld van een situatie waarin het gebruik van wiskundige modellen logisch lijkt, maar dat niet is.

In een recent rapport van Calcasa staat beschreven hoe huiseigenaren gezamenlijk 325 miljard euro zouden verliezen als de klimaatrisico's meewegen in de huizenprijzen. Van 50.000 woningen zou de waarde met bijna de helft dalen door een hoog overstromingsrisico.

Dit zijn uitspraken gebaseerd op berekeningen die direct van invloed kunnen zijn op de marktwaarde van een huis. In de financiële wereld is een vermoeden van waardedaling vaak al genoeg om die daling te realiseren. Voor een modelmaker is een dergelijke exercitie een waar festijn. Want een marktwaardemodel combineren met een klimaatmodel betekent: financiële onzekerheid vermenigvuldigen met natuurkundige onzekerheid.

Buiten beschouwing blijft echter dat de bewoners van deze huizen nu haast letterlijk zijn overgeleverd aan de bevindingen van de modelmakers – en hun ongrijpbare, vaak niet beschikbare, modellen. Maar risicomanagement moet meer zijn dan met cijfers strooien. Gebeurt dit toch, dan moet het model voor iedereen inzichtelijk worden gemaakt. Is een model niet voorhanden, dan is dat eigenlijk al een rode vlag.

Model is slechts een mening in wiskundige vorm

Ook arboprofessionals zullen in de toekomst steeds vaker te maken krijgen met de vele prognoses uit de klimaatscenario's van het KNMI. De modellen die hieraan ten grondslag liggen, zijn uiterst complex en aan verandering onderhevig. Wie nu beleid wil maken, kan zich onmogelijk baseren op een prognose van de situatie over 100 jaar. Toch lijkt dit steeds vaker te gebeuren.

Het is dus aan de arboprofessional om van risicomanagement meer te maken dan een vermenigvuldiging van een kans met een effect. Bij beide gaat het namelijk niet om objectieve exercities. Ze zijn eerder het gevolg van menselijke inschattingen op basis van (wiskundige) modellen, waaraan een hoop aannames ten grondslag liggen. Een model is daarmee vaak niets meer dan een mening in wiskundige vorm. En meningen, die moet je bevragen.

Het blijft daarom belangrijk dat de professional ook letterlijk het veld betreedt waarover de modellen gaan. Niet alleen door zelfonderzoek, om zo te achterhalen wat het nut en realiteitsgehalte van het model is. Maar ook door gesprekken te voeren met andere professionals. Houd daarbij in het oog: beleid bepaald op basis van een wiskundig model raakt mensen. Voor deze mensen heeft het risico echte gevolgen.

Onderdeel van de collectie

Managementsystemen

Met een managementsysteem kun je op een gestructureerde manier bepaalde doelen in je organisatie realiseren. Hoe werkt dat?

Marc Jacobs

Marc Jacobs

Datawetenschapper

Marc Jacobs is datawetenschapper, statistisch consultant en eigenaar van MSJ Advies.

Onderwerpen aanpassen

Mijn artikeloverzicht kan alleen gebruikt worden als je bent ingelogd.