Overall aanpak voor de testprocedure bij het Nationaal Water Model
Om te bepalen welke testen bij een aanpassing van het NWM moeten worden uitgevoerd, is van belang te bepalen wat de impact van de aanpassing is. Bij grote aanpassingen dient uitgebreid getest te worden, terwijl bij enkele kleine aanpassingen met een aantal beperkte testen kan worden volstaan. Onderstaand stroomschema toont welk opties met betrekking tot de impact mogelijk zijn. Bij het doorlopen van stroomschema wordt bepaald welk testscript moet worden gebruikt voor oplevering. Hiervoor zijn zes mogelijkheden:
- Upload - Uploaden nieuwe schematisatie / strategie. Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel hergebruik van bekende configuratie.
- Patch - Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel reparatie van bekende, niet correct functionerende configuratie.
- Configuratie update (klein) - Mogelijk nieuwe functionaliteit. Kleine nieuwe ontwikkelingen configuratie, met kleine impact op systeem en resultaten.
- Configuratie update (groot) - Nieuwe functionaliteit (zoals nieuwe regio’s of nieuwe modellen). Nieuwe ontwikkelingen configuratie met mogelijk grote impact op systeem en resultaten.
- Software update (klein) - Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel update van de onderliggende model software. Kleine impact op het systeem (zowel Clients als Backend), maar wel impact individuele workflows.
- Software update (groot) - Mogelijk nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel update van de FEWS software of besturingssysteem. Onderdeel van de software update kan bijvoorbeeld zijn het beschikbaar komen van nieuwe FEWS functionaliteit. Grote impact op het systeem (zowel Clients als Backend), maar kleine impact op de resultaten.
Verdere uitwerking van het testplan
Bij iedere aanpassing van het NWM moet dus allereerst bepaald te worden welke optie in het bovenstaande stroomschema van toepassing is. Meestal zal er sprake zijn van een (tussen)release. Iedere (tussen)release heeft een eigen testrapport, zie "Testrapport Nationaal Water Model". Een testrapport bestaat uit een algemene beschrijving van de (tussen)release, gevolgd door een overzicht van de testprotocollen die hierbij doorlopen zijn. Hiervoor zijn twee categorieën, te weten technische testen en plausibiliteitstesten. De opzet van een testrapport hangt af van het testscript dat van toepassing is. Bij nieuwe functionaliteit wordt bij de plausibiliteitstesten vergeleken met modelresultaten die buiten het NWM gegenereerd zijn. Bij andere wijzigingen wordt met bestaande plausibiliteitstesten vergeleken.
Bij iedere (tussen)release wordt in een zeer vroegtijdig stadium een concepttestrapport gemaakt, opdat z.s.m. duidelijk is welke testprotocollen in een betreffende release succesvol uitgevoerd moeten worden. Zodra alle testen geslaagd zijn, dan kan dit testrapport opgeleverd worden bij een release van een nieuwe versie van het Nationaal Water Model.
Verschil in opzet van de testprotocollen
Hoewel het niet relevant is voor de te volgen testprocedure, wordt opgemerkt dat de testprotocollen voor Zoetwater en Veiligheid anders van opzet zijn; zie de Testprotocollen Veiligheid en de Testprotocollen Zoetwater. De testprotocollen Veiligheid zijn onderverdeeld per gebied (Rijn, Maas, RMM, IJsselmeer, Markermeer en IJssel-Vechtdelta), omdat per gebied de 'modellentrein' verschillend kan zijn. Bij de testprocollen voor Zoetwater is er voor elke 'schakel' in de modellentrein een apart protocol opgesteld. Elke schakel komt hierbij overeen met een deelmodel (LHM zonder zout, LSM Light zonder zout, NDB, etc.). Er is voor een verschillende opzet gekozen om de testprotocollen zo leesbaar mogelijk te laten zijn.
