Conclusie
Op basis van de uitgevoerde tests concluderen we dat de FAT succesvol is doorlopen op de T-omgeving bij Deltares. De bekende issues hebben geen impact op het doorrekenen van de basisprognoses en de eindresultaten die berekend worden.
Aanbevelingen
Op basis van het testtraject dat is uitgevoerd in sprints 3, 4 en 5 worden de volgende aanbevelingen gedaan m.b.t. verbetering van het testen van Nationaal Water Model.
- In de testprotocollen voor Zoetwater worden bij de plausibiliteit testen van LHM, LSM Light en LSM vergelijkingen gedaan met een externe (canned) dataset. Het is eleganter om deze testen af te splitsen van de overige testen zodat er een duidelijk onderscheid is tussen enerzijds de technische en plausibiliteit testen die volledig binnen het NWM kunnen worden getest en anderzijds testen waarbij wordt vergeleken met externe datasets uit bijvoorbeeld eerdere versies van het NWM. Op deze manier vormen de technische en plausibiliteit testen een op zichzelf staand onderdeel waarmee het NWM onafhankelijk kan worden getest. Vergelijkingen met externe datasets zouden bijvoorbeeld onderdeel kunnen zijn van een functionele acceptatietest (FAT).
- De Zoetwater testprotocollen gaan uit van éénjarige runs op basis van een cold state. Voor de LHM, LSM Light en LSM workflows is het ook mogelijk om langjarige runs uit te voeren op basis van warm states. Dit type berekeningen zou moeten worden opgenomen in de testprotocollen.
- Sommige workflows kosten veel rekentijd (bijvoorbeeld WAQUA Rijn, HydraZoet IJssel-Vechtdelta, LSM). Het is mogelijk om verkorte runs uit te voeren door bijvoorbeeld een kortere forecast length in te stellen of met minder locaties te rekenen. Deze aanpassingen vergen handmatig ingrijpen in de workflows. Het moet eenvoudiger worden om verkorte runs uit te voeren, bijvoorbeeld middels introductie van toegewijde workflows/locatiesets voor het testen. Bovendien moet worden onderzocht of het mogelijk is om nog verder te besparen op de rekentijd zodat het testen zo efficiënt mogelijk kan worden uitgevoerd.
- Het testen kost veel handmatig werk: resultaten van workflows moeten opgezocht worden in de database en moeten met de hand worden vergeleken met de testwaarden die in de testprotocollen zijn vermeld. Het is aan te bevelen om, voor zover mogelijk, dit proces te automatiseren.
- De testprotocollen zijn gericht op de resultaten van de workflows zoals deze in de database te vinden zijn. De GUI (Delft-FEWS) van het NWM vormt geen onderdeel van de testprotocollen. Dit zou moeten worden toegevoegd aan de testprocedure.
