Page History

Conclusie

Op basis van de uitgevoerde tests concluderen we dat de FAT succesvol is doorlopen op de T-omgeving bij Deltares. De bekende issues hebben geen impact op het doorrekenen van de basisprognoses en de eindresultaten die berekend worden.

Aanbevelingen

Op basis van het testtraject dat is uitgevoerd in de sprints 3, 4 en 5 worden de volgende aanbevelingen gedaan m.b.t. verbetering van het testen van Nationaal Water Model.

TODO:

vergelijking met externe set los trekken uit protocol

automatisch testen

testen GUI

1. In de testprotocollen voor Zoetwater worden bij de plausibiliteit testen van LHM, LSM Light en LSM vergelijkingen gedaan met een externe (canned) dataset. Aanbevolen wordt om deze testen af te splitsen van de overige testen zodat er een duidelijk onderscheid is tussen enerzijds de technische en plausibiliteit testen die volledig binnen het NWM kunnen worden getest en anderzijds testen waarbij wordt vergeleken met externe datasets uit bijvoorbeeld eerdere versies van het NWM. Op deze manier vormen de technische en plausibiliteit testen een op zichzelf staand onderdeel waarmee het NWM onafhankelijk kan worden getest. Vergelijkingen met externe datasets zouden bijvoorbeeld onderdeel kunnen zijn van een functionele acceptatietest (FAT).
2. De Zoetwater testprotocollen gaan uit van éénjarige runs op basis van een cold state. Voor de LHM, LSM Light en LSM workflows is het ook mogelijk om langjarige runs uit te voeren op basis van warm states. Deze testen zijn wel uitgevoerd maar dit type berekeningen moet worden opgenomen in de testprotocollen.
3. Sommige workflows kosten veel rekentijd (bijvoorbeeld WAQUA Rijn, HydraZoet IJssel-Vechtdelta, LSM). Het is mogelijk om verkorte runs uit te voeren door bijvoorbeeld een kortere forecast length in te stellen of met minder locaties te rekenen. Deze aanpassingen vergen handmatig ingrijpen in de workflows. Het moet eenvoudiger worden om verkorte runs uit te voeren, bijvoorbeeld middels introductie van toegewijde workflows/locatiesets voor het testen. Bovendien moet worden onderzocht of het mogelijk is om nog verder te besparen op de rekentijd zodat het testen zo efficiënt mogelijk kan worden uitgevoerd.
4. Het testen kost veel handmatig werk: resultaten van workflows moeten opgezocht worden in de database en moeten met de hand worden vergeleken met de testwaarden die in de testprotocollen zijn vermeld. Het is aan te bevelen om dit proces te automatiseren.

...