Om te bepalen welke testen moeten worden uitgevoerd is van belang te bepalen wat de impact van de aanpassing is. Bij grote aanpassingen dient uitgebreid getest te worden, terwijl bij enkele kleine aanpassingen met een aantal korte testen kan worden volstaan. Onderstaand stroomschema kan helpen bij het bepalen van de impact. Bij het doorlopen van stroomschema wordt uiteindelijk bepaald welk testscript moet worden gebruikt voor oplevering.
Overall aanpak voor testen bij het Nationaal Water Model
Op hoofdlijnen zijn er twee opties: er wordt nieuwe functionaliteit toegevoegd of de bestaande functionaliteit wordt aangepast.
Bij nieuwe functionaliteit wordt in principe vergeleken met simulaties die buiten het Nationaal Water Model gedraaid zijn. In de praktijk blijkt dit lasting te zijn. Deze referentiesimulaties hebben vaak een ietwat andere invoer (bijvoorbeeld m.b.t. randvoorwaarden of rivierlozingen). Ook is er vaak een andere versie van het softwaresysteem (van SOBEK of Simona) toegepast, wat ook tot kleine verschillen in modelresultaten kan leiden. Van een referentiesimulatie is bij voorkeur een memo beschikbaar met modelresultaten op representatieve locaties. Deze modelresultaten worden als uitgangspunt genomen voor de testprotocollen van de workflows. De modelresultaten van de workflows in het Nationaal Water Model hoeven niet exact overseen te komen, maar moeten een grote gelijkenis hiermee hebben. Eventuele verschillen moeten verklaard worden.
Bij een aanpassing van functionaliteit hoeft het bijbehorende testprotocol meestal niet gewijzigd te worden.
Verschil in opzet van de testprotocollen
Voor de onderdelen Zoetwater en Veiligheid zijn testprotocollen geschreven. Hierin zijn testen vastgelegd. Per NWM-release wordt bepaald welke testen uit het testprotocol met success doorlopen moeten. Voor een beschrijving van de testen verwijzen we naar de Testprotocollen Veiligheid en de Testprotocollen Zoetwater. We merken op dat deze testprotocollen anders van opzet zijn. De testprotocollen Veiligheid zijn onderverdeeld per gebied (Rijn, Maas, RMM, IJsselmeer, Markermeer en IJssel-Vechtdelta), omdat per gebied de 'modellentrein' verschillend kan zijn. Bij de testprocollen voor Zoetwater is er voor elke 'schakel' in de modellentrein een apart protocol opgesteld. Elke schakel komt hierbij overeen met een deelmodel (LHM zonder zout, LSM Light zonder zout, NDB, etc.). Er is voor een verschillende opdeling gekozen om de testprotocollen zo leesbaar mogelijk te laten zijn.
Detailuitwerking van de testprotocollen
Hieronder worden de links naar testprotocollen weergegeven voor de verschillende typevan testen. Deze testprotocols dienen te worden ingevuld bij het doorlopen van een test. Het testrapport kan vervolgens worden opgeleverd bij de release van een nieuwe versie van het Nationaal Water Model.
- Upload - Uploaden nieuwe schematisatie / strategie. Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel hergebruik van bekende configuratie.
- Patch - Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel reparatie van bekende, niet correct functionerende configuratie.
- Configuratie update (klein) - Mogelijk nieuwe functionaliteit. Kleine nieuwe ontwikkelingen configuratie, met kleine impact op systeem en resultaten.
- Configuratie update (groot) - Nieuwe functionaliteit (zoals nieuwe regio’s of nieuwe modellen). Nieuwe ontwikkelingen configuratie met mogelijk grote impact op systeem en resultaten.
- Software update (klein) - Geen nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel update van de onderliggende model software. Kleine impact op het systeem (zowel Clients als Backend), maar wel impact individuele workflows.
- Software update (groot) - Mogelijk nieuwe functionaliteit. Geen nieuwe ontwikkelingen configuratie, enkel update van de FEWS software of besturingssysteem. Onderdeel van de software update kan bijvoorbeeld zijn het beschikbaar komen van nieuwe FEWS functionaliteit. Grote impact op het systeem (zowel Clients als Backend), maar kleine impact op de resultaten.
