De testrapportage per release van het Nationaal Water Model (NWM) bevat een beschrijving van deverandering, de samenvatting van de testbevindingen en in de bijlagen de testprotocollen voor de werkzaamheden aan een NWM release. De protocollen zijn generiek van opzet, zodat ze ook voor toekomstige releases gebruikt kunnen worden.
De testprotocollen zijn voor alle Zoetwater modellen opgesteld. Deze protocollen beschrijven hoe de diverse workflows voor alle modellen getest worden. De testen bestaan uit:
- Technische testen
- Controle invoer
- Controle koppelingen
- Controle resultaten
- Controle export
De technische testen verifiëren of een workflow binnen het NWM technisch goed functioneert. De testen bestaan uit een beschrijving voor het starten van een workflow en een controle op het correct eindigen van deze workflow. Bovendien verifiëren de technische testen of diverse parameters in de database correct worden gevuld, zoals het aantal locaties en het aantal ensembles. Bij de controle testen wordt meer inhoudelijk naar de resultaten van de workflows gekeken; hierbij wordt bijvoorbeeld gecontroleerd of de waterstanden monotoon dalen in de afvoerrichting.
De testprotocollen zijn opgesteld in een Wiki en zijn aldaar het beste te lezen. Bij oplevering van een NWM release is een export gemaakt van de Wiki in pdf-formaat. In deze export zijn in de testprotocollen zelf geen vinkjes gezet voor geslaagde testen; voor de overzichtelijkheid zijn de testbevindingen per release bij elkaar gevoegd. Een groen vinkje in deze testbevindingen betekent dat de desbetreffende testen in het testprotocol succesvol zijn doorlopen. Een rood vinkje betekent dat de desbetreffende testen in het testprotocol niet succesvol zijn doorlopen. Tot slot geeft een oranje vinkje aan dat de test is goedgekeurd na overleg met een inhoudelijk expert.
Het testrapport start met testbevindingen per release, zodat de voortgang van de testen tijdens het project kan worden nagegaan. Dit staat beschreven in:
De testbevindingen voor een release zijn verkregen door testprotocollen uit te voeren. In de testbevindingen staat per workflow de uitvoering van deze workflow vermeld, zodat duidelijk is hoe de testbevindingen zijn geconstateerd. Op deze manier is ook duidelijk welke tests voor een bepaalde release (opnieuw) zijn uitgevoerd. De structuur van het testrapport m.b.t. de testprotocollen is als volgt:
Voor Zoetwater is er één workflow per model. Een uitgebreide beschrijving van de workflows voor Zoetwater is te vinden op Workflows Zoetwater. Omdat de technische testen voor de modellen veel op elkaar lijken, maken de testprotocollen gebruik van standaard testen. Er zijn standaard testen voor de volgende typen workflows:
Bij de testprotocollen van de specifieke workflows voor de diverse regio's/modellen wordt naar deze standaard testen verwezen. Alle testparameters zoals de starttijd, het aantal locaties en ensembles per workflow zijn bijeengebracht in tabellen met testwaarden die onderdeel zijn van de standaard testen:
Voor What-if scenario's zijn er aparte testprotocollen:
Voor "flexibiliteit in locaties" is er een apart testprotocollen: