Inleiding
Om te bepalen welke testen moeten worden uitgevoerd is van belang te bepalen wat de impact van de aanpassing is. Bij grote aanpassingen dient uitgebreid getest te worden, terwijl bij enkele kleine aanpassingen met een aantal korte testen kan worden volstaan. Onderstaand stroomschema kan helpen bij het bepalen van de impact. Bij het doorlopen van het stroomschema wordt uiteindelijk bepaald welk testscript moet worden gebruikt voor oplevering. Voor NWM release 1.0 betreft het een grote aanpassing aan de configuratie en software. Daarom zijn voor deze release de alle testprotocollen volledig uitgevoerd.
Het testrapport Nationaal Water Model (NWM) bevat achtereenvolgens de testprotocollen en de testbevindingen zoals deze zijn opgesteld voor de werkzaamheden aan de NWM release 1.0. De protocollen zijn generiek opgezet zodat ze in de toekomst opnieuw gebruikt kunnen worden.
De testprotocollen zijn voor alle Veiligheid regio's en alle Zoetwater modellen opgesteld. Deze protocollen beschrijven hoe de diverse workflows voor alle regio's en modellen getest kunnen worden. De testprotocollen zijn voor Veiligheid en Zoetwater op vergelijkbare wijze opgesteld. Voor Veiligheid is onderscheid gemaakt in zes verschillende regio's, omdat er verschillen zijn in de diverse workflows en modellen. Voor Zoetwater is onderscheid in regio's niet van toepassing. De testen bestaan uit technische testen en plausibiliteit testen. De technische testen verifiëren of een workflow binnen het NWM technisch goed functioneert. De testen bestaan uit een beschrijving voor het starten van een workflow en een controle op het correct eindigen van deze workflow. Bovendien verifiëren de technische testen of diverse parameters in de database correct worden gevuld, zoals het aantal locaties en het aantal ensembles. Bij de plausibiliteit testen wordt meer inhoudelijk naar de resultaten van de workflows gekeken; hierbij wordt bijvoorbeeld gecontroleerd of de waterstanden monotoon dalen in de afvoerrichting.
De testprotocollen zijn opgesteld in een Wiki en zijn aldaar het beste te lezen. Bij oplevering van een NWM release is een export gemaakt van de Wiki in pdf-formaat. In deze export zijn in de testprotocollen zelf geen vinkjes gezet voor geslaagde testen; voor de overzichtelijkheid zijn de Testbevindingen sprint 5 bij elkaar gevoegd. Een groen vinkje in deze testbevindingen betekent dat de desbetreffende testen in het testprotocol succesvol zijn doorlopen.
De structuur van het testrapport m.b.t. de testprotocollen is als volgt:
De testprotocollen voor Veiligheid bestaan uit een technisch/plausibiliteit testprotocol voor elke workflow, zoals het importeren van de randvoorwaarden of het runnen van het WAQUA model. Voor Zoetwater is er één workflow per model. Een uitgebreide beschrijving van de workflows voor Veiligheid en Zoetwater is te vinden op Workflows Veiligheid respectievelijk Workflows Zoetwater. Omdat de technische testen voor de verschillende regio's/modellen veel op elkaar lijken, maken de testprotocollen gebruik van standaard testen. Er zijn standaard testen voor de volgende typen workflows:
Bij de testprotocollen van de specifieke workflows voor de diverse regio's/modellen wordt naar deze standaard testen verwezen. Alle testparameters zoals de starttijd, het aantal locaties en ensembles per workflow zijn bijeengebracht in tabellen met testwaarden die onderdeel zijn van de standaard testen:
De testprotocollen sluiten af met de use cases:
Het testrapport sluit af met de testbevindingen per sprintsessie zodat de voortgang van de testen tijdens het project kan worden gevolgd:
Op basis van de testbevindingen uit vorige sprints zijn testprotocollen toegevoegd en/of verbeterd. In de testbevindingen staat per workflow de uitvoering van deze workflow vermeld zodat duidelijk is op basis van welke run de testbevindingen zijn geconstateerd. Op deze manier is ook duidelijk welke tests in sprint 5 (opnieuw) zijn uitgevoerd.
