Inleiding
Om te bepalen welke testen moeten worden uitgevoerd is van belang te bepalen wat de impact van de aanpassing is. Bij grote aanpassingen dient uitgebreid getest te worden, terwijl bij enkele kleine aanpassingen met een aantal korte testen kan worden volstaan. Onderstaand stroomschema kan helpen bij het bepalen van de impact. Bij het doorlopen van het stroomschema wordt uiteindelijk bepaald welk testscript moet worden gebruikt voor oplevering.
Het testrapport Nationaal De testrapportage per release van het Nationaal Water Model (NWM) bevat achtereenvolgens de testprotocollen en de testbevindingen zoals deze zijn opgesteld voor testbevindingen en bijlagen met de testprotocollen voor de werkzaamheden aan een NWM release. De protocollen zijn generiek opgezet van opzet, zodat ze in de toekomst opnieuw gebruikt ook voor toekomstige releases gebruikt kunnen worden.
De testprotocollen zijn voor alle Veiligheid regio's en alle Zoetwater modellen opgesteld. Vanaf release 2.0.0.0 maakt Veiligheid geen onderdeel meer uit van de NWM FEWS applicatie.
Deze protocollen beschrijven hoe de diverse workflows voor alle regio's en modellen getest kunnen worden. De testprotocollen zijn voor Veiligheid en Zoetwater op vergelijkbare wijze opgesteld. Voor Veiligheid is onderscheid gemaakt in zes verschillende regio's, omdat er verschillen zijn in de diverse workflows en modellen. Voor Zoetwater is onderscheid in regio's niet van toepassing. De testen bestaan uit technische testen en plausibiliteit testen. De technische testen verifiëren of een workflow binnen het NWM technisch goed functioneert. De testen bestaan uit een beschrijving voor het starten van een workflow en een controle op het correct eindigen van deze workflow. Bovendien verifiëren de technische testen of diverse parameters in de database correct worden gevuld, zoals het aantal locaties en het aantal ensembles. Bij de plausibiliteit testen wordt meer inhoudelijk naar de resultaten van de workflows gekeken; hierbij wordt bijvoorbeeld gecontroleerd of de waterstanden monotoon dalen in de afvoerrichting.
De testprotocollen zijn opgesteld in een Wiki en zijn aldaar het beste te lezen. Bij oplevering van een NWM release is een export gemaakt van de Wiki in pdf-formaat. In deze export zijn in de testprotocollen zelf geen vinkjes gezet voor geslaagde testen; voor de overzichtelijkheid zijn de testbevindingen per release bij elkaar gevoegd. Een groen vinkje in deze testbevindingen betekent dat de desbetreffende testen in het testprotocol succesvol zijn doorlopen.
Het testrapport start met testbevindingen per release, zodat de voortgang van de testen tijdens het project kan worden nagegaan. Dit staat beschreven in:
De testbevindingen voor een release zijn verkregen door testprotocollen uit te voeren. In de testbevindingen staat per workflow de uitvoering van deze workflow vermeld, zodat duidelijk is hoe de testbevindingen zijn geconstateerd. Op deze manier is ook duidelijk welke tests voor een bepaalde release (opnieuw) zijn uitgevoerd. De structuur van het testrapport m.b.t. de testprotocollen is als volgt:
- Testprotocollen Bijlagen - testprotocollen Veiligheid
- Testprotocollen Rijn
- Testprotocollen Maas
- Testprotocollen RMM
- Testprotocollen IJsselmeer
- Testprotocollen Markermeer
- Testprotocollen IJssel-Vechtdelta
- Bijlagen - testprotocollen Zoetwater release 1
De testprotocollen voor Veiligheid bestaan uit een technisch/plausibiliteit testprotocol voor elke workflow, zoals het importeren van de randvoorwaarden of het runnen van het WAQUA model. Voor Zoetwater is er één workflow per model. Een uitgebreide beschrijving van de workflows voor Veiligheid en Zoetwater is te vinden op Workflows Veiligheid respectievelijk Workflows Zoetwater. Omdat de technische testen voor de verschillende regio's/modellen veel op elkaar lijken, maken de testprotocollen gebruik van standaard testen. Er zijn standaard testen voor de volgende typen workflows:
- Standaard Bijlagen - standaard testen
Bij de testprotocollen van de specifieke workflows voor de diverse regio's/modellen wordt naar deze standaard testen verwezen. Alle testparameters zoals de starttijd, het aantal locaties en ensembles per workflow zijn bijeengebracht in tabellen met testwaarden die onderdeel zijn van de standaard testen:
In een release kunnen ook testprotocollen voor aparte use cases nodig zijn. Usecases worden opgesteld voor nieuwe toegevoegde functionaliteit die eenmalig getest worden:
Het testrapport sluit af met de testbevindingen per sprintsessie zodat de voortgang van de testen tijdens het project kan worden gevolgd:
Voor What-if scenario's zijn er aparte testprotocollen:
Voor "flexibiliteit in locaties" is er een apart testprotocollen:
Op basis van de testbevindingen uit vorige sprints zijn testprotocollen toegevoegd en/of verbeterd. In de testbevindingen staat per workflow de uitvoering van deze workflow vermeld zodat duidelijk is op basis van welke run de testbevindingen zijn geconstateerd. Op deze manier is ook duidelijk welke tests in sprint 5 (opnieuw) zijn uitgevoerd.