Testrapportage release 2.2.1

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.1.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.1.0: aangebrachte wijzigingen t.o.v. release 2.2.0.0

Binnen NWM 2.2.1.0 zijn de volgende vier scenario's toegevoegd:

• Rust 2100
• Warm 2100
• Druk 2100
• Stoom 2100

Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2100. Hiervoor worden de Deltascenario’s 2017 doorgetrokken naar het jaar 2100. Omdat er geen socio-economische scenario’s voor het zichtjaar 2100 beschikbaar zijn is ervoor gekozen om de socio-economische ontwikkeling van de scenario's voor het zichtjaar 2050 over te nemen. Zodoende zijn alleen de randvoorwaarden als gevolg van de klimaatscenario’s voor 2100 aangepast .

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.

Invoer

FAT 2.2.1.0 Test 1.1: Modelrun uitvoeren voor de jaren 1972 en 1973 voor Rust2100, Warm2100, Druk2100 en Stoom2100. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Rust-2050, Warm-2050, Druk-2050 en Stoom-2050, zoals beschikbaar op de Productieomgeving)

FAT 2.2.1.0 Test 1.2: Controleren of alle modellen gedraaid zijn.

FAT 2.2.1.0 Test 1.3: Controleren warm-state files van de verschillende runs, aan de hand vergelijking van grondwaterstanden uit de 4 scenario’s 2050 op 1 januari 1972.

FAT 2.2.1.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Andere afvoeren dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde afvoer hebben. Dit geld ook voor de scenario’s Warm en Stoom.

FAT 2.2.1.0 Test 1.5: Controleren meteo. Andere meteo dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde meteo hebben. Dit geldt ook voor de scenario’s Warm en Stoom.

FAT 2.2.1.0 Test 1.6: Controleren of de juiste socio-economische zips zijn gekoppeld (vergelijking zip files met de modelinvoer)

FAT 2.2.1.0 Test 1.6: Controleren of de HWS peilen per scenario goed zijn meegekomen

FAT 2.2.1.0 Test 1.6: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).

Uitvoer

FAT 2.2.1.0 Test 2.1: Grondwaterstanden 2100 geven versterkte trend ten opzichte van de 2050 scenario’s (voor goede vergelijking moet ook 2003 als testsom voor de 2050 scenario’s beschikbaar zijn.

FAT 2.2.2.0 Test 2.2: Peilverloop 2100, groter buffergebruik IJsselmeer voor zichtjaar 2100 scenario’s.

FAT 2.2.3.0 Test 2.3: effect zichtjaar 2085 (klimaat) ipv zichtjaar 2050 (klimaat) op de uitkomsten

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH

* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865): 
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS

Tabel TR.04: Testen voor meegenomen JIRA-issues

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen

Herstelde issues tijdens testfase

Overige testbevindingen