Testrapportage release 2.2.1

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.1.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.1.0: aangebrachte wijzigingen t.o.v. release 2.2.0.0

Binnen NWM 2.2.1.0 zijn de volgende vier scenario's toegevoegd:

• Rust 2100
• Warm 2100
• Druk 2100
• Stoom 2100

Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2100. Hiervoor worden de Deltascenario’s 2017 doorgetrokken naar het jaar 2100. Omdat er geen socio-economische scenario’s voor het zichtjaar 2100 beschikbaar zijn is ervoor gekozen om de socio-economische ontwikkeling van de scenario's voor het zichtjaar 2050 over te nemen. Zodoende zijn alleen de randvoorwaarden als gevolg van de klimaatscenario’s voor 2100 aangepast .

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.

Invoer

FAT 2.2.0.0 Test 1.1: Modelrun uitvoeren voor het jaar 1972 en 1973. Voor Parijs-GL, en Parijs-WH. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's  Referentie en Druk2050 zoals beschikop de Productieomgeving)

FAT 2.2.0.0 Test 1.2: Controleren of alle modellen gedraaid zijn.

FAT 2.2.0.0 Test 1.3a: Controleren warm-state files van de verschillende runs, dit aan de hand van een vergelijking van grondwaterstanden uit DrukParijs2050 op 1 januari 1972.

FAT 2.2.0.0 Test 1.3b: Controleren NDB randvoorwaarden voor Parijs-GL (NDB randvoorwaarden van scenario Druk2050 gebruikt), en Parijs-WH (NDB randvoorwaarden van scenario Stoom2050 gebruikt).

FAT 2.2.0.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Parijs-GL moet overeen komen met Druk en Rust, Parijs-WH moeten overeen komen met Stoom en Warm.

FAT 2.2.0.0 Test 1.5: Controleren meteo. Parijs-GL moet overeen komen met KNMI’14GL data, Parijs-WH dient overeen te komen met KNMI’14 WH.

FAT 2.2.0.0 Test 1.6: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).

FAT 2.2.0.0 Test 1.7: Controle van ini file (extra systeem OWD moet aanwezig zijn).

Uitvoer

FAT 2.2.0.0 Test 2.1: Verhoogde grondwaterstanden t.o.v. referentie in gebieden waar OWD in het model is geïmplementeerd (voor kaart zie randvoorwaarden memo). Verschillen grondwaterstanden Druk en Parijs-GL in overige gebieden conform modelaanpassingen.

FAT 2.2.0.0 Test 2.2: Extra watervraag (watervraag peilbeheer) aan het hoofdwatersysteem voor gebieden met OWD (West Nederland, Rivierengebied, Noord Holland en Friesland)

FAT 2.2.0.0 Test 2.3: Peilverloop IJsselmeer (extra peiluitzakking in Parijs-GL scenario t.o.v. Referentie, Parijs-WH zakt nog verder uit dan Parijs-GL)

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH

* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865): 
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS

Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer	Model schematisatie	Beschrijving test	Resultaat	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
NWM-1067	n.v.t.	Check of nieuwe versie Batchmaker beschikbaar is.		Resultaat nieuwe batchmaker is succesvol gebruikt bij starten workflow Check beschikbaarheid moet op Productieomgeving plaatsvinden, daar moet de versie met optie ColdstateId (zie screenshot) zichtbaar zijn
NWM-1064	LSMLT export	In de netcdf-bestanden de aanwezigheid van de nieuwe zw_wabes_lsmlt*.nc id’s (sobek id’s in station_names) vaststellen.		Eén van de gewijzigde locaties is: locatie WABES_julianakanaal (R_MS_006_28 = nieuwe ID, R_MS_006_1 = oude ID) Deze is in de nieuwe NC export terug te vinden onder station_names (nr 88)
NWM-1060		ZW_DM_KnoopDistrict_*.nc toont gecorrigeerde waarden voor een sluitende waterbalans	niet uitgevoerd	Geen onderdeel van de FAT; aangedragen wijziging is technisch correct doorgevoerd Resultaat wordt binnen WABES op later tijdstip a.d.h.v. waterbalans gecheckt
NWM-1058		Nieuwe NDB export in FEWS-GUI beschikbaar, vaststellen dat in LHM export geen ZW_chloride*.nc meer voorkomen.		Nieuwe NDB export beschikbaar in Topology panel, in batchmaker en exporteert NetCDF met NDB resultaten succesvol Aangepaste LHM export bevat geen ZW*Chloride*.nc bestanden meer
NWM-1056	LTMLT	Check of LTM-light afvoer op 1 januari (1973) niet meer 0 is.		Debiettijdreeks toont geen waarde nul bij jaarovergang, zie screenshot
NWM-1047	LHM / LSMLT (import meteo)	Test LHM-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat).		Als er onvoldoende tijdstappen (minder dan de benodigde 365 dagen) terugkomen van de OpenDAP import (neerslag, verdamping) verschijnt onderstaande ERROR melding en zal het model niet starten met rekenen: ERROR 13-02-2019 17:24:41 ZW_LHM_DPWH2050BP18Z0 Timeseries.Check Not enough values available for timeseries KNMI P.m (mm) day ZW_ImportMeteo_DPWH2050BP18Z0, KNMI
	LTMLT (import meteo)	Test LTMLT-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat).		Als er onvoldoende tijdstappen (minder dan de benodigde 365 dagen) terugkomen van de OpenDAP import (temperatuur, straling) verschijnt onderstaande ERROR melding en zal het model niet starten met rekenen:  ERROR 13-02-2019 17:20:32 ZW_LTMLT_DPGL2050BP18 Timeseries.Check Not enough values available for timeseries KNMI T.m (oC) day ZW_LTM_ImportMeteo_OPENDAP_DPGL2050BP18, KNMI

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen

Herstelde issues tijdens testfase

1. Tijdens het beoordelen van de resultaten is voor "FAT 2.2.0.0 Test 2.1" gekeken naar de verandering GHG en GLG bepaald voor het jaar 1972 ten opzichte van de GHG en GLG voor het scenario DrukParijs uit de archieven.

   zips:

   ZW_LHM_197301010000_DTDMMC00_000058526_none_DPGL2050BP18.zip
   ZW_LHM_197301010000_DTDMMC00_000058532_none_DPWH2050BP18.zip

   vergeleken met:

   ZW_LHM_197301010000_DPAR2050BP18.zip

   Dit effect was niet plausibel. Issue ontdekt in de peilen van de onderwaterdrains waardoor te weinig effect op grondwaterstanden en watervraag werd berekend. De oorzaak van dit issue is achterhaald en opgelost. Nieuwe testen uitgevoerd op nieuwe runs. 

Overige testbevindingen

1. Tijdens de analyse van de zeespiegelstijging is gebleken dat de zeespiegel in de Referentie 2017 in MODFLOW op 0.00 m NAP is ingesteld in plaats van 0.07m NAP. Dit betekent dat er met een extra relatieve zeespiegelstijging van 7 cm wordt gerekend bij de scenario's. De absolute zeespiegel in de scenario's is consistent met de gerapporteerde waarden.