Testrapportage release 2.2.3.0

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.3.0 en de testbevindingen van de FAT (Functionele Acceptatie Test). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.3.0: aangebrachte wijzigingen t.o.v. release 2.2.1.0

Binnen NWM 2.2.3.0 is de volgende what-if scenario toegevoegd:

• Stoom 2050 - nieuwe bodemligging
  
  • rivmorf_BP18Stoom2050.zip (LHM; aangepassingen in PEILH_yyyymmdd.ifd, nds.txt, both_z_I2.idf en both_w_I2.idf)
    
  • rivmorf_LSMLT_BP18Stoom2050.zip (LSM Light; aangepaste PROFILE.DAT)
    

Daarnaast is voor alle workflows de executable modsimtranmoz geupdate naar versie iMODFLOW svn1759, METASWAP svn1421 deze zal getest worden voor de referentie workflow:

• Referentie 2017 - nieuwe executable

Het doel van de berekeningen is om inzicht te krijgen in de effecten van een geactualiseerde bodemligging van de hoofdwateren op zoetwatervoorziening in het zichtjaar 2050 en te controleren of de nieuwe executable technisch goed draait tbv latere analyse op de productieomgeving. 

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.

Invoer bodemligging berekening

FAT 2.2.3.0 Test 1.1: Check of grid voor de bodemhoogte (both_w_l2.idf en both_z_l2.idf) in de LHM what-if zip Stoom2050 verschilt met Stoom2050 (both_w_l1.idf en both_z_l1.idf blijven ongewijzigd).

FAT 2.2.3.0 Test 1.2: Check steekproefsgewijs of de peilen (PEILH_yyyymmdd.idf) verschillen in de LHM what-if zip Stoom2050. 

FAT 2.2.3.0 Test 1.3: Check of DM wijziging in de run mee is gekomen.

FAT 2.2.3.0 Test 1.4: Check of LSMLT wijziging (aangepaste PROFILE.DAT bestand) in de run mee is gekomen.

Uitvoer bodemligging berekening

FAT 2.2.3.0 Test 2.1: Vergelijk de grondwaterstanden Stoom2050 som bodemdaling met eerdere som Stoom2050 zonder bodemdaling: GLG m.b.v. Imod buiten FEWS. Is de verschilkaart plausibel?

FAT 2.2.3.0 Test 2.2: Controleer takdebieten Stoom2050 die gewijzigd zouden moeten zijn: 6020 Waal, 6002 Pannerdens Kanaal, 6003 Nederrijn Driel, 6058 IJssel (oude vs. nieuwe som)

FAT 2.2.3.0 Test 2.3: Controleer takdebieten Stoom2050 die niet gewijzigd zouden moeten zijn (oude vs. nieuwe som)

FAT 2.2.3.0 Test 2.4: Vergelijk waterstanden Stoom2050 tussen berekening met (verlaagde rivier morfologie) en zonder ('huidige' rivier morfologie) what-if.

Update executable

FAT 2.2.3.0 Test 3.1: Check (technisch) of de juiste executable wordt gebruikt

FAT 2.2.3.0 Test 3.2: Controleer (inhoudelijk) of de resultaten overeenkomen met de resultaten op de NHI server met gebruik van dezelfde executable

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1911 en 1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050

Testen	Model schematisatie	Beschrijving test	Referentie 2017 1911 1912	Warm 2050 1911 1912	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
FAT 2.2.3.0 Test 1.1	LHM-Z0	Controle grid bodemhoogte	nvt		both_w_l2.idf en both_z_l2.idf verschillen tussen de whatif en Stoom2050.
FAT 2.2.3.0 Test 1.2	LHM-Z0	Controle rivierpeilen	nvt		De peilbestanden PEILH_yyyymmdd.idf zijn steeksproefsgewijs vergeleken tussen de whatif-zip en S2050. Deze bestanden zijn verschillend en verschillen alleen daar waar de rivierpeilen is aangepast (Bovenrijn-Waal, Nederrijn-Lek, Pannerdensch Kanaal, IJssel)
FAT 2.2.3.0 Test 1.3	LHM-Z0	Controle DM-wijziging	nvt		Het aangepaste nds.txt DM-invoerbestand is meegekomen in de whatif-zip en staat in de tmp-map, waardoor deze wordt gebruikt binnen de modelrun.
FAT 2.2.3.0 Test 1.4	LSMLT-Z0	Controle LSMLT-wijziging	nvt		Het aangepaste PROFILE.DAT bestand is meegekomen in de whatif-zip en staat in de WORK directory, waardoor deze wordt gebruikt binnen de modelrun.
FAT 2.2.3.0  Test 2.1	LHM-Z0	Check grondwaterstanden	nvt		De grondwaterstanden dalen daar waar het rivierpeil lager is geworden (Nederrijn-Lek, IJssel) en stijgen daar waar het rivierpeil hoger is geworden (Pannerdensch Kanaal, Bovenrijn-Waal). Grondwaterstanden wijzigen het meest bij de Bovenrijn-Waal, daar vindt ook de grootste wijziging in rivierpeil plaats. Ook in verder van de rivier af wijzigt de grondwaterstand, deze wijzigingen zijn te verklaren door meer/minder afvoer naar de rivier toe (bijv. GHG in Achterhoek/Twente stijgt doordat de IJssel een lagere stand heeft en daarom minder water afvoert), of meer/minder aanvoer vanuit de rivier (Lagere GHG rondom ARK, hogere GHG in oostelijk-Brabant).
FAT 2.2.3.0  Test 2.2	LHM-Z0	Controleer takdebieten	nvt		De Waal heeft een hogere afvoer, dit klopt met de sturingsregels. Het Pannerdensch Kanaal heeft een lagere afvoer bij het whatif-scenario, in overeenstemming met de sturingsregels. De afname van het debiet in de Nederrijn en de wijziging in debiet van de IJssel komen overeen met de wijziging in sturingsregels.	Ja
FAT 2.2.3.0  Test 2.3	LHM-Z0	Controleer takdebieten	nvt		Het begin van de Maas (tak 60723 en tak 6072) zijn niet gewijzigd. Andere takken zijn niet goed te controleren, omdat de Nederrijn-Lek, Bovenrijn-Waal, Pannerdensch Kanaal en IJssel invloed hebben op vrijwel alle waterlopen.	Ja
FAT 2.2.3.0  Test 2.4	LSMLT-Z0	Controleer waterstand	nvt		De waterstand in de Waal bij Nijmegen (locatie met Id "R_RT_002_19") is in de zomerperiode lager voor het What-If scenario t.o.v. de run voor hetzelfde scenario (Stoom2050) zonder toepassing van de What-If wijziging. Voor de Waal bij Nijmegen zien we in de zomerperiode (laagwater) een waterstandsverschil van ~25cm.	Ja
FAT 2.2.3.0  Test 3.1	LHM-Z0	Check gebruikte exe		nvt	De executable waar LHM mee rekent op de fss (modsobsimtranmoz.exe) is vergeleken met de Driver_iMODFLOWsvn1759_METASWAPsvn1421.exe zoals deze in de repository staat (https://repos.deltares.nl/repos/Rekenfaciliteit_Deltamodel_Mod/trunk/Modules/NHI). De executables komen exact overeen, technisch wordt de nieuwe executable dus goed opgepakt.
FAT 2.2.3.0  Test 3.2	LHM-Z0	Check met eerdere som		nvt	Op de testomgeving is LHM-Z0 REF2017 gedraaid met de nieuwe executable. Ook is een som LHM-Z0 REF2017 gedraaid op de testomgeving met de oude executable, als referentie-som. Verschillen GLG/GHG tussen deze sommen komen grotendeels overeen met eerdere sommen. De ordegrootte van de verschillen is hetzelfde.	Ja

Tabel TR.04: Testen voor meegenomen JIRA-issues

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen

Herstelde issues tijdens testfase

Er zijn geen inhoudelijke issues aangetroffen en hersteld. 

Overige testbevindingen

Aanvullend op FAT 2.2.3.0 Test 3.2 (zoals hierboven beschreven) is het resultaat van de som REF2017 LHM zonder zoutbeperking 1911 met de oude executable ("IMODFLOW_SVN1759_METASWAP_SVN1233_X64_R_DEBUG3.exe") die als onderdeel van deze FAT is gedraaid, vergeleken met een eerder (in 2018, als onderdeel van de Basisprognoses 2018) op de productieomgeving gedraaide som REF2017 LHM zonder zoutbeperking 1911. Een vergelijking tussen de modeluitvoer op de testomgeving (FAT berekening) en op de productieomgeving (BP2018) laat kleine verschillen in de GXG zien:

Opvallend is de verhoging van de GLG in de Alblasserwaard bij de modelrun op de testomgeving (FAT berekening).