Testrapportage release 2.4.1.0

Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model. 

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0

NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt: 

Overzicht issues behorende bij deze release

Meegenomen JIRA-issues in deze release

Tabel TR.01a: Issues die in deze release zijn meegenomen

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.

In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)). De inspeelcondities voor de 30jarige runs worden beschreven in de rapportage ...

Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:

• Referentie2028, ensemble 'a' (REF2028aBP24) voor de jaren (1991-1992)
• RustParijs2050, ensemble 'b' (RP2050bBP24) voor de jaren (2026-2027)
• Stoom2100, ensemble 'c' (S2100cBP24) voor de jaren (2101-2102)
• DrukParijs2050, ensemble 'b' (DP2050bBP24) voor de jaren (2026-2027)

De volgende modellen zijn gedraaid:

• LHM zonder zoutbeperking (versie 4.3)
• LSM3 chloride berekening
• LHM (versie 4.3)
• LSM3 waterverdeling en watertemperatuur berekening

Technische test

Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.

FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.

Inhoudelijk test

Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.3: LHM inhoudelijke check:

• Test verschil tussen RustParijs 2050 en DrukParijs 2050 voor socioeconomische verschillen

FAT 2.4.1.0 Test 1.4: LSM3 inhoudelijke checks:

• a) controle of afvoer van DM knoop 5075 district 63 (LHM uitvoer) overeenkomt met de rand Aa in LSM3. Idem voor DM knoop 50731 district 631 (LHM uitvoer), komt dit debiet overeen met ZuidWillemsvaart11_631d (LSM3 uitvoer)? Idem voor Dommel bij Den Bosch welke gekoppeld is aan 6 DM knopen (LHM-LSM3 koppeling: is de randvoorwaarde correct doorgezet?)
• b) testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s. 
• c) Regionale doorspoeling:  kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol, niet blokkerend
	issue gevonden; in review na herstelactie of nadere analyse nodig
	niet succesvol
n.v.t.	de reden hiervoor staat beschreven in veld opmerkingen
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).

Testen	Scenario	Beschrijving test	Model schematisatie (Z0 = zonder zoutbeperking)				Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
			LHMZ0	LSM3 chloride	LHM	LSM3
FAT 2.4.1.0 Test 1.1	Referentie 2028	Draaien van de smoketesten						ja
	RustParijs 2050
	Stoom 2100						issues mbt kunnen omgaan met jaren na 2100 hersteld (o.a. NWM-1237) Issue NWM-1239 in 1 vd gedraaide smoketesten kan mbv een herberekening niet worden gereproduceerd
FAT 2.4.1.0 Test 1.2	Referentie 2028	Draaien van de exports					De exports draaien nu automatisch mee als onderdeel van de modellen workflows en hoeven niet apart/naderhand gedraaid te worden	ja
	RustParijs 2050
	Stoom 2100
FAT 2.4.1.0 Test 1.3	DrukParijs2050	Check veranderingen langs socioeconomische as (t.o.v. RustParijs2050)	n.v.t.	n.v.t.		n.v.t.		ja
FAT 2.4.1.0 Test 1.4a	Ref2028 / DrukParijs2050 / Stoom2100	test afvoerseries: DM knoop 5075 district 63 (in LSM3 rand Aa), DM knoop 50731 district 631 (in LSM3 rand ZuidWillemsvaart11_631d) en optelling 6 DM knopen 5104  701  'D' + 5104  702  'D' + 5104  703  'D' + 5076  71   'D' + 5076  711  'D' + 5076  712  'D' (in LSM3 rand Dommel bij Den Bosch)	n.v.t.	n.v.t.	n.v.t.		De afvoerreeksen komen overeen met het verschil dat de DM uitvoer op decade basis 1 tijdstap verschoven is zodat LSM3 de informatie aan het begin van de rekenstap beschikbaar heeft (zoals bedoeld)	ja
FAT 2.4.1.0 Test 1.4b	Ref2028 / DrukParijs2050 / Stoom2100	testen implementatie scenario's: pomp ARK_Irene_doorspoeling	n.v.t.	n.v.t.	n.v.t.			ja
FAT 2.4.1.0 Test 1.4c	Ref2028 / DrukParijs2050 / Stoom2100	testen implementatie scenario's: Regionale doorspoeling kunstwerk 789 (Louwes_doorspoeling)	n.v.t.	n.v.t.	n.v.t.		issue NWM-1242 gevonden en hersteld	ja

Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer	Model schematisatie	Beschrijving test	Resultaat	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
NWM-1219	LHM	De doorspoeling wordt aangepast adhv chloride concentraties uit LSM3 chloride		De Gevoeligheid_NWM.exe draait mee in de LHM workflow: INFO - GA Execution Started D:\workdir\LSM3_testen\NWM_SA\Modules\LHM_4_3\gevoeligheidsanalyse\Gevoeligheid_NWM.exe	ja
NWM-1145	LHM	check of issue met verschillen na restart verholpen zijn		Het issue is niet reproduceerbaar	nee
NWM-1201	LHM	check of mozartpeilen nog steeds naar voren komen in GLG na restart		Het issue is niet reproduceerbaar	nee
NWM-1238	LHM	instabiele LSW peilen in mozart	*verschil veroorzaakt door hardware	Het issue wordt veroorzaakt door een verschil in droogvallende LSW's in mozart tussen verschillende servers. Deze LSW's zijn instabiel. Door verschil in hardware ontstaan er kleine verschillen in Mozart LSW levels. Bij de instabiele LSW's leidt dit tot droogval. Door het verschil in hardware zijn de LSW's die droogvallen verschillend.  Controle op invoer, en executables is geweest en die zijn identiek.  We accepteren dat dit issue niet verholpen kan worden	ja
NWM-1227	LSM3	check of de waterdiepte normale orde grootte heeft		Geen extreme waterdiepten van +200m meer aanwezig	nee
NWM-1150	LSM3	Controleer of de jaarovergangen debiet logisch verlopen		Er zijn geen afwijkende debieten rond 1 januari meer zichtbaar na een fix voor NWM-1210. Wel kan een kleine 'afwijking' op 1 januari worden veroorzaakt doordat op 1 januari een instantane waarde uit de restart file wordt geplot terwijl voor de andere dagen een daggemiddelde waarde wordt geplot. Dit heeft geen impact op de dagen na 1 januari.	ja
NWM-1152 / NWM-1151	LSM3	Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven		NWM-1151: Locatie bij montfoort en bij Bodegraven hebben nu (na aanpassing schematisatie met bijplaatsen/aanpassing van een structure) een normale waterstand NWM-1152: Op basis van heel verschillende randvoorwaarden in de nieuwe BP24 scenarios zullen er verschillen zijn met eerdere berekeningen in LSM-light voor BP18 scenario's. Gemiddeld genomen hebben de waterstanden eenzelfde orde grootte voor genoemde locaties, de waterstanden in LSM3 lijken plausibel.	nee
NWM-1148	LSM3	Controleer of de onrealistische lage temperaturen in Limburg verdwenen zijn		Nog steeds lager temperaturen to -20 graden in de winter, geen zichtbare impact op naastgelegen Grensmaas	nee
NWM-1205	LHM en LSM3	Controleer of the statefiles in het archief terechtkomen incl. metadata		De states worden nu weggeschreven naar het archief, daarvoor moest de export activiteit wel toegevoegd worden aan de model workflow ipv in de aparte export workflow. De export workflows hoeven daarom niet meer achteraf gedraaid te worden, maar zijn nu onderdeel van de modelberekening zelf. Let op: export LSM3 data voor WABES dient nog wel gedraaid te worden na afloop van de berekeningen.	Zie figuur FAT 2.4.1.0 Test 1.2
NWM-1240	LHM	Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodules		extra uitvoer beschikbaar in native modelzip	ja
NWM-1212	LSM3	Controleer of LSM3 beschikbaar is in ArchiveDisplay		gebied en bron uitgebreid met BP24 scenarios en LSM3 model	ja

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.1.0 )

Overige testbevindingen

• Tijdens het testen is geconstateerd dat voor 1 v/d 4 KNMI scenario's (2100Ld_future) de afvoerreeksen op de verkeerde jaartallen waren klaargezet (NWM-1243). Dit is hersteld tijdens de FAT-periode.