Testrapportage release 2.4.1.0 (WORK IN PROGRESS)

Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model. 

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0

NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt: 

Overzicht issues behorende bij deze release

Meegenomen JIRA-issues in deze release

Tabel TR.01a: Issues die in deze release zijn meegenomen

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.

In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)). De inspeelcondities voor de 30jarige runs worden beschreven in de rapportage ...

Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:

• Referentie2028, ensemble 'a' (REF2028aBP24) voor de jaren (1991-1992)
• RustParijs2050, ensemble 'b' (RP2050bBP24) voor de jaren (2026-2027)
• Stoom2100, ensemble 'c' (S2100cBP24) voor de jaren (2101-2102)
• DrukParijs2050, ensemble 'b' (DP2050bBP24) voor de jaren (2026)

De volgende modellen zijn gedraaid:

• LHM zonder zoutbeperking (versie 4,3)
• LSM3 chloride berekening
• LHM (versie 4.3)
• LSM3 waterverdeling en watertemperatuur berekening

Technische test

Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.

FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.

Inhoudelijk test

Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.3: LHM inhoudelijke check:

• Test verschil tussen RustParijs 2050 en DrukParijs 2050 voor socioeconomische verschillen

FAT 2.4.1.0 Test 1.4: LSM3 inhoudelijke checks:

• a) controle of afvoer van DM knoop 5079 district 63 (LHM uitvoer) overeenkomt met de rand Aa in LSM3 (LHM-LSM3 koppeling: is de randvoorwaarde correct doorgezet?)
• b) testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s. 
• c) Regionale doorspoeling:  kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol, niet blokkerend
	issue gevonden; in review na herstelactie of nadere analyse nodig
	niet succesvol
n.v.t.	de reden hiervoor staat beschreven in veld opmerkingen
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).

Testen	Scenario	Beschrijving test	Model schematisatie (Z0 = zonder zoutbeperking)				Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
			LHMZ0	LSM3 chloride	LHM	LSM3
FAT 2.4.1.0 Test 1.1	Referentie 2028	Draaien van de smoketesten						ja
	RustParijs 2050
	Stoom 2100						issues mbt kunnen omgaan met jaren na 2100 hersteld (o.a. NWM-1237) Openstaande issue: NWM-1239
FAT 2.4.1.0 Test 1.2	Referentie 2028	Draaien van de exports	—	—	—	—		-
	RustParijs 2050		—	—	—	—
	Stoom 2100		—	—	—	—
FAT 2.4.1.0 Test 1.3	DrukParijs2050	Check veranderingen langs socioeconomische as (t.o.v. RustParijs2050)	n.v.t.	n.v.t.		—		ja
FAT 2.4.1.0 Test 1.4a	Ref2028 / DrukParijs2050 / Stoom2100	test afvoerseries DM knoop 5079 district 63 Aa  (in LSM rand Aa)	n.v.t.	n.v.t.	—	—
FAT 2.4.1.0 Test 1.4b	Ref2028 / DrukParijs2050 / Stoom2100	testen implementatie scenario's	n.v.t.	n.v.t.	—	—
FAT 2.4.1.0 Test 1.4c	Ref2028 / DrukParijs2050 / Stoom2100		n.v.t.	n.v.t.	—	—

Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer	Model schematisatie	Beschrijving test	Resultaat	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
NWM-1219	LHM	De doorspoeling wordt aangepast adhv chloride concentraties uit LSM3 chloride		De Gevoeligheid_NWM.exe draait mee in de LHM workflow: INFO - GA Execution Started D:\workdir\LSM3_testen\NWM_SA\Modules\LHM_4_3\gevoeligheidsanalyse\Gevoeligheid_NWM.exe	ja
NWM-1145	LHM	check of issue met verschillen na restart verholpen zijn		Het issue is niet reproduceerbaar	nee
NWM-1201	LHM	check of mozartpeilen nog steeds naar voren komen in GLG na restart		Het issue is niet reproduceerbaar	nee
NWM-1238	LHM	instabiele LSW peilen in mozart	*verschil veroorzaakt door hardware	Het issue wordt veroorzaakt door een verschil in droogvallende LSW's in mozart tussen verschillende servers. Deze LSW's zijn instabiel. Door verschil in hardware ontstaan er kleine verschillen in Mozart LSW levels. Bij de instabiele LSW's leidt dit tot droogval. Door het verschil in hardware zijn de LSW's die droogvallen verschillend.  Controle op invoer, en executables is geweest en die zijn identiek.  We accepteren dat dit issue niet verholpen kan worden	ja
NWM-1227	LSM3	check of de waterdiepte normale orde grootte heeft		Geen extreme waterdiepten van +200m meer aanwezig	nee
NWM-1150	LSM3	Controleer of de jaarovergangen debiet logisch verlopen		Op het oog afwijkende debieten lijken nog steeds voor te komen rond 1 januari	ja
NWM-1152 / NWM-1151	LSM3	Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven		NWM-1151: Locatie bij montfoort heeft nu een normale waterstand, bij Bodegraven nog steeds hoge uitschieters, maar geen impact op naastgelegen oude Rijn. NWM-1152: waterstanden locaties Spui (nieuwe waterweg?) en Schoonhoven worden nog bekeken	nee
NWM-1148	LSM3	Controleer of de onrealistische lage temperaturen in Limburg verdwenen zijn		Nog steeds lager temperaturen to -20 graden in de winter, geen zichtbare impact op naastgelegen Grensmaas	nee

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.1.0 )