Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model. 

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

  1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
  2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
  3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
  4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
  5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
  6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0

NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt: 

NWM deltascenarioKNMI scenariojaarreeks
Referentie 20282050Md_control1991-2020
Ruim 20502100Ld_future2026-2055
Vlug 20502100Ld_future2026-2055
Warm 20502050Hd_future2034-2063
Stoom 20502050Hd_future2034-2063
Ruim 21002100Ld_future2026-2055
Stoom 21002100Hd_future2073-2102

Overzicht issues behorende bij deze release

Meegenomen JIRA-issues in deze release

Tabel TR.01a: Issues die in deze release zijn meegenomen

Issuenummer

Issue beschrijving

Opmerking

NWM-1194

Aansluiten KNMI 2023 meteodata (vervanging KNMI'17)LHM en LSM3

NWM-1195

Inbouw nieuwe deltascenariosLHM

NWM-1145

Reproductie FAT2.4.0.0 bevinding - LHM:
GHG grote verschillen na restart t.o.v. NHI-server berekening
LHM

NWM-1201

Reproductie FAT2.4.0.0 bevinding - LHM:
verschillen in modflow en mozart peilen
LHM

NWM-1219

Extra functionaliteit LSM3 en LHM uitwisseling zout/zoetwatervraagkoppeling LHM-LSM3

NWM-1150

Controleer jaarovergangen debietLSM3

NWM-1152 / NWM-1151

Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven

LSM3

NWM-1148

Controleer onrealistische lage temperaturen in LimburgLSM3

NWM-1227

Controleer of zeer lage waterdiepte (>200m) op 2 locaties in LSM3 is verholpenLSM3

NWM-1205

Controleer of the statefiles in het archief terechtkomen incl. metadataLHM en LSM3

NWM-1240

Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodulesLHM

NWM-1212

Controleer of LSM3 beschikbaar is in ArchiveDisplayLSM3

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.

In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)). De inspeelcondities voor de 30jarige runs worden beschreven in de rapportage ...

Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:

  • Referentie2028, ensemble 'a' (REF2028aBP24) voor de jaren (1991-1992)
  • RustParijs2050, ensemble 'b' (RP2050bBP24) voor de jaren (2026-2027)
  • Stoom2100, ensemble 'c' (S2100cBP24) voor de jaren (2101-2102)
  • DrukParijs2050, ensemble 'b' (DP2050bBP24) voor de jaren (2026-2027)

De volgende modellen zijn gedraaid:

  • LHM zonder zoutbeperking (versie 4.3)
  • LSM3 chloride berekening
  • LHM (versie 4.3)
  • LSM3 waterverdeling en watertemperatuur berekening

Technische test

Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.

FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.

Inhoudelijk test

Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.3: LHM inhoudelijke check:

  • Test verschil tussen RustParijs 2050 en DrukParijs 2050 voor socioeconomische verschillen

FAT 2.4.1.0 Test 1.4: LSM3 inhoudelijke checks:

  • a) controle of afvoer van DM knoop 5075 district 63 (LHM uitvoer) overeenkomt met de rand Aa in LSM3. Idem voor DM knoop 50731 district 631 (LHM uitvoer), komt dit debiet overeen met ZuidWillemsvaart11_631d (LSM3 uitvoer)? Idem voor Dommel bij Den Bosch welke gekoppeld is aan 6 DM knopen (LHM-LSM3 koppeling: is de randvoorwaarde correct doorgezet?)
  • b) testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s. 
  • c) Regionale doorspoeling:  kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.


Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving

Betekenis

 (tick)succesvol 


niet succesvol, niet blokkerend

issue gevonden; in review na herstelactie of nadere analyse nodig

 (error)

niet succesvol
n.v.t.de reden hiervoor staat beschreven in veld opmerkingen
nog niet uitgevoerd


In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 


Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).

TestenScenarioBeschrijving testModel schematisatie (Z0 = zonder zoutbeperking)OpmerkingenScreenshot
beschikbaar
(zie Tabel TR.05)

LHMZ0

LSM3 chloride 

LHM

LSM3

FAT 2.4.1.0 Test 1.1Referentie 2028Draaien van de smoketesten(tick)

(tick)

(tick)(tick)
ja

RustParijs 2050

(tick)

(tick)

(tick)(tick)
Stoom 2100(tick)

(tick)

(tick)

(tick)

issues mbt kunnen omgaan met jaren na 2100 hersteld (o.a. NWM-1237)

Issue NWM-1239 in 1 vd gedraaide smoketesten kan mbv een herberekening niet worden gereproduceerd

FAT 2.4.1.0 Test 1.2Referentie 2028Draaien van de exports(tick)(tick)(tick)(tick)De exports draaien nu automatisch mee als onderdeel van de modellen workflows en hoeven niet apart/naderhand gedraaid te wordenja
RustParijs 2050(tick)(tick)(tick)(tick)
Stoom 2100(tick)(tick)(tick)(tick)
FAT 2.4.1.0 Test 1.3DrukParijs2050Check veranderingen langs socioeconomische as (t.o.v. RustParijs2050)n.v.t.n.v.t.(tick)n.v.t.
ja

FAT 2.4.1.0 Test 1.4a

Ref2028 / DrukParijs2050 / Stoom2100

test afvoerseries: DM knoop 5075 district 63 (in LSM3 rand Aa), DM knoop 50731 district 631 (in LSM3 rand ZuidWillemsvaart11_631d) en optelling 6 DM knopen 5104  701  'D' + 5104  702  'D' + 5104  703  'D' + 5076  71   'D' + 5076  711  'D' + 5076  712  'D'
(in LSM3 rand Dommel bij Den Bosch)

n.v.t.n.v.t.n.v.t.(tick)De afvoerreeksen komen overeen met het verschil dat de DM uitvoer op decade basis 1 tijdstap verschoven is zodat LSM3 de informatie aan het begin van de rekenstap beschikbaar heeft (zoals bedoeld)ja

FAT 2.4.1.0 Test 1.4b

Ref2028 / DrukParijs2050 / Stoom2100

testen implementatie scenario's: pomp ARK_Irene_doorspoeling

n.v.t.n.v.t.n.v.t.(tick)
ja

FAT 2.4.1.0 Test 1.4c

Ref2028 / DrukParijs2050 / Stoom2100testen implementatie scenario's: Regionale doorspoeling kunstwerk 789 (Louwes_doorspoeling)n.v.t.n.v.t.n.v.t.

(tick)

issue NWM-1242
gevonden en hersteld
ja


Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer

Model
schematisatie

Beschrijving test

Resultaat

Opmerkingen

Screenshot
beschikbaar
(zie Tabel TR.05)

NWM-1219LHMDe doorspoeling wordt aangepast adhv chloride concentraties uit LSM3 chloride (tick)De Gevoeligheid_NWM.exe draait mee in de LHM workflow:
INFO - GA Execution Started D:\workdir\LSM3_testen\NWM_SA\Modules\LHM_4_3\gevoeligheidsanalyse\Gevoeligheid_NWM.exe
ja
NWM-1145LHMcheck of issue met verschillen na restart verholpen zijn(tick)


Het issue is niet reproduceerbaarnee
NWM-1201LHMcheck of mozartpeilen nog steeds naar voren komen in GLG na restart

(tick) 

Het issue is niet reproduceerbaarnee
NWM-1238LHMinstabiele LSW peilen in mozart

(tick) *verschil veroorzaakt door hardware

Het issue wordt veroorzaakt door een verschil in droogvallende LSW's in mozart tussen verschillende servers. Deze LSW's zijn instabiel. Door verschil in hardware ontstaan er kleine verschillen in Mozart LSW levels. Bij de instabiele LSW's leidt dit tot droogval. Door het verschil in hardware zijn de LSW's die droogvallen verschillend. 

Controle op invoer, en executables is geweest en die zijn identiek. 

We accepteren dat dit issue niet verholpen kan worden

ja
NWM-1227LSM3check of de waterdiepte normale orde grootte heeft

(tick)

Geen extreme waterdiepten van +200m meer aanwezig

nee

NWM-1150

LSM3Controleer of de jaarovergangen debiet logisch verlopen

(tick)

Er zijn geen afwijkende debieten rond 1 januari meer zichtbaar na een fix voor NWM-1210. Wel kan een kleine 'afwijking' op 1 januari worden veroorzaakt doordat op 1 januari een instantane waarde uit de restart file wordt geplot terwijl voor de andere dagen een daggemiddelde waarde wordt geplot. Dit heeft geen impact op de dagen na 1 januari.

ja

NWM-1152 / NWM-1151

LSM3

Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven

(tick)

NWM-1151: Locatie bij montfoort en bij Bodegraven hebben nu (na aanpassing schematisatie met bijplaatsen/aanpassing van een structure) een normale waterstand

NWM-1152: Op basis van heel verschillende randvoorwaarden in de nieuwe BP24 scenarios zullen er verschillen zijn met eerdere berekeningen in LSM-light voor BP18 scenario's. Gemiddeld genomen hebben de waterstanden eenzelfde orde grootte voor genoemde locaties, de waterstanden in LSM3 lijken plausibel.

nee

NWM-1148

LSM3Controleer of de onrealistische lage temperaturen in Limburg verdwenen zijn

Nog steeds lager temperaturen to -20 graden in de winter, geen zichtbare impact op naastgelegen Grensmaas

nee

NWM-1205

LHM en LSM3

Controleer of the statefiles in het archief terechtkomen incl. metadata

(tick)

De states worden nu weggeschreven naar het archief, daarvoor moest de export activiteit wel toegevoegd worden aan de model workflow ipv in de aparte export workflow. De export workflows hoeven daarom niet meer achteraf gedraaid te worden, maar zijn nu onderdeel van de modelberekening zelf. Let op: export LSM3 data voor WABES dient nog wel gedraaid te worden na afloop van de berekeningen. 

Zie figuur FAT 2.4.1.0 Test 1.2

NWM-1240

LHM

Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodules(tick)

extra uitvoer beschikbaar in native modelzip

ja

NWM-1212

LSM3

Controleer of LSM3 beschikbaar is in ArchiveDisplay(tick)

gebied en bron uitgebreid met BP24 scenarios en LSM3 model

ja


Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.1.0 )

Testen

Screenshot

FAT 2.4.1.0 Test 1.1

FAT 2.4.1.0 Test 1.2

Naast de timeseries worden nu ook de modelstates naar het archief geexporteerd incl. bijbehorende metadata info:

FAT 2.4.1.0 Test 1.3

Verschil tussen RP en DP: Oranje kleuren geven aan dat DP een lagere GLG heeft dan RP

dGLG 2028: , dGHG 2028:

FAT 2.4.1.0 Test 1.4a

FAT 2.4.1.0 Test 1.4b

De 1e waarde op 1 jan van het eerste jaar is 0 m3/s en komt uit de (koude) restart file. Dit is alleen voor de 1e dag van de 30jarige reeks het geval.

FAT 2.4.1.0 Test 1.4c

NWM-1219

Er kan een what-if aangemaakt worden, waarbij de LHM-maatregel "doorspoeling chloride" geselecteerd kan worden. De default is dat deze meedraait.


NWM-1238

GHG en GLG vergelijking tussen NWM-server met mozart en LHM op de  NHI-server

Jaar 1991

Jaar 1992


Als hardware test is LHM ook op NWM server gedraaid (1992): 


Issue wordt veroorzaakt door het verschillend droogvakken van LSW's tussen beiden modellen.


NWM-1150

Vergelijking twee losse sommen met restart (blauwe lijn) vs. enkele som voor tweejarige berekening (rode lijn):


Behalve de waarde op 1 januari (blauwe lijn toont instantane waarde gelezen uit de restart file en rode lijn toont daggemiddelde waarde), is er geen effect op de dagen na 1 januari.
LSM3 schrijft voor de eerste tijdstap een instantane waarde weg in de uitvoer files. Er is een ontwikkeling nodig (SOBEK-51071) om de eerste tijdstap optioneel in het uitvoerbestand weg te schrijven. Met de huidige software is een dergelijke optie niet beschikbaar.

NWM-1240

image-2024-03-02-14-35-11-801.png

NWM-1212

image-2024-03-07-11-01-21-817.pngimage-2024-03-07-10-54-03-896.png


Overige testbevindingen

  • Tijdens het testen is geconstateerd dat voor 1 v/d 4 KNMI scenario's (2100Ld_future) de afvoerreeksen op de verkeerde jaartallen waren klaargezet (NWM-1243). Dit is hersteld tijdens de FAT-periode.
  • No labels