Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model. 

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

  1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
  2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
  3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
  4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
  5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
  6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0

NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt: 

NWM deltascenarioKNMI scenariojaarreeks
Referentie20282050Md_control1991-2020
RustParijs20502100Ld_future2026-2055
DrukParijs20502100Ld_future2026-2055
Warm20502050Hd_future2034-2063
Stoom20502050Hd_future2034-2063
RustParijs21002100Ld_future2026-2055
Stoom21002100Hd_future2073-2102

Overzicht issues behorende bij deze release

Meegenomen JIRA-issues in deze release

Tabel TR.01a: Issues die in deze release zijn meegenomen

Issuenummer

Issue beschrijving

Opmerking

NWM-1194

Aansluiten KNMI 2023 meteodata (vervanging KNMI'17)LHM en LSM3

NWM-1195

Inbouw nieuwe deltascenariosLHM

NWM-1145

Reproductie FAT2.4.0.0 bevinding - LHM:
GHG grote verschillen na restart t.o.v. NHI-server berekening
LHM

NWM-1201

Reproductie FAT2.4.0.0 bevinding - LHM:
verschillen in modflow en mozart peilen
LHM

NWM-1219

Extra functionaliteit LSM3 en LHM uitwisseling zout/zoetwatervraagkoppeling LHM-LSM3

NWM-1150

Controleer jaarovergangen debietLSM3

NWM-1152 / NWM-1151

Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven


LSM3

NWM-1148

Controleer onrealistische lage temperaturen in LimburgLSM3

NWM-1227

Controleer of zeer lage waterdiepte (>200m) op 2 locaties in LSM3 is verholpenLSM3

NWM-1205

Controleer of the statefiles in het archief terechtkomen incl. metadataLHM en LSM3

NWM-1240

Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodulesLHM

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.

In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)). De inspeelcondities voor de 30jarige runs worden beschreven in de rapportage ...

Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:

  • Referentie2028, ensemble 'a' (REF2028aBP24) voor de jaren (1991-1992)
  • RustParijs2050, ensemble 'b' (RP2050bBP24) voor de jaren (2026-2027)
  • Stoom2100, ensemble 'c' (S2100cBP24) voor de jaren (2101-2102)
  • DrukParijs2050, ensemble 'b' (DP2050bBP24) voor de jaren (2026)

De volgende modellen zijn gedraaid:

  • LHM zonder zoutbeperking (versie 4,3)
  • LSM3 chloride berekening
  • LHM (versie 4.3)
  • LSM3 waterverdeling en watertemperatuur berekening

Technische test

Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.

FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.

Inhoudelijk test

Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd: 

FAT 2.4.1.0 Test 1.3: LHM inhoudelijke check:

  • Test verschil tussen RustParijs 2050 en DrukParijs 2050 voor socioeconomische verschillen

FAT 2.4.1.0 Test 1.4: LSM3 inhoudelijke checks:

  • a) controle of afvoer van DM knoop 5079 district 63 (LHM uitvoer) overeenkomt met de rand Aa in LSM3 (LHM-LSM3 koppeling: is de randvoorwaarde correct doorgezet?)
  • b) testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s. 
  • c) Regionale doorspoeling:  kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.


Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving

Betekenis

 (tick)succesvol 


niet succesvol, niet blokkerend

issue gevonden; in review na herstelactie of nadere analyse nodig

 (error)

niet succesvol
n.v.t.de reden hiervoor staat beschreven in veld opmerkingen
nog niet uitgevoerd


In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 


Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).

TestenScenarioBeschrijving testModel schematisatie (Z0 = zonder zoutbeperking)OpmerkingenScreenshot
beschikbaar
(zie Tabel TR.05)

LHMZ0

LSM3 chloride 

LHM

LSM3

FAT 2.4.1.0 Test 1.1Referentie 2028Draaien van de smoketesten(tick)

(tick)

(tick)(tick)
ja

RustParijs 2050

(tick)

(tick)

(tick)(tick)
Stoom 2100(tick)

(tick)

(tick)

issues mbt kunnen omgaan met jaren na 2100 hersteld (o.a. NWM-1237)

Openstaande issue: NWM-1239

FAT 2.4.1.0 Test 1.2Referentie 2028Draaien van de exports
-
RustParijs 2050
Stoom 2100
FAT 2.4.1.0 Test 1.3DrukParijs2050Check veranderingen langs socioeconomische as (t.o.v. RustParijs2050)n.v.t.n.v.t.(tick)n.v.t.
ja

FAT 2.4.1.0 Test 1.4a

Ref2028 / DrukParijs2050 / Stoom2100

test afvoerseries DM knoop 5079 district 63 Aa  (in LSM rand Aa)

n.v.t.n.v.t.n.v.t.

FAT 2.4.1.0 Test 1.4b

Ref2028 / DrukParijs2050 / Stoom2100

testen implementatie scenario's: pomp ARK_Irene_doorspoeling

n.v.t.n.v.t.n.v.t.

FAT 2.4.1.0 Test 1.4c

Ref2028 / DrukParijs2050 / Stoom2100testen implementatie scenario's: Regionale doorspoeling kunstwerk 789 (Louwes_doorspoeling)n.v.t.n.v.t.n.v.t.


Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer

Model
schematisatie

Beschrijving test

Resultaat

Opmerkingen

Screenshot
beschikbaar
(zie Tabel TR.05)

NWM-1219LHMDe doorspoeling wordt aangepast adhv chloride concentraties uit LSM3 chloride (tick)De Gevoeligheid_NWM.exe draait mee in de LHM workflow:
INFO - GA Execution Started D:\workdir\LSM3_testen\NWM_SA\Modules\LHM_4_3\gevoeligheidsanalyse\Gevoeligheid_NWM.exe
ja
NWM-1145LHMcheck of issue met verschillen na restart verholpen zijn(tick)


Het issue is niet reproduceerbaarnee
NWM-1201LHMcheck of mozartpeilen nog steeds naar voren komen in GLG na restart

(tick) 

Het issue is niet reproduceerbaarnee
NWM-1238LHMinstabiele LSW peilen in mozart

(tick) *verschil veroorzaakt door hardware

Het issue wordt veroorzaakt door een verschil in droogvallende LSW's in mozart tussen verschillende servers. Deze LSW's zijn instabiel. Door verschil in hardware ontstaan er kleine verschillen in Mozart LSW levels. Bij de instabiele LSW's leidt dit tot droogval. Door het verschil in hardware zijn de LSW's die droogvallen verschillend. 

Controle op invoer, en executables is geweest en die zijn identiek. 

We accepteren dat dit issue niet verholpen kan worden

ja
NWM-1227LSM3check of de waterdiepte normale orde grootte heeft

(tick)

Geen extreme waterdiepten van +200m meer aanwezig

nee

NWM-1150

LSM3Controleer of de jaarovergangen debiet logisch verlopen

Er zijn nog steeds afwijkende debieten rond 1 januari, dit wordt veroorzaakt doordat op 1 januari een instantane waarde uit de restart file wordt geplot terwijl voor de andere dagen een daggemiddelde waarde wordt geplot. Het heeft daarmee geen impact op de dagen na 1 januari. Een oplossing zou zijn om data van 1 januari niet te importeren (maar het resultaat op 1 januari van de vorige berekening te gebruiken, dat is namelijk wel een daggemiddelde waarde, alleen de startwaarde van de berekening is instantaan omdat deze uit de restart file wordt gelezen)

ja

NWM-1152 / NWM-1151

LSM3

Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven

NWM-1151: Locatie bij montfoort heeft nu een normale waterstand, bij Bodegraven nog steeds hoge uitschieters, maar geen impact op naastgelegen oude Rijn. Aanpassing aan de structures bij Bodegraven nodig om de hoge waterstanden te verhelpen

NWM-1152: Op basis van heel verschillende randvoorwaarden in de nieuwe BP24 scenarios zullen er verschillen zijn met eerdere berekeningen in LSM-light voor BP18 scenario's. Gemiddeld genomen hebben de waterstanden eenzelfde orde grootte voor genoemde locaties, de waterstanden in LSM3 lijken plausibel.

nee

NWM-1148

LSM3Controleer of de onrealistische lage temperaturen in Limburg verdwenen zijn

Nog steeds lager temperaturen to -20 graden in de winter, geen zichtbare impact op naastgelegen Grensmaas

nee

NWM-1205

LHM en LSM3

Controleer of the statefiles in het archief terechtkomen incl. metadata



NWM-1240

LHM

Controleer of extra (wofost) uitvoer beschikbaar is voor effectmodules




Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.1.0 )

Testen

Screenshot

FAT 2.4.1.0 Test 1.1

FAT 2.4.1.0 Test 1.3

NWM-1219

Er kan een what-if aangemaakt worden, waarbij de LHM-maatregel "doorspoeling chloride" geselecteerd kan worden. De default is dat deze meedraait.


NWM-1238

GHG en GLG vergelijking tussen NWM-server met mozart en LHM op de  NHI-server

Jaar 1991

Jaar 1992


Als hardware test is LHM ook op NWM server gedraaid (1992): 


Issue wordt veroorzaakt door het verschillend droogvakken van LSW's tussen beiden modellen.


FAT 2.4.1.0 Test 1.3

Verschil tussen RP en DP: Oranje kleuren geven aan dat DP een lagere GLG heeft dan RP

dGLG 2028: , dGHG 2028:

NWM-1150


  • No labels