Inleiding
Deze rapportage beschrijft de wijzigingen van NWM release 2.4.1.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving met een geactualiseerde modellentrein bestaande uit het LHM4.3 model en het LSM3 model.
Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden.
Release 2.4.1.0: aangebrachte wijzigingen t.o.v. release 2.4.0.0
NWM 2.4.1.0 gebruikt een geactualiseerde modellentrein t.o.v. de modellentrein, waarmee voor de Basisprognoses 2018 is gerekend.
De volledige geactualiseerde modellentrein ziet er als volgt uit: LHMZ0 (zonder zoutbeperking) - LSM3 (chloride berekening) - LHM (met zoutbeperking) - LSM3 (waterverdeling en temperatuur (en chloride)).
Ook zijn de nieuwe KNMI 2023 scenario's beschikbaar gemaakt binnen de NWM FEWS omgeving. In onderstaande tabel is voor de verschillende Deltascenario's aangegeven welke KNMI scenario's zijn gebruikt:
| NWM deltascenario | KNMI scenario | jaarreeks |
|---|---|---|
| Referentie2028 | 2050Md_control | 1991-2020 |
| RustParijs2050 | 2100Ld_future | 2026-2055 |
| DrukParijs2050 | 2100Ld_future | 2026-2055 |
| Warm2050 | 2050Hd_future | 2034-2063 |
| Stoom2050 | 2050Hd_future | 2034-2063 |
| RustParijs2100 | 2100Ld_future | 2026-2055 |
| Stoom2100 | 2100Hd_future | 2073-2102 |
Overzicht issues behorende bij deze release
Meegenomen JIRA-issues in deze release
Tabel TR.01a: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Opmerking |
|---|---|---|
| Aansluiten KNMI 2023 meteodata (vervanging KNMI'17) | LHM en LSM3 | |
| Inbouw nieuwe deltascenarios | LHM | |
| Reproductie FAT2.4.0.0 bevinding - LHM: GHG grote verschillen na restart t.o.v. NHI-server berekening | LHM | |
| Reproductie FAT2.4.0.0 bevinding - LHM: verschillen in modflow en mozart peilen | LHM | |
| Extra functionaliteit LSM3 en LHM uitwisseling zout/zoetwatervraag | koppeling LHM-LSM3 | |
| Controleer jaarovergangen debiet | LSM3 | |
Controleer waterstanden locaties Spui en Schoonhoven en waterstanden ten westen van Montfoort en bij Bodegraven | LSM3 | |
| Controleer onrealistische lage temperaturen in Limburg | LSM3 | |
| Controleer of zeer lage waterdiepte (>200m) op 2 locaties in LSM3 is verholpen | LSM3 |
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.
In totaal zullen er op de NWM-productieomgeving 21 berekeningen van elk 30 jaar worden uitgevoerd, dwz. 3 ensembles (a, b, en c) per scenario (Referentie (2028), RustParijs, DrukParijs, Warm, en Stoom (2050), RustParijs en Stoom (2100)).
Hiervan zullen 4 workflows (de gehele modellentrein) binnen deze FAT getest worden, dit betreft de volgende smoketesten:
- Referentie2028, ensemble 'a' (REF2028aBP14) voor de jaren (1991-1992)
- DrukParijs2050, ensemble 'b' (DP2050bBP14) voor de jaren (2026-2027)
- RustParijs2050, ensemble 'b' (RP2050bBP14) voor de jaren (2026-2027)
- Stoom2100, ensemble 'c' (S2100cBP14) voor de jaren (2101-2102)
De volgende modellen zijn gedraaid:
- LHM zonder zoutbeperking (versie 4,3)
- LSM3 chloride berekening
- LHM (versie 4.3)
- LSM3 waterverdeling en watertemperatuur berekening
Technische test
Voor de technische checks (werkt alles zonder foutmeldingen) zijn de volgende testen uitgevoerd:
FAT 2.4.1.0 Test 1.1: Check of smoketesten voor de gehele NWM modellentrein technisch goed draaien.
FAT 2.4.1.0 Test 1.2: Check of de exports voor de gehele NWM modellentrein technisch goed draaien.
Inhoudelijk test
Voor de inhoudelijke checks (is de uitkomst plausibel) zijn de volgende testen uitgevoerd:
FAT 2.4.1.0 Test 1.3: -
FAT 2.4.1.0 Test 1.4: LSM3 inhoudelijke checks:
- test afvoerseries DM knoop 5079 district 63 Aa (in LSM rand Aa)
- testen implementatie scenario's: bv. pomp ARK_Irene_doorspoeling, in Ref2028 0.0, in Druk/Rust2050 1 m3/s, in Warm/Stoom2050 3 m3/s, in Druk/Rust2100 2 m3/s, in Warm/Stoom2100 10 m3/s.
- Regionale doorspoeling: kunstwerk 789 (Louwes_doorspoeling) in Ref2028 1.0 m3/s, Druk/Rust2050 1.2 m3/s, Warm/Stoom2050 1.5 m3/s, Rust2100 1.4 m3/s, Stoom2100 2.7 m3/s.
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
Icoon / Beschrijving | Betekenis |
|---|---|
 | succesvol |
| issue gevonden; in review na herstelactie of nadere analyse nodig |
| niet succesvol |
| n.v.t. | de reden hiervoor staat beschreven in veld opmerkingen |
| — | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Overzicht van de uitgevoerde testen (basisprognoses 2024).
| Testen | Scenario | Beschrijving test | Model schematisatie (Z0 = zonder zoutbeperking) | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) | |||
LHMZ0 | LSM3 chloride | LHM | LSM3 | |||||
|---|---|---|---|---|---|---|---|---|
| FAT 2.4.1.0 Test 1.1 | Referentie 2028 | Draaien van de smoketesten | | — | — | — | succesvol, nog met warnings | ja |
| DrukParijs 2050 | | — | — | — | ||||
| Stoom 2100 | | — | — | — | restart files bijgewerkt, herberekening succesvol | |||
| FAT 2.4.1.0 Test 1.2 | Referentie 2028 | Draaien van de exports | — | — | — | — | - | |
| DrukParijs 2050 | — | — | — | — | ||||
| Stoom 2100 | — | — | — | — | ||||
| FAT 2.4.1.0 Test 1.3 | RustParijs2050 | Check veranderingen langs socioeconomische as (t.o.v. DrukParijs2050) | n.v.t. | n.v.t. | — | — | ||
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot |
|---|---|---|---|---|---|
| NWM-1219 | LHM | De doorspoeling wordt aangepast adhv chloride concentraties uit LSM3 chloride | | De Gevoeligheid_NWM.exe draait mee in de LHM workflow: INFO - GA Execution Started D:\workdir\LSM3_testen\NWM_SA\Modules\LHM_4_3\gevoeligheidsanalyse\Gevoeligheid_NWM.exe | ja |
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn,
de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.4.1.0 )
Testen | Screenshot |
|---|---|
| FAT 2.4.1.0 Test 1.1 |
|
| NWM-1219 | Er kan een what-if aangemaakt worden, waarbij de LHM-maatregel "doorspoeling chloride" geselecteerd kan worden. De default is dat deze meedraait.
|
