Inleiding
Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.0.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven.
Release 2.2.0.0: aangebrachte wijzigingen t.o.v. release 2.1.4.0
Binnen NWM 2.2.0.0 zijn een aantal maatregelen toegevoegd aan het maatregelenpakket van het DrukParijs scenario. Een van die maatregelen is onderwaterdrainage, dat zal zorgen voor een stijging van de zomergrondwaterstanden. Onderwaterdrainage wordt toegepast in agrarische gebieden met veen en een maximale drooglegging van 60 cm. Daarnaast wordt in landelijke veengebieden het peil van het regionale oppervlaktewater gelijk gehouden met het referentiescenario, ondanks de bodemdaling in het DrukParijs scenario. Dit wordt ook wel passieve peilverhoging genoemd. Verder zijn een aantal peilwijzigingen in Friesland meegenomen binnen DrukParijs. Er is voor gekozen deze wijzigingen binnen DrukParijs toe te passen op zowel het mildere klimaatscenario GL als het meer omvangrijke klimaatscenario WH. Tot nu toe werd het socio-economische scenario DrukParijs enkel gecombineerd met het klimaatscenario GL. De twee nieuwe DrukParijs-scenario’s worden DPWH (DrukParijs-WH) en DPGL (DrukParijs-GL) genoemd.
Daarnaast zijn de vier deltascenario’s RUST, WARM, DRUK en STOOM voor het zichtjaar 2100 aangemaakt. Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2100. De template workflows voor 2100 zijn in deze release wel al zichtbaar, maar komen pas in de volgende release (NWM 2.2.1.0) officieel beschikbaar voor het uitvoeren van berekeningen.
FAT-testen
Invoer
FAT 2.2.0.0 Test 1.1: Modelrun uitvoeren voor het jaar 1972 en 1973. Voor Parijs-GL, en Parijs-WH. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Referentie en Druk2050 zoals beschikop de Productieomgeving)
FAT 2.2.0.0 Test 1.2: Controleren of alle modellen gedraaid zijn.
FAT 2.2.0.0 Test 1.3a: Controleren warm-state files van de verschillende runs, dit aan de hand van een vergelijking van grondwaterstanden uit DrukParijs2050 op 1 januari 1972.
FAT 2.2.0.0 Test 1.3b: Controleren NDB randvoorwaarden voor Parijs-GL (NDB randvoorwaarden van scenario Druk2050 gebruikt), en Parijs-WH (NDB randvoorwaarden van scenario Stoom2050 gebruikt).
FAT 2.2.0.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Parijs-GL moet overeen komen met Druk en Rust, Parijs-WH moeten overeen komen met Stoom en Warm.
FAT 2.2.0.0 Test 1.5: Controleren meteo. Parijs-GL moet overeen komen met KNMI’14GL data, Parijs-WH dient overeen te komen met KNMI’14 WH.
FAT 2.2.0.0 Test 1.6: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).
FAT 2.2.0.0 Test 1.7: Controle van ini file (extra systeem OWD moet aanwezig zijn).
Uitvoer
FAT 2.2.0.0 Test 2.1: Verhoogde grondwaterstanden t.o.v. referentie in gebieden waar OWD in het model is geïmplementeerd (voor kaart zie randvoorwaarden memo). Verschillen grondwaterstanden Druk en Parijs-GL in overige gebieden conform modelaanpassingen.
FAT 2.2.0.0 Test 2.2: Extra watervraag (watervraag peilbeheer) aan het hoofdwatersysteem voor gebieden met OWD (West Nederland, Rivierengebied, Noord Holland en Friesland)
FAT 2.2.0.0 Test 2.3: Peilverloop IJsselmeer (extra peiluitzakking in Parijs-GL scenario t.o.v. Referentie, Parijs-WH zakt nog verder uit dan Parijs-GL)
Meegenomen JIRA-issues
Issuenummer | Issue beschrijving | Controle |
|---|---|---|
Wabeslocaties niet goed gekoppeld aan LSM_light model-id's | In de netcdf-bestanden de aanwezigheid van de nieuwe zw_wabes_lsmlt*.nc id’s (sobek id’s in station_names) vaststellen. | |
LHM Import: DMKnoopDistrict.nc tbv export WABES is incorrect | Geen onderdeel van de FAT; Hans Korving checkt na afloop voor WABES. | |
NDB export verwijderen uit huidige LHM export voor zonder zout runs | Nieuwe NDB export in FEWS-GUI beschikbaar, vaststellen dat in LHM export geen ZW_chloride*.nc meer voorkomen. | |
NWM BP18 Prod: LTM-light - Debieten en lozingscapaciteit vertonen merkwaardige jaarovergangen. | Check of LTM-light afvoer op 1 januari (1973) niet meer 0 is. | |
NWM BP18 Prod: signalering missings in meteo OpenDap | Test LHM-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat). | |
Update Batchmaker.exe with option to select coldstateId and added workflows | Check of nieuwe versie Batchmaker beschikbaar is. |
Overzicht van de resultaten van het pakket aan FAT-testen
In onderstaande tabellen worden de standaardtesten weergegeven. Onderstaande legenda geeft verdere uitleg over de tabellen.Een meer gedetailleerde beschrijving van de uitgevoerde testen is beschreven in de bijlagen.
Legenda:
| Icoon / Beschrijving | Betekenis |
|---|---|
 | succesvol |
 | succesvol na overleg met een inhoudelijk expert |
 | niet succesvol |
| niet uitgevoerd | de reden hiervoor staat beschreven in de bijlagen |
| n.v.t. | test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende. |
| — | nog niet uitgevoerd |
Tabel TR.01: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH
Testen | Model | Beschrijving test | Druk | Druk | Druk | Druk | Opmerkingen | Screenshot beschikbaar |
|---|---|---|---|---|---|---|---|---|
| FAT 2.2.0.0 Test 1.1 | LHM | Uitvoeren workflow | | | | | n.v.t. | |
| LSMLT | Uitvoeren workflow | | | | | n.v.t. | ||
| LTMLT | Uitvoeren workflow | | | | | n.v.t. | ||
FAT 2.2.0.0 | LHM | Technische controleren modeluitvoer |
| | | | geen ERROR/WARN* logmeldingen, 0% missings voor betreffend jaar, | |
LSMLT | Technische controleren modeluitvoer |
| | | | geen ERROR/WARN* logmeldingen, 0% missings voor betreffend jaar, | ||
LTMLT | Technische controleren modeluitvoer |
| | | | geen ERROR/WARN* logmeldingen, 0% missings voor betreffend jaar, | ||
| FAT 2.2.0.0 Test 1.3a | LHM | Check randvoorwaarden modelstates (warm 1972-01-01) | | nvt | | nvt | Controle op verloop van grondwaterstanden DrukParijs 1971 naar DPGL en DPWH 1972. Verloop bij jaarovergang is plausibel. | |
| LSMLT | Check randvoorwaarden modelstates (warm 1972-01-01) | |||||||
| LTMLT | Check randvoorwaarden modelstates (warm 1972-01-01) | |||||||
FAT 2.2.0.0 | LHM | Check randvoorwaarden invoer afkomstig van NDB | ||||||
| FAT 2.2.0.0 Test 1.4 | LHM | Controleren afvoeren Lobith en Monsin | | | | | Afvoerverloop Lobith (6001) DPGL'17 is gelijk aan Druk'17. Afvoerverloop Lobith (6001) DPWH'17 is gelijk aan Warm'17. Afvoerverloop Monsin (60720) DPGL'17 is gelijk aan Druk'17. Afvoerverloop Lobith (60720) DPWH'17 is gelijk aan Warm'17. | |
| FAT 2.2.0.0 Test 1.5 | LHM/LSTM | Meteo | | nvt | | nvt | Er zijn verschillen tussen modelinvoer. Controle van de meteo map in: ZW_LHM_197301010000_DTDMMC00_000058526_none_DPGL2050BP18.zip | |
| FAT 2.2.0.0 Test 1.6 | LHM | Zeespiegelstijging | | n.v.t | | n.v.t | Zeespiegelstijging komt overeen met de zeespiegelstijging opgenomen de Testen zijn uitgevoerd op basis van: ZW_LHM_197301010000_DTDMMC00_000058526_none_DPGL2050BP18.zip | |
| LSMLT | Zeespiegelstijging | |||||||
| FAT 2.2.0.0 Test 1.7 | LHM | Controle van ini file | | nvt | | nvt | Gecontroleerd of de aanpassingen van het extra systeem in de ini terecht zijn gekomen. Vervolgens ook gecontroleerd of de runfile waar modflow mee rekent (nhi.run) ook het extra RIV systeem bevat. | |
| FAT 2.2.0.0 Test 2.1 | LHM | Grondwaterstand als gevolg van onderwaterdrainage | | nvt | | nvt | Verandering GHG en GLG bepaald voor het jaar 1972 ten opzichte van de GHG en GLG voor het scenario DrukParijs uit de archieven. zips: ZW_LHM_197301010000_DTDMMC00_000058526_none_DPGL2050BP18.zip vergeleken met: ZW_LHM_197301010000_DPAR2050BP18.zip Effect niet plausibel. Issue ontdekt in de peilen van de onderwaterdrains waardoor te weinig effect zichtbaar is. Nieuwe run wordt uitgevoerd. | |
| FAT 2.2.0.0 Test 2.2 | LHM | Watervraag regio | - | nvt | - | nvt | ||
| FAT 2.2.0.0 Test 2.3 | LHM | Peilverloop IJsselmeer | - | nvt | - | nvt | ||
* Er treedt alleen de volgende warning op die geeft impact heeft op de workflow/uitgevoerde berekeningen:
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS
Tabel TR.02: Beschikbare screenshots behorende bij de uitgevoerde testen
| Testen | Screenshot |
|---|---|
| FAT 2.2.0.0 Test 1.1 | - |
| FAT 2.2.0.0 Test 1.2 | - |
| FAT 2.2.0.0 Test 1.3a |  |
| FAT 2.2.0.0 Test 1.3b | - |
| FAT 2.2.0.0 Test 1.4 | - |
| FAT 2.2.0.0 Test 1.5 |  |
| FAT 2.2.0.0 Test 1.6 | - |
| FAT 2.2.0.0 Test 1.7 | - |
| FAT 2.2.0.0 Test 2.1 | - |
| FAT 2.2.0.0 Test 2.2 | - |
| FAT 2.2.0.0 Test 2.3 | - |
Tabel TR.03: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen |
|---|---|---|---|---|
LSMLT export | In de netcdf-bestanden de aanwezigheid van de nieuwe zw_wabes_lsmlt*.nc id’s | |||
| Geen onderdeel van de FAT; Hans Korving checkt na afloop voor WABES. | |||
| Nieuwe NDB export in FEWS-GUI beschikbaar, vaststellen dat in LHM export | |||
| Check of LTM-light afvoer op 1 januari (1973) niet meer 0 is. | |||
LHM / LSMLT | Test LHM-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel | | ERROR | |
| LTMLT import meteo | Test LTMLT-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat). | | ERROR | |
| Check of nieuwe versie Batchmaker beschikbaar is. |
|
Herstelde issues tijdens testfase
Tijdens het beoordelen van de resultaten gekeken naar de erandering GHG en GLG bepaald voor het jaar 1972 ten opzichte van de GHG en GLG voor het scenario DrukParijs uit de archieven.
zips:
ZW_LHM_197301010000_DTDMMC00_000058526_none_DPGL2050BP18.zip
ZW_LHM_197301010000_DTDMMC00_000058532_none_DPWH2050BP18.zipvergeleken met:
ZW_LHM_197301010000_DPAR2050BP18.zip
Dit effect was niet plausibel. Issue ontdekt in de peilen van de onderwaterdrains waardoor te weinig effect op grondwaterstanden en watervraag werd berekent. De oorzaak van dit issue is achterhaald en opgelost. Nieuwe testen uitgevoerd op nieuwe runs.
Overige testbevindingen
- Tijdens de analyse van de zeespiegelstijging is gebleken dat de zeespiegel in de Referentie 2017 in MODFLOW op 0.00 m NAP is ingesteld in plaats van 0.07m NAP. Dit betekent dat er met een extra relatieve zeespiegelstijging van 7 cm wordt gerekend bij de scenario's. De absolute zeespiegel stand in de scenario's is consistent met de gerapporteerde waarden.
