Inleiding
Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.1.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.
Release 2.2.1.0: aangebrachte wijzigingen t.o.v. release 2.2.0.0
Binnen NWM 2.2.1.0 zijn de volgende vier scenario's toegevoegd:
- Rust 2085
- Warm 2085
- Druk 2085
- Stoom 2085
Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2085. Hiervoor worden de Deltascenario’s 2017 doorgetrokken naar het jaar 2085. Omdat er geen socio-economische scenario’s voor het zichtjaar 2085 beschikbaar zijn is ervoor gekozen om de socio-economische ontwikkeling van de scenario's voor het zichtjaar 2050 over te nemen. Zodoende zijn alleen de randvoorwaarden als gevolg van de klimaatscenario’s voor 2085 aangepast .
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.
Invoer
FAT 2.2.1.0 Test 1.1: Modelrun uitvoeren voor de jaren 1972 en 1973 voor Rust2100, Warm2100, Druk2100 en Stoom2100. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Rust-2050, Warm-2050, Druk-2050 en Stoom-2050, zoals beschikbaar op de Productieomgeving)
FAT 2.2.1.0 Test 1.2: Controleren of alle modellen gedraaid zijn.
FAT 2.2.1.0 Test 1.3: Controleren warm-state files van de verschillende runs, aan de hand vergelijking van grondwaterstanden uit de 4 scenario’s 2050 op 1 januari 1972.
FAT 2.2.1.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Andere afvoeren dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde afvoer hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.5: Controleren meteo. Andere meteo dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde meteo hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.6: Controleren of de juiste socio-economische zips zijn gekoppeld (vergelijking zip files met de modelinvoer).
FAT 2.2.1.0 Test 1.7: Controleren of de HWS peilen per scenario goed zijn meegekomen.
FAT 2.2.1.0 Test 1.8: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).
Uitvoer
FAT 2.2.1.0 Test 2.1: Grondwaterstanden 2100 geven versterkte trend ten opzichte van de 2050 scenario’s (voor goede vergelijking moet ook 2003 als testsom voor de 2050 scenario’s beschikbaar zijn.
FAT 2.2.1.0 Test 2.2: Peilverloop 2100, groter buffergebruik IJsselmeer voor zichtjaar 2100 scenario’s.
FAT 2.2.1.0 Test 2.3: effect zichtjaar 2085 (klimaat) ipv zichtjaar 2050 (klimaat) op de uitkomsten.
Meegenomen JIRA-issues
Tabel TR.01: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Controle |
|---|---|---|
| Uitbreiding NWM BP18 met 4 scenario's (4 x zichtjaar 2100) | Zie overige FAT-testen Tabel TR.03 | |
| LHM Import:DMKnoopDistrict.nc tbv export WABES is incorrect | Check of DM_ 6032_MZ_ is beschikbaar voor 6 locaties ipv 4, o.a. locatie-id 'DM_ 6032_MZ_ 281_type_E' voor Parameter-id 'ZW_DMMzdischarge' | |
DM import/export mist uitvoer | Check1: ZW_DMVraag_onttrekkingen_DIW en ZW_DMTekort_Schut-lekverlies_knp ook beschikbaar in database voor |
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
| Icoon / Beschrijving | Betekenis |
|---|---|
 | succesvol |
 | niet succesvol |
| niet uitgevoerd | de reden hiervoor staat beschreven in veld opmerkingen |
| n.v.t. | test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende. |
| — | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH
Testen | Model | Beschrijving test | Rust 1972 | Warm 1972 | Druk 1972 1973 | Stoom 1972 | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
|---|---|---|---|---|---|---|---|---|
| FAT 2.2.1.0 Test 1.1 | LHM-Z0 | Uitvoeren workflow | | | | | n.v.t. | |
| LSMLT-Z0 | Uitvoeren workflow | | | | | n.v.t. | ||
| NDB | Uitvoeren workflow | | | | | n.v.t. | ||
| LHM | Uitvoeren workflow | | | | | n.v.t. | ||
| LSMLT | Uitvoeren workflow | | | | | n.v.t. | ||
| LTMLT | Uitvoeren workflow | | | | | n.v.t. | ||
FAT 2.2.1.0 | LHM-Z0 | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | |
| LSMLT-Z0 | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | ||
| NDB | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 78, parameters: 2, Model instanties: 3 Workflow ZW_NDB_D2085BP18 completed in 1h 33m 50s (1972) Workflow ZW_NDB_R2085BP18 completed in 1h 32m 12s (1972) Workflow ZW_NDB_S2085BP18 completed in 0h 53m 8s (1972) Workflow ZW_NDB_W2085BP18 completed in 0h 53m 50s (1972) Workflow ZW_NDB_D2085BP18 completed in 1h 29m 23s (1973) Workflow ZW_NDB_R2085BP18 completed in 1h 29m 8s (1973) Workflow ZW_NDB_S2085BP18 completed in 0h 55m 43s (1973) Workflow ZW_NDB_W2085BP18 completed in 0h 57m 26s (1973) | ||
| LHM | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 4822, parameters: 82, model instanties: 6 Workflow ZW_LHM_D2085BP18 completed in 7h 42m 40s (1972) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 1m 0s (1972) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in 8h 26m 25s (1972) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in 7h 37m 2s (1972) o.b.v. 4 cores Workflow ZW_LHM_D2085BP18 completed in 8h 6m 17s (1973) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 23m 32s (1973) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in 9h 47m 37s (1973) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in 8h 48m 31s (1973) o.b.v. 4 core | ||
LSMLT | Technische controleren modeluitvoer | | |
| | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | ||
LTMLT | Technische controleren modeluitvoer | | |
| | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | ||
| FAT 2.2.1.0 Test 1.3 | LHM-Z0 | Check randvoorwaarden modelstates | | | | | Verloop peilen en debieten van de 2085-scenario's bij jaarovergang 1971-1972 plausibel. | |
| LSMLT | Check randvoorwaarden modelstates | | | | | Verloop afvoeren van de warmstate (2050 scenario's) naar de 2085 scenario's 1971-1972 plausibel. | ||
| NDB | Check randvoorwaarden modelstates | | | | | Verloop chlorideconcentraties tussen warmstate en 2085 runs bij overgang 1971-1972 plausibel. | ||
| LHM | Check randvoorwaarden modelstates | | | | | Verloop peilen en debieten van de 2085-scenario's bij jaarovergang 1971-1972 plausibel. Ook verloop grondwaterstanden bij jaarovergang 1971-1972 is plausibel (zie screenshot). | | |
| LSMLT | Check randvoorwaarden modelstates | | | | | Verloop afvoeren van de warmstate (2050 scenario's) naar de 2085 scenario's 1971-1972 plausibel. | ||
| LTMLT | Check randvoorwaarden modelstates | | | | | Verloop temperaturen 1971-1972 van de warmstate scenario's naar de 2085 scenario's plausibel. | ||
| FAT 2.2.1.0 Test 1.4 | LHM-Z0 | Controleren afvoeren Lobith en Monsin | | | | | Afvoeren Druk2085 en Rust2085 bij Lobith (DM tak 6001) zijn gelijk. Afvoer Warm2085 en Stoom2085 | |
| LHM | Controleren afvoeren Lobith en Monsin | | | | | Resultaten van LHM-Z0 en LHM voor de afvoeren bij Lobith zijn gelijk. | ||
| FAT 2.2.1.0 Test 1.5 | LHM/LSM | Meteo | | | | | LHM: Netto neerslag op DM (knoop 6057) geeft een kleinere netto neerslag voor Stoom/Warm2085 in vergelijking met Druk/Rust2085. Dit is consistent met de klimaatscenario's. De netto neerslag Warm2050 is groter (=meer neerslag of minder verdamping) dan voor het zichtjaar 2050. Dit is consistent met de klimaatscenario's. | |
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren socio-economische invoer | | | | | Zip files van het zelfde scenario voor het zichtjaar 2050 en 2085 is gelijk. Dit is conform de uitgangspunten. Inhoud zipfile komt vrijwel geheel overeen met de 'tmp' file. Twee bestanden wijken af: uslsw.dik en uslswdem.dik. Deze afwijking is te verklaren omdat deze bestanden door de MOZARTIN preprocessor worden aangepast. | |
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren HWS peilen | | | | | De invoerbestanden van de HWS-peilen (in de GL2085.zip en WH2085.zip) komen overeen met de HWS-peilen die in de tmp-map worden gebruikt door LHM. De grondwaterstandseffecten rond de Rijn en Maas zijn plausibel. | |
| FAT 2.2.1.0 Test 1.8 | LHM | Zeespiegelstijging | | | | | In de westerschelde is een grondwaterstandsstijging te zien conform de hogere rivierpeilen in de RIV hoofdwatersystemen. Verder stijgen de grondwaterstanden in laag 2 aan de Friese kust, veroorzaakt door de zeespiegelstijging meegenomen in de GHB. | |
| LSMLT | Zeespiegelstijging | | | | | Waterpeil vergeleken tussen de twee runs voor LSMLT punt LSMLT_nod_R_NDB_14_3. Er is een vast verschil tussen de berekende waterpeilen zichtbaar. De verschillen in berekende waterpeilen komen overeen met de verschillen in zeespiegelstijging van de verschillende scenario's. | ||
| FAT 2.2.1.0 Test 2.1 | LHM-Z0 en LHM | Check grondwaterstanden | | | | | Gekeken naar de grondwaterstanden van de 2085 scenario's ten opzichte van de 2050 scenario's. Grondwaterstanden zijn lastig direct te vergelijken, omdat klimaatverandering niet in ieder jaar zorgt voor dezelfde veranderingen in neerslag, verdamping en peilen. Veranderingen in grondwaterstanden tussen de 2085 en 2050 scenario's zijn voor zover bepaald kan worden plausibel. | |
| FAT 2.2.1.0 Test 2.2 | LHM-Z0 en LHM | Peilverloop IJsselmeer | | | | | Er is een klein verschil in het peilverloop tijden de overgang van winter naar zomer peil aanwezig voor het jaar 1972 tussen de scenario's Druk/Rust2085 in vergelijking met Warm/Stoom2085 (zie screenshot). Dit wordt waarschijnlijk veroorzaakt door hogere watervraag en lagere afvoeren in het Warm/Stoom scenario waardoor de peilopzet langzamer gaat. Hetzelfde beeld is te zien bij de vergelijking van de verschillende 2050 scenario's. Hierom lijkt dit verschil plausibel. Geen aandachtspunten voor het jaar 1973. | |
| FAT 2.2.1.0 Test 2.3 | LHM | Ontwikkeling watervraag | | | | | Gekeken naar ontwikkeling van de watervraag voor landbouw voor de 5 regio's. Gekeken naar de resultaten op de productieomgeving voor het zichtjaar 2050, en naar de testomgeving voor het zichtjaar 2085. Voor de scenario's Druk en Rust zijn er weinig verschillen voor de watervraag tussen het zichtjaar 2050 en 2085. Aangezien de socio-economische ontwikkelingen gelijk zijn voor de zichtjaren worden verschillen alleen veroorzaakt door klimaatverschillen tussen de zichtjaren. het klimaatscenario GL verschilt weinig voor de twee zichtjaren (http://www.klimaatscenarios.nl/images/Brochure_KNMI14_NL.pdf). De watervraag verschillen tussen de twee zichtjaren is plausibel. Voor de scenario's Warm en Stoom is de watervraag en allocatie voor het zichtjaar 2085 iets groter dan voor het zichtjaar 2050. Op basis van de extra verdamping voor het zichtjaar 2085 (+4% t.o.v. 2050) waren grotere verschillen verwacht. Hierom extra controle uitgevoerd op de neerslag en verdamping van Mozart. De toename van de verdamping MOZART tussen referentie en Warm2050 is ook maar een deel van de toename zoals gerapporteerd in de KNMI'14 tabel. Een voorbeeld: extra piek verdampingsvraag 1973 tussen referentie en Warm 2050 = +8%, in de KNMI rapportage staat een toename van de potentiële verdamping van +15%. De extra verdamping tussen Warm2050 en Warm2085 = +4% bij een extra potentiele verdamping volgens KNMI rapportage van +4%. De relatieve toename laat voor de verschillende zichtjaren een vergelijkbaar beeld zien. Omdat verwacht kan worden dat een toename in de verdamping vergelijkbaar terug te zien is in de invoer van mozart of metaswap is nog verder gekeken:
De toename van de verdamping in de KNMI getallen komen overeen met de MOZART verdamping. Resultaten NWM zijn dus plausibel. |
|
* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865):
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
|---|---|---|---|---|---|
LHM-Z0 en LHM | Check of er meer locaties (bv. 'DM_ 6032_MZ_ 281_type_E') voor Parameter-id | | DMKnoopDistrict.csv is uitgebreid met ontbrekende locaties, resultaten voor deze locaties zijn zichtbaar in de FEWS database en in de ZW_LHM_DM_KnoopDistrict*.nc | | |
LHM-Z0 en LHM | Check of er meer locaties (bv. Twenthekanalen; DMKnoop_v30_1100) voor | | resultaten voor locatieset DMKnopen_v30 zijn zichtbaar in de FEWS database en | |
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
| Testen | Screenshot |
|---|---|
| FAT 2.2.1.0 Test 1.1 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.2 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.3 |
Hierin is scenario WARM te zien. in zwart is WARM2050 te zien en in rood WARM2085. De grondwaterstanden worden twee keer per jaar weggeschreven, elk jaar in een aparte zipfile. Daardoor zit er een gat in de reeks: de eerste zwarte lijn geeft WARM2050 1971 weer en de tweede zwarte lijn WARM2050 1972. |
| FAT 2.2.1.0 Test 1.4 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.5 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.6 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.7 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.7 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 2.1 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 2.2 |
|
| FAT 2.2.1.0 Test 2.3 | geen screenshot aanwezig |
| NWM-1060 |  |
| NWM-1018 |
|
Herstelde issues tijdens testfase
Er zijn geen inhoudelijke issues aangetroffen en hersteld.
Overige testbevindingen
Er is vastgesteld dat in het klimaatscenario GL met zichtjaar 2050 (werd gebruikt voor de scenario's Druk en Rust met zichtjaar 2050, en wordt gebruikt bij de lopende DPGL2050-berekeningen) het peil van de Oosterschelde en Westerschelde voor de zomerperiode iets te laag staat namelijk op 0.15m t.o.v. NAP in plaats van - gelijk aan het winterpeil - op 0.22m t.o.v. NAP. Er is geconstateerd dat in de andere klimaatscenario's (DPWH2050, en alle 4 '2100'-scenario's) het peil correct staat ingesteld. Technisch gezien is het weliswaar zeer gemakkelijk om het peil alsnog te corrigeren, echter, omdat 1) er wordt ingeschat dat het peilverschil een beperkt effect heeft, en 2) er dan een ongewenste inconsistentie tussen de runs met GL2050-klimaatscenario’s zou ontstaan wordt voorgesteld geen correctie toe te passen. Uiteraard dient de levende disclaimer met deze informatie bij te worden bijgewerkt.Gelogd als NWM-1077 - Getting issue details... STATUS .
