Inleiding
Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.1.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.
Release 2.2.1.0: aangebrachte wijzigingen t.o.v. release 2.2.0.0
Binnen NWM 2.2.1.0 zijn de volgende vier scenario's toegevoegd:
- Rust 2100
- Warm 2100
- Druk 2100
- Stoom 2100
Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2100. Hiervoor worden de Deltascenario’s 2017 doorgetrokken naar het jaar 2100. Omdat er geen socio-economische scenario’s voor het zichtjaar 2100 beschikbaar zijn is ervoor gekozen om de socio-economische ontwikkeling van de scenario's voor het zichtjaar 2050 over te nemen. Zodoende zijn alleen de randvoorwaarden als gevolg van de klimaatscenario’s voor 2100 aangepast .
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.
Invoer
FAT 2.2.1.0 Test 1.1: Modelrun uitvoeren voor de jaren 1972 en 1973 voor Rust2100, Warm2100, Druk2100 en Stoom2100. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Rust-2050, Warm-2050, Druk-2050 en Stoom-2050, zoals beschikbaar op de Productieomgeving)
FAT 2.2.1.0 Test 1.2: Controleren of alle modellen gedraaid zijn.
FAT 2.2.1.0 Test 1.3: Controleren warm-state files van de verschillende runs, aan de hand vergelijking van grondwaterstanden uit de 4 scenario’s 2050 op 1 januari 1972.
FAT 2.2.1.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Andere afvoeren dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde afvoer hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.5: Controleren meteo. Andere meteo dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde meteo hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.6: Controleren of de juiste socio-economische zips zijn gekoppeld (vergelijking zip files met de modelinvoer).
FAT 2.2.1.0 Test 1.7: Controleren of de HWS peilen per scenario goed zijn meegekomen.
FAT 2.2.1.0 Test 1.8: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).
Uitvoer
FAT 2.2.1.0 Test 2.1: Grondwaterstanden 2100 geven versterkte trend ten opzichte van de 2050 scenario’s (voor goede vergelijking moet ook 2003 als testsom voor de 2050 scenario’s beschikbaar zijn.
FAT 2.2.1.0 Test 2.2: Peilverloop 2100, groter buffergebruik IJsselmeer voor zichtjaar 2100 scenario’s.
FAT 2.2.1.0 Test 2.3: effect zichtjaar 2085 (klimaat) ipv zichtjaar 2050 (klimaat) op de uitkomsten.
Meegenomen JIRA-issues
Tabel TR.01: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Controle |
---|---|---|
Uitbreiding NWM BP18 met 4 scenario's (4 x zichtjaar 2100) | Zie overige FAT-testen Tabel TR.03 | |
LHM Import:DMKnoopDistrict.nc tbv export WABES is incorrect | Check of DM_ 6032_MZ_ is beschikbaar voor 6 locaties ipv 4, o.a. locatie-id 'DM_ 6032_MZ_ 281_type_E' voor Parameter-id 'ZW_DMMzdischarge' | |
DM import/export mist uitvoer | Check1: ZW_DMVraag_onttrekkingen_DIW en ZW_DMTekort_Schut-lekverlies_knp ook beschikbaar in database voor |
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
Icoon / Beschrijving | Betekenis |
---|---|
succesvol | |
niet succesvol | |
niet uitgevoerd | de reden hiervoor staat beschreven in veld opmerkingen |
n.v.t. | test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende. |
— | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH
Testen | Model | Beschrijving test | Rust 1972 | Warm 1972 | Druk 1972 1973 | Stoom 1972 | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
---|---|---|---|---|---|---|---|---|
FAT 2.2.1.0 Test 1.1 | LHM-Z0 | Uitvoeren workflow | n.v.t. | |||||
LSMLT-Z0 | Uitvoeren workflow | n.v.t. | ||||||
NDB | Uitvoeren workflow | n.v.t. | ||||||
LHM | Uitvoeren workflow | n.v.t. | ||||||
LSMLT | Uitvoeren workflow | — | n.v.t. | |||||
LTMLT | Uitvoeren workflow | — | n.v.t. | |||||
FAT 2.2.1.0 | LHM-Z0 | Technische controleren modeluitvoer | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | |||||
LSMLT-Z0 | Technische controleren modeluitvoer | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | ||||||
NDB | Technische controleren modeluitvoer | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 78, parameters: 2, Model instanties: 3 Workflow ZW_NDB_D2085BP18 completed in 1h 33m 50s (1972) o.b.v. 4 cores Workflow ZW_NDB_R2085BP18 completed in 1h 32m 12s (1972) o.b.v. 4 cores Workflow ZW_NDB_S2085BP18 completed in 0h 53m 8s (1972) o.b.v. 4 cores Workflow ZW_NDB_W2085BP18 completed in 0h 53m 50s (1972) o.b.v. 4 cores Workflow ZW_NDB_D2085BP18 completed in 1h 29m 23s (1973) o.b.v. 4 cores Workflow ZW_NDB_R2085BP18 completed in 1h 29m 8s (1973) o.b.v. 4 cores Workflow ZW_NDB_S2085BP18 completed in 0h 55m 43s (1973) o.b.v. 4 cores Workflow ZW_NDB_W2085BP18 completed in 0h 57m 26s (1973) o.b.v. 4 cores | ||||||
LHM | Technische controleren modeluitvoer | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 4822, parameters: 82, model instanties: 6 Workflow ZW_LHM_D2085BP18 completed in 7h 42m 40s (1972) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 1m 0s (1972) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in 8h 26m 25s (1972) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in 7h 37m 2s (1972) o.b.v. 4 cores Workflow ZW_LHM_D2085BP18 completed in 8h 6m 17s (1973) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 23m 32s (1973) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in 9h 47m 37s (1973) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in 8h 48m 31s (1973) o.b.v. 4 core | ||||||
LSMLT | Technische controleren modeluitvoer | — |
| geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | ||||
LTMLT | Technische controleren modeluitvoer | — | geen ERROR/WARN logmeldingen*, 0% missings voor betreffend jaar, | |||||
FAT 2.2.1.0 Test 1.3 | LHM-Z0 | Check randvoorwaarden modelstates | Verloop peilen en debieten van de 2085-scenario's bij jaarovergang 1971-1972 plausibel. | |||||
LSMLT | Check randvoorwaarden modelstates | Verloop afvoeren van de warmstate (2050 scenario's) naar de 2085 scenario's 1971-1972 plausibel. | ||||||
NDB | Check randvoorwaarden modelstates | Verloop chlorideconcentraties tussen warmstate en 2085 runs bij overgang 1971-1972 plausibel. | ||||||
LHM | Check randvoorwaarden modelstates | Verloop peilen en debieten van de 2085-scenario's bij jaarovergang 1971-1972 plausibel. Ook verloop grondwaterstanden bij jaarovergang 1971-1972 is plausibel (zie screenshot). | ||||||
LSMLT | Check randvoorwaarden modelstates |
| ||||||
LTMLT | Check randvoorwaarden modelstates | |||||||
FAT 2.2.1.0 Test 1.4 | LHM-Z0 | Controleren afvoeren Lobith en Monsin | Afvoeren Druk2085 en Rust2085 bij Lobith (DM tak 6001) zijn gelijk. Afvoer Warm2085 en Stoom2085 | |||||
LHM | Controleren afvoeren Lobith en Monsin | Resultaten van LHM-Z0 en LHM voor de afvoeren bij Lobith zijn gelijk. | ||||||
FAT 2.2.1.0 Test 1.5 | LHM/LSM | Meteo | LHM: Netto neerslag op DM (knoop 6057) geeft een kleinere netto neerslag voor Stoom/Warm2085 in vergelijking met Druk/Rust2085. Dit is consistent met de klimaatscenario's. De netto neerslag Warm2050 is groter (=meer neerslag of minder verdamping) dan voor het zichtjaar 2050. Dit is consistent met de klimaatscenario's. | |||||
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren socio-economische invoer | -> invoer vergelijking met zip file -> controle of zip file 2050 en 2085 gelijk is. Zip files van het zelfde scenario voor het zichtjaar 2050 en 2085 is gelijk. Dit is conform de uitgangspunten. | |||||
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren HWS peilen | -> grondwaterstands effecten rond de Rijn en Maas -> invoer vergelijking met zip file | |||||
FAT 2.2.1.0 Test 1.8 | LHM | Zeespiegelstijging | -> grondwaterstands stijging westerschelde (veroorzaakt door RIV) -> stijging grondwaterstand voor 1 moment in laag 2 in friese kust (veroorzaakt door GHB) | |||||
LSMLT | Zeespiegelstijging | Waterpeil vergeleken tussen de twee runs voor LSMLT punt LSMLT_nod_R_NDB_14_3. Er is een vast verschil tussen de berekende waterpeilen zichtbaar. De verschillen in berekende waterpeilen komen overeen met de verschillen in zeespiegelstijging van de verschillende scenario's. | ||||||
FAT 2.2.1.0 Test 2.1 | LHM-Z0 en LHM | Check grondwaterstanden | ||||||
FAT 2.2.1.0 Test 2.2 | LHM-Z0 en LHM | Peilverloop IJsselmeer | Er is een klein verschil in het peilverloop tijden de overgang van winter naar zomer peil aanwezig voor het jaar 1972 tussen de scenario's Druk/Rust2085 in vergelijking met Warm/Stoom2085 (zie screenshot). Dit wordt waarschijnlijk veroorzaakt door hogere watervraag en lagere afvoeren in het Warm/Stoom scenario waardoor de peilopzet langzamer gaat. Hetzelfde beeld is te zien bij de vergelijking van de verschillende 2050 scenario's. Hierom lijkt dit verschil plausibel. Geen aandachtspunten voor het jaar 1973. | |||||
FAT 2.2.1.0 Test 2.3 | ? | ? |
* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865):
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
---|---|---|---|---|---|
LHM-Z0 en LHM | Check of er meer locaties (bv. 'DM_ 6032_MZ_ 281_type_E') voor Parameter-id | DMKnoopDistrict.csv is uitgebreid met ontbrekende locaties, resultaten voor deze locaties zijn zichtbaar in de FEWS database en in de ZW_LHM_DM_KnoopDistrict*.nc | |||
LHM-Z0 en LHM | Check of er meer locaties (bv. Twenthekanalen; DMKnoop_v30_1100) voor | resultaten voor locatieset DMKnopen_v30 zijn zichtbaar in de FEWS database en |
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
Testen | Screenshot |
---|---|
FAT 2.2.1.0 Test 1.1 | geen screenshot aanwezig |
FAT 2.2.1.0 Test 1.2 | |
FAT 2.2.1.0 Test 1.3 | |
FAT 2.2.1.0 Test 1.4 | |
FAT 2.2.1.0 Test 1.5 | |
FAT 2.2.1.0 Test 1.6 | |
FAT 2.2.1.0 Test 1.7 | |
FAT 2.2.1.0 Test 1.7 | |
FAT 2.2.1.0 Test 2.1 | |
FAT 2.2.1.0 Test 2.2 | |
FAT 2.2.1.0 Test 2.3 | |
NWM-1060 | |
NWM-1018 |
Herstelde issues tijdens testfase
Overige testbevindingen
version: 2016.02, build: 71502 Dec4, type: stable, jre: 1.8.0_144, os:Windows Server 2012 R2, user:Sibren Loos, mx: 954m, Java heap space while reading for LSM_RND_Nieuwe Statenzijl H.m (m) nonequidistant ZW_ImportTides, java.lang.OutOfMemoryError: Java heap space while reading for LSM_RND_Nieuwe Statenzijl H.m (m) nonequidistant ZW_ImportTides at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.privateRead(TimeSeriesView.java:763) at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.read(TimeSeriesView.java:632) at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.read(TimeSeriesView.java:624) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.readTimeSeriesArrays(TimeSeriesDialog.java:4165) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadTimeSeries(TimeSeriesDialog.java:3789) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadInBackground(TimeSeriesDialog.java:1399) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadTimeSeriesRunnable(TimeSeriesDialog.java:1328) at java.lang.Thread.run(Thread.java:748)