Inleiding
Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.1.0 en de testbevindingen van de FAT (Functionele AcceptatieTest). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.
Release 2.2.1.0: aangebrachte wijzigingen t.o.v. release 2.2.0.0
Binnen NWM 2.2.1.0 zijn de volgende vier scenario's toegevoegd:
- Rust 2100
- Warm 2100
- Druk 2100
- Stoom 2100
Het doel van de berekeningen voor het zichtjaar 2100 is om inzicht te krijgen in hydrologische en economische effecten van klimaatverandering op zoetwatervoorziening in zichtjaar 2100. Hiervoor worden de Deltascenario’s 2017 doorgetrokken naar het jaar 2100. Omdat er geen socio-economische scenario’s voor het zichtjaar 2100 beschikbaar zijn is ervoor gekozen om de socio-economische ontwikkeling van de scenario's voor het zichtjaar 2050 over te nemen. Zodoende zijn alleen de randvoorwaarden als gevolg van de klimaatscenario’s voor 2100 aangepast .
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.
Invoer
FAT 2.2.1.0 Test 1.1: Modelrun uitvoeren voor de jaren 1972 en 1973 voor Rust2100, Warm2100, Druk2100 en Stoom2100. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Rust-2050, Warm-2050, Druk-2050 en Stoom-2050, zoals beschikbaar op de Productieomgeving)
FAT 2.2.1.0 Test 1.2: Controleren of alle modellen gedraaid zijn.
FAT 2.2.1.0 Test 1.3: Controleren warm-state files van de verschillende runs, aan de hand vergelijking van grondwaterstanden uit de 4 scenario’s 2050 op 1 januari 1972.
FAT 2.2.1.0 Test 1.4: Controleren afvoeren bij Lobith en Monsin. Andere afvoeren dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde afvoer hebben. Dit geld ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.5: Controleren meteo. Andere meteo dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde meteo hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.1.0 Test 1.6: Controleren of de juiste socio-economische zips zijn gekoppeld (vergelijking zip files met de modelinvoer)
FAT 2.2.1.0 Test 1.7: Controleren of de HWS peilen per scenario goed zijn meegekomen
FAT 2.2.1.0 Test 1.8: Controleren zeespiegelstijging in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).
Uitvoer
FAT 2.2.1.0 Test 2.1: Grondwaterstanden 2100 geven versterkte trend ten opzichte van de 2050 scenario’s (voor goede vergelijking moet ook 2003 als testsom voor de 2050 scenario’s beschikbaar zijn.
FAT 2.2.1.0 Test 2.2: Peilverloop 2100, groter buffergebruik IJsselmeer voor zichtjaar 2100 scenario’s.
FAT 2.2.1.0 Test 2.3: effect zichtjaar 2085 (klimaat) ipv zichtjaar 2050 (klimaat) op de uitkomsten
Meegenomen JIRA-issues
Tabel TR.01: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Controle |
|---|---|---|
| Uitbreiding NWM BP18 met 4 scenarios (4 x zichtjaar 2100) | Check of vier scenario's aanwezig zijn in batchmaker en FEWS-omgeving. | |
| LHM Import:DMKnoopDistrict.nc tbv export WABES is incorrect | Geen onderdeel van de FAT | |
DM import/export mist uitvoer | Geen onderdeel van de FAT |
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
| Icoon / Beschrijving | Betekenis |
|---|---|
 | succesvol |
 | niet succesvol |
| niet uitgevoerd | de reden hiervoor staat beschreven in veld opmerkingen |
| n.v.t. | test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende. |
| — | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Testen voor de jaren 1972 en 1973 voor twee Deltascenario's DrukParijs-WH en DrukParijs-WH
Testen | Model | Beschrijving test | Rust 1972 | Warm 1972 | Druk 1972 1973 | Stoom 1972 | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
|---|---|---|---|---|---|---|---|---|
| FAT 2.2.1.0 Test 1.1 | LHM-Z0 | Uitvoeren workflow | | | | | n.v.t. | |
| LSMLT-Z0 | Uitvoeren workflow | | | | | n.v.t. | ||
| NDB | Uitvoeren workflow | | | | | n.v.t. | ||
| LHM | Uitvoeren workflow | — | — | — | — | n.v.t. | ||
| LSMLT | Uitvoeren workflow | — | — | — | — | n.v.t. | ||
| LTMLT | Uitvoeren workflow | — | — | — | — | n.v.t. | ||
FAT 2.2.1.0 | LHM-Z0 | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, | |
| LSMLT-Z0 | Technische controleren modeluitvoer | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, | ||||||
| NDB | Technische controleren modeluitvoer | | | | | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 78, parameters: 2, Model instanties: 3 Workflow ZW_NDB_D2085BP18 completed in 1h 33m 50s (1972) o.b.v. 4 cores Workflow ZW_NDB_R2085BP18 completed in 1h 32m 12s (1972) o.b.v. 4 cores Workflow ZW_NDB_S2085BP18 completed in 0h 53m 8s (1972) o.b.v. 4 cores Workflow ZW_NDB_W2085BP18 completed in 0h 53m 50s (1972) o.b.v. 4 cores Workflow ZW_NDB_D2085BP18 completed in 1h 29m 23s (1973) o.b.v. 4 cores Workflow ZW_NDB_R2085BP18 completed in 1h 29m 8s (1973) o.b.v. 4 cores Workflow ZW_NDB_S2085BP18 completed in 0h 55m 43s (1973) o.b.v. 4 cores Workflow ZW_NDB_W2085BP18 completed in 0h 57m 26s (1973) o.b.v. 4 cores | ||
| LHM | Technische controleren modeluitvoer | — | — | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, jaarovergang resultaat tijdreeksen lopen goed door (geen abrupte sprong) locaties: 4822, parameters: 82, model instanties: 6 Workflow ZW_LHM_D2085BP18 completed in 7h 42m 40s (1972) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 1m 0s (1972) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in 8h 26m 25s (1972) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in h m s (1972) o.b.v. 4 cores Workflow ZW_LHM_D2085BP18 completed in 8h 6m 17s (1973) o.b.v. 4 cores Workflow ZW_LHM_R2085BP18 completed in 8h 23m 32s (1973) o.b.v. 4 cores Workflow ZW_LHM_S2085BP18 completed in h m s (1973) o.b.v. 4 cores Workflow ZW_LHM_W2085BP18 completed in h m s (1973) o.b.v. 4 core | ||||
LSMLT | Technische controleren modeluitvoer | — | — | — | — | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, | ||
LTMLT | Technische controleren modeluitvoer | — | — | — | — | geen ERROR/WARN logmeldingen, 0% missings voor betreffend jaar, | ||
| FAT 2.2.1.0 Test 1.3 | LHM-Z0 | Check randvoorwaarden modelstates | | | | | Verloop peilen en debieten van de 2085-scenario's bij jaarovergang 1971-1972 plausibel. | |
| LSMLT | Check randvoorwaarden modelstates | | | Verloop afvoeren van de warmstate (2050 scenario's) naar de 2085 scenario's 1971-1972 plausibel. | ||||
| NDB | Check randvoorwaarden modelstates | | | | | Verloop chlorideconcentraties tussen warmstate en 2085 runs bij overgang 1971-1972 plausibel. | ||
| LHM | Check randvoorwaarden modelstates | |||||||
| LSMLT | Check randvoorwaarden modelstates |
| ||||||
| LTMLT | Check randvoorwaarden modelstates | |||||||
| FAT 2.2.1.0 Test 1.4 | LHM-Z0 | Controleren afvoeren Lobith en Monsin | ||||||
| LHM | Controleren afvoeren Lobith en Monsin | |||||||
| FAT 2.2.1.0 Test 1.5 | LHM/LSM | Meteo | ||||||
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren socio-economische invoer | ||||||
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren HWS peilen | ||||||
| FAT 2.2.1.0 Test 1.8 | LHM | Zeespiegelstijging | ||||||
| LSMLT | Zeespiegelstijging | |||||||
| FAT 2.2.1.0 Test 2.1 | LHM-Z0 en LHM | Check grondwaterstanden | ||||||
| FAT 2.2.1.0 Test 2.2 | LHM-Z0 en LHM | Peilverloop IJsselmeer | ||||||
| FAT 2.2.1.0 Test 2.3 | ? | ? |
* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865):
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
|---|---|---|---|---|---|
|
|
| |||
|
| ||||
|
|
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
| Testen | Screenshot |
|---|---|
| FAT 2.2.1.0 Test 1.1 | geen screenshot aanwezig |
| FAT 2.2.1.0 Test 1.2 | |
| FAT 2.2.1.0 Test 1.3 | |
| FAT 2.2.1.0 Test 1.4 | |
| FAT 2.2.1.0 Test 1.5 | |
| FAT 2.2.1.0 Test 1.6 | |
| FAT 2.2.1.0 Test 1.7 | |
| FAT 2.2.1.0 Test 1.7 | |
| FAT 2.2.1.0 Test 2.1 | |
| FAT 2.2.1.0 Test 2.2 |
|
| FAT 2.2.1.0 Test 2.3 | |
| NWM-1070 | |
| NWM-1060 | |
| NWM-1018 |
Herstelde issues tijdens testfase
Overige testbevindingen
version: 2016.02, build: 71502 Dec4, type: stable, jre: 1.8.0_144, os:Windows Server 2012 R2, user:Sibren Loos, mx: 954m, Java heap space while reading for LSM_RND_Nieuwe Statenzijl H.m (m) nonequidistant ZW_ImportTides, java.lang.OutOfMemoryError: Java heap space while reading for LSM_RND_Nieuwe Statenzijl H.m (m) nonequidistant ZW_ImportTides at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.privateRead(TimeSeriesView.java:763) at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.read(TimeSeriesView.java:632) at nl.wldelft.fews.system.data.timeseries.TimeSeriesView.read(TimeSeriesView.java:624) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.readTimeSeriesArrays(TimeSeriesDialog.java:4165) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadTimeSeries(TimeSeriesDialog.java:3789) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadInBackground(TimeSeriesDialog.java:1399) at nl.wldelft.fews.gui.plugin.timeseries.TimeSeriesDialog.loadTimeSeriesRunnable(TimeSeriesDialog.java:1328) at java.lang.Thread.run(Thread.java:748)
