...
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd, en is een overzicht gegeven van de aanvullende JIRA-issues die in deze release zijn meegenomen en (waar van toepassing ook) onderdeel zijn van de FAT.
Invoer
FAT 2.2.01.0 Test 1.1: Modelrun uitvoeren voor het jaar de jaren 1972 en 1973 . Voor Parijs-GL, en Parijs-WHvoor Rust2100, Warm2100, Druk2100 en Stoom2100. (De resultaten worden in een aantal van onderstaande tests vergeleken met de resultaten van eerdere gedraaide BP18 scenario's Referentie en Druk2050 zoals beschikop s Rust-2050, Warm-2050, Druk-2050 en Stoom-2050, zoals beschikbaar op de Productieomgeving)
FAT 2.2.01.0 Test 1.2: Controleren of alle modellen gedraaid zijn.
FAT 2.2.01.0 Test 1.3a3: Controleren warm-state files van de verschillende runs, dit aan de hand van een vergelijking van grondwaterstanden uit DrukParijs2050 de 4 scenario’s 2050 op 1 januari 1972.
FAT 2.2.01.0 Test 1.3b: Controleren NDB randvoorwaarden voor Parijs-GL (NDB randvoorwaarden van scenario Druk2050 gebruikt), en Parijs-WH (NDB randvoorwaarden van scenario Stoom2050 gebruikt)4: Controleren afvoeren bij Lobith en Monsin. Andere afvoeren dan de 2050 scenario’s. De scenario’s Druk en Rust moeten zelfde afvoer hebben. Dit geld ook voor de scenario’s Warm en Stoom.
FAT 2.2.01.0 Test 1.45: Controleren afvoeren bij Lobith en Monsin. Parijs-GL moet overeen komen met meteo. Andere meteo dan de 2050 scenario’s. De scenario’s Druk en Rust , Parijs-WH moeten overeen komen met Stoom en Warmmoeten zelfde meteo hebben. Dit geldt ook voor de scenario’s Warm en Stoom.
FAT 2.2.01.0 Test 1.56: Controleren meteo. Parijs-GL moet overeen komen met KNMI’14GL data, Parijs-WH dient overeen te komen met KNMI’14 WH.of de juiste socio-economische zips zijn gekoppeld (vergelijking zip files met de modelinvoer)
FAT 2.2.1.0 Test 1.6: Controleren of de HWS peilen per scenario goed zijn meegekomen
FAT 2.2.01.0 Test 1.6: Controleren zeespiegelstijging in de in de modellentrein (in alle modellen behalve LTM, want die neemt randvoorwaarden uit LSM over).
FAT 2.2.0.0 Test 1.7: Controle van ini file (extra systeem OWD moet aanwezig zijn).
Uitvoer
FAT 2.2.01.0 Test 2.1: Verhoogde grondwaterstanden t.o.v. referentie in gebieden waar OWD in het model is geïmplementeerd (voor kaart zie randvoorwaarden memo). Verschillen grondwaterstanden Druk en Parijs-GL in overige gebieden conform modelaanpassingen.Grondwaterstanden 2100 geven versterkte trend ten opzichte van de 2050 scenario’s (voor goede vergelijking moet ook 2003 als testsom voor de 2050 scenario’s beschikbaar zijn.
FAT 2.2.02.0 Test 2.2: Extra watervraag (watervraag peilbeheer) aan het hoofdwatersysteem voor gebieden met OWD (West Nederland, Rivierengebied, Noord Holland en Friesland)Peilverloop 2100, groter buffergebruik IJsselmeer voor zichtjaar 2100 scenario’s.
FAT 2.2.03.0 Test 2.3: Peilverloop IJsselmeer (extra peiluitzakking in Parijs-GL scenario t.o.v. Referentie, Parijs-WH zakt nog verder uit dan Parijs-GL)effect zichtjaar 2085 (klimaat) ipv zichtjaar 2050 (klimaat) op de uitkomsten
Meegenomen JIRA-issues
Tabel TR.01: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Controle | |||||
---|---|---|---|---|---|---|---|
NWM-1067 | Update Batchmaker.exe with option to select coldstateId and added workflows | Check of nieuwe versie Batchmaker beschikbaar is. | Wabeslocaties niet goed gekoppeld aan LSM_light model-id's | In de netcdf-bestanden de aanwezigheid van de nieuwe Uitbreiding NWM BP18 met 4 scenarios (4 x zichtjaar 2100) | Check of vier scenario's aanwezig zijn in batchmaker en FEWS-omgeving. | ||
LHM Import:DMKnoopDistrict.nc tbv tbv export WABES is incorrect | Geen onderdeel van de FAT | ||||||
NDB export verwijderen uit huidige LHM export voor zonder zout runs | Nieuwe NDB export in FEWS-GUI beschikbaar, | ||||||
NWM BP18 Prod: LTM-light - Debieten en lozingscapaciteit vertonen merkwaardige jaarovergangen. | Check of LTM-light afvoer op 1 januari (1973) niet meer 0 is. | ||||||
NWM BP18 Prod: signalering missings in meteo OpenDap | Test LHM-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat). | ||||||
DM import/export mist uitvoer | Geen onderdeel van de FAT |
Overzicht van de resultaten van het pakket aan FAT-testen
...
Testen | Model | Beschrijving test | RustDruk 1972 | Warm 1972Parijs-GL | Druk 1972 1973 | Stoom 1972Parijs-WH | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) | |||
---|---|---|---|---|---|---|---|---|---|---|---|
FAT 2.2.01.0 Test 1.1 | LHM-Z0 | Uitvoeren workflow | |||||||||
LSMLT-Z0 | Uitvoeren workflow | ||||||||||
NDB | Uitvoeren workflow | ||||||||||
LSMLT | Uitvoeren workflow | ||||||||||
LTMLT | Uitvoeren workflow | ||||||||||
FAT 2.2.01.0 | LHM-Z0 | Technische controleren modeluitvoer |
|
|
| ||||||
LSMLT-Z0 | Technische controleren modeluitvoer | ||||||||||
NDB | Technische controleren modeluitvoer | ||||||||||
LSMLT | Technische controleren modeluitvoer |
|
| ||||||||
LTMLT | Technische controleren modeluitvoer |
|
| ||||||||
FAT 2.2.01.0 Test 1.3a3 | LHM-Z0 | Check randvoorwaarden modelstates |
| ||||||||
LSMLT | Check randvoorwaarden modelstates (warm 1972-01-01) | ||||||||||
LSMLTNDB | Check randvoorwaarden modelstates(warm 1972-01-01) | ||||||||||
LTMLTLHM | Check randvoorwaarden modelstates (warm 1972-01-01) | ||||||||||
LSMLT | Check randvoorwaarden modelstates |
| |||||||||
LTMLT | FAT 2.2.0.0 | LHM | Check randvoorwaarden invoer modelstatesafkomstig van NDB | ||||||||
FAT 2.2.01.0 Test 1.4 | LHM-Z0 | Controleren afvoeren Lobith en Monsin | |||||||||
LHM | Controleren afvoeren Lobith en Monsin | ||||||||||
FAT 2.2.01.0 Test 1.5 | LHM/LSTMLSM | Meteo | |||||||||
FAT 2.2. 01.0 | LHM-Z0 en LHM | ZeespiegelstijgingControleren socio-economische invoer | |||||||||
FAT 2.2.1.0 | LHM-Z0 en LHM | Controleren HWS peilen | LSMLT | Zeespiegelstijging | |||||||
FAT 2.2.01.0 Test 1.78 | LHM | Zeespiegelstijging | |||||||||
LSMLT | ZeespiegelstijgingControle van ini file | ||||||||||
FAT 2.2.01.0 0 Test 2.1 | LHM-Z0 en LHM | Grondwaterstand als gevolg van onderwaterdrainageCheck grondwaterstanden | |||||||||
FAT 2.2.01.0 Test 2.2 | LHM-Z0 en LHM | Peilverloop IJsselmeerWatervraag regio | |||||||||
FAT 2.2.01.0 Test 2.3 | LHM? | Peilverloop IJsselmeer? |
* Er treedt alleen de volgende warning op die geen impact heeft op de workflow/uitgevoerde berekeningen (en mogelijk op de Productie-omgeving niet op zal treden, zie ook NWM-865):
Config.Warn: Module "compact cache files" should run daily on every FFS (including FSS05). Please schedule a workflow that includes this module on an every FSS
...
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) | |||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
NWM-1067 | n.v.t. | Check of nieuwe versie Batchmaker beschikbaar is. | Resultaat nieuwe batchmaker is succesvol gebruikt bij starten workflow | LSMLT export | In de netcdf-bestanden de aanwezigheid van de nieuwe zw_wabes_lsmlt*.nc id’s | Eén van de gewijzigde locaties is: locatie WABES_julianakanaal (R_MS_006_28 = nieuwe ID, R_MS_006_1 = oude ID) Deze is in de nieuwe NC export terug te vinden onder station_names (nr 88) |
|
|
| |||||||
| ZW_DM_KnoopDistrict_*.nc toont gecorrigeerde waarden voor een sluitende waterbalans | niet uitgevoerd | Geen onderdeel van de FAT; aangedragen wijziging is technisch correct doorgevoerd Resultaat wordt binnen WABES op later tijdstip a.d.h.v. waterbalans gecheckt |
| ||||||||||||
| Nieuwe NDB export in FEWS-GUI beschikbaar, vaststellen dat in LHM export | Nieuwe NDB export beschikbaar in Topology panel, in batchmaker en exporteert NetCDF met NDB resultaten succesvol Aangepaste LHM export bevat geen ZW*Chloride*.nc bestanden meer | ||||||||||||||
LTMLT | Check of LTM-light afvoer op 1 januari (1973) niet meer 0 is. | Debiettijdreeks toont geen waarde nul bij jaarovergang, zie screenshot | ||||||||||||||
LHM / LSMLT | Test LHM-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel | Als er onvoldoende tijdstappen (minder dan de benodigde 365 dagen) terugkomen ERROR | ||||||||||||||
| LTMLT (import meteo) | Test LTMLT-workflow voor 2018 (buiten periode 1910-2015 waarvoor meteo wel klaar staat). | Als er onvoldoende tijdstappen (minder dan de benodigde 365 dagen) ERROR |
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
Testen | Screenshot | |
---|---|---|
FAT 2.2.01.0 Test 1.1 | geen screenshot aanwezig | |
FAT 2.2.01.0 Test 1.2 | geen screenshot aanwezig | |
FAT 2.2.01.0 Test 1.3a3 | ||
FAT 2.2.01.0 Test 1.3b4 | geen screenshot aanwezig | |
FAT 2.2.01.0 Test 1.45 | geen screenshot aanwezig | |
FAT 2.2.01.0 Test 1.56 | ||
FAT 2.2.01.0 Test 1.67 | ||
FAT 2.2. | 01.0 Test 1.7 | geen screenshot aanwezig |
FAT 2.2.01.0 Test 2.1 | geen screenshot aanwezig | |
FAT 2.2.01.0 Test 2.2 |
| |
FAT 2.2.01.0 Test 2.3 | geen screenshot aanwezig | |
NWM-10671070 | ||
NWM-10581060 | ||
NWM-10561018 |
Herstelde issues tijdens testfase
Tijdens het beoordelen van de resultaten is voor "FAT 2.2.0.0 Test 2.1" gekeken naar de verandering GHG en GLG bepaald voor het jaar 1972 ten opzichte van de GHG en GLG voor het scenario DrukParijs uit de archieven.
zips:
...
- ZW_LHM_197301010000_DTDMMC00_000058532_none_DPWH2050BP18.zip
vergeleken met:
ZW_LHM_197301010000_DPAR2050BP18.zip
Dit effect was niet plausibel. Issue ontdekt in de peilen van de onderwaterdrains waardoor te weinig effect op grondwaterstanden en watervraag werd berekend. De oorzaak van dit issue is achterhaald en opgelost. Nieuwe testen uitgevoerd op nieuwe runs.
Overige testbevindingen
...