...
Deze rapportage beschrijft de wijzigingen binnen van NWM release 2.3.0.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) . Dit testrapport beschrijft de FAT voor de upgrade van de NWM Testomgeving naar de laatste Delft-FEWS versie 2022.01.
...
NWM 2.3.0.0 gebruikt dezelfde modellentrein en scenario's zoals opgeleverd in release 2.2.4.1 (oplevering scenario's met maatregelpakketten VP en EP) en 2.2.4.2 (uitbreiding workflows voor export naar het archief).
Alleen ten aanzien van het archief en Computational Framework functionaliteit zijn is een beperkt aantal configuratiewijzigingen doorgevoerd. Dit betreft met name configuratie instellingen configuratieinstellingen die een koppeling met het archief mogelijk maken.
...
FAT 2.3.0.0 Test 1.1: Check of smoketesten voor LTM-light alle modellen in de NWM modellentrein technisch goed draaien.
FAT 2.3.0.0 Test 1.2: Check of de exports voor LTM-light alle modellen in de NWM modellentrein technisch goed draaien.
FAT 2.3.0.0 Test 1.3: Check of geëxporteerde data beschikbaar is in de catalogus van het archief en daarmee zichtbaar in de NWM omgeving.
...
FAT 2.3.0.0 Test 2.1: Controleer of de LTM-light modelresultaten voor de testprotocol locaties modelresultaten (alle modellen in de NWM modellentrein) voor de testprotocollocaties vergelijkbaar zijn met de tijdreeksen uit het archief.
FAT 2.3.0.0 Test 2.2: Controleer of de restart files voor het LTM-light model goed worden doorgegeven door voor de overgang van 1911 op 1912 door te controleren of de resulaten voor deze overgang plausibel zijn.
Meegenomen JIRA-issues
...
Icoon / Beschrijving | Betekenis | |||
|---|---|---|---|---|
 | succesvol | |||
| niet succesvol |
| gedeeltelijk succesvol | , definitieve test in volgende release|
| niet uitgevoerd | de reden hiervoor staat beschreven in veld opmerkingen | |||
| n.v.t. | test niet uitgevoerd, functionaliteit a.d.h.v. technische test voor 1 van de model schematisatie is voldoende. | |||
| — | nog niet uitgevoerd |
...
Tabel TR.03: Testen voor de jaren 1911-1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050 in combinatie met de pakketten Voorkeurspakket en Economisch pakket
| Testen | Scenario | Beschrijving test | Model schematisatie (Z0 = zonder zoutbeperking) | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) | ||||||||||||||
LHM | LSM-light Z0 | NDB | LHM | LSM-light | LTM-light | NDBpost | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| FAT 2.3.0.0 Test 1.1 | Referentie 2017 | Draaien van de smoketesten | | | |
| | | | de berekeningen 1911-1912 zijn voor het basisscenario REF2017 geslaagd | ja | ||||||||
| FAT 2.3.0.0 Test 1.2 | Referentie 2017 | Controleer exports | |  | | | | | | er worden gevulde netcdf bestanden geëxporteerd, Export LSMLT WABES geeft een error, zie
Deze is hersteld met behulp van patch fews-stable-202201-115132-patch.jar en een configuratiewijziging (svn.3665) | - | ||||||||
| FAT 2.3.0.0 Test 1.3 | Referentie 2017 | Controleer catalogus |
|
| | | | | | De metadatafile van LHM wordt niet geharvest, zie server | Deltares Issue Tracker | serverId | 20635570-6a34-3a69-a785-26a57a470c5b | key | FEWS-27681harvester leest alle geëxporteerde metadata.xml's en vult daarmee de catalogus. Vanuit de FEWS Archive Display kunnen de records worden doorzocht | ja | |||
| FAT 2.3.0.0 Test 1.4 | n.v.t. | Download uit het archief | | n.v.t. | n.v.t. | n.v.t. | n.v.t. | n.v.t. | n.v.t. | Bestanden worden gedownload naar een lokale folder | - | ||||||||
| FAT 2.3.0.0 Test 1.5 | n.v.t. | Importeer uit het archief in de Centrale database via FSS | n.v.t. | n.v.t. | n.v.t. | n.v.t. |
| n.v.t. | n.v.t. | Data uit het archief kan via de FSS worden geïmporteerd in de database; Bij een eerste test is er een issue geconstateerd:
Deze is hersteld met behulp van patch fews-stable-202201-114987-patch.jar | ja | ||||||||
| FAT 2.3.0.0 Test 1.6 | Referentie 2017 | Voer vervolgberekening uit op basis van uit het archief geïmporteerde resultaten |
|
|
|
|
|
| n.v.t. | n.v.t. |
| n.v.t. | n.v.t. |
| n.v.t. | In de NWM testomgeving (Operator Client omgeving) kan er nu nog geen een berekening worden uitgevoerd op basis van geïmporteerde data uit het archief, dit kan wel met een NWM-CF Stand Alone applicatiezie verder het issue onder FAT 2.3.0.0 Test 1.5 | ja | ||
| FAT 2.2.4.1 Test 2.1 | Referentie 2017 | Controleer testprotocol locaties resultaten met gearchiveerde tijdreeksen |
| |
| | | | | De gesimuleerde tijdreeksen voor de testprotocol locaties komen overeen met de gearchiveerde reeksen; voor LSMLT zijn kleine verschillen geconstateerd bij kleinere wateren/kunstwerken zoals bijv de KWA | ja | ||||||||
| FAT 2.2.4.1 Test 2.2 | Referentie 2017 | Controleer overgang 1911-1912 op plausibiliteit | | | | | | | | de tijdseries lopen realistisch door bij de jaarovergang | ja | ||||||||
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| NWM-1131 | - | controleer het FEWS versienummer | | alle FEWS componenten zijn correct geupgrade naar 2022.01 | ja | ||||||||
- | Check of een nieuwe WhatIf kan worden aangemaakt o.b.v. WhatIf Template |
| betreft nu een dummy WhatIf, in een latere release kan een nog te bepalen WhatIf worden geconfigureerd en toegevoegd.
| ja | |||||||||
| FEWS-25810 | - | zie FAT 2.3.0.0 Test 1.5 | | de FSS kan bij het archief voor de import van netcdf's | - | ||||||||
| FEWS-25811 | - | zie FAT 2.3.0.0 Test 1.4 | | de OC kan bij het archief voor de download van netcdf's | - |
...
Testen | Screenshot |
|---|---|
FAT 2.3.0.0 Test 1.1 |
|
| FAT 2.3.0.0 Test 1.2 | - |
| FAT 2.3.0.0 Test 1.3 |
|
| FAT 2.3.0.0 Test 1.4 | - |
| FAT 2.3.0.0 Test 1.5 | Screenshot van de Database Viewer:
|
| FAT 2.3.0.0 Test 1.6 |
|
| FAT 2.3.0.0 Test 2.1 | LHM-Z0:
LSMLT-Z0:
NDB:
LHM:
LSMLT: Bij LSMLT KWA zijn kleine verschillen zichtbaar, Testomgeving-som (links) en Productie-som (rechts):
Bij LHM zien we dit verschil niet bij KWA (Testomgeving-som (links) en Productie-som (rechts)):
Testomgeving-som (boven) en Productie-som (onder):
LTMLT:
NDBpost:
|
| FAT 2.3.0.0 Test 2.2 | Voorbeeld overgang 1911-1912 LSMLT:
Voorbeeld overgang 1911-1912 LTMLT:
|
| NWM-1131 |
|
| NWM-1132 |
|
Herstelde issues tijdens testfase / overige testbevindingen
Issue FEWS-27766 (Archive Import in live system: Imported data not shown in Forecast Management display) is hersteld, hiervoor is een nieuwe patch beschikbaar (14 sep 2022).
Issue FEWS-27762 (Archive Export: Nullpointer ERROR) is hersteld, hiervoor is een nieuwe patch beschikbaar en een bijgewerkte configuratie (13 okt 2022).
Issue NWM-1133 (LTM-light: watertemperatuur lateralen te laag zoals berekend met 'bakjesmodel') is hersteld, hiervoor is een bijgewerkte configuratie opgeleverd (5 nov 2022).Niet van toepassing