Page tree
Skip to end of metadata
Go to start of metadata

Inleiding

Deze rapportage beschrijft de wijzigingen van NWM release 2.3.0.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) voor de upgrade van de NWM Testomgeving naar de laatste Delft-FEWS versie 2022.01.

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

  1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
  2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
  3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
  4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
  5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
  6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus dezelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. 

Release 2.3.0.0: aangebrachte wijzigingen t.o.v. release 2.2.4.1 en 2.2.4.2

NWM 2.3.0.0 gebruikt dezelfde modellentrein en scenario's zoals opgeleverd in release 2.2.4.1 (oplevering scenario's met maatregelpakketten VP en EP) en 2.2.4.2 (uitbreiding workflows voor export naar het archief).
Alleen ten aanzien van het archief en Computational Framework functionaliteit is een beperkt aantal configuratiewijzigingen doorgevoerd. Dit betreft met name configuratieinstellingen die een koppeling met het archief mogelijk maken.

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd. Deze testen zijn uitgevoerd voor het jaar 1911 en 1912:

  • REF2017BP18, vergeleken met REF2017BP18 zoals gearchiveerd in het NWM productiearchief bij SSC Campus.

Alle runs zijn gestart met een koude start.

De volgende modellen zijn gedraaid:

  • LHM zonder zoutbeperking
  • LSM-light zonder zoutbeperking
  • NDB
  • LHM
  • LSM-light
  • LTM-light
  • NDBpost

Technische test

FAT 2.3.0.0 Test 1.1: Check of smoketesten voor alle modellen in de NWM modellentrein technisch goed draaien.

FAT 2.3.0.0 Test 1.2: Check of de exports voor alle modellen in de NWM modellentrein technisch goed draaien.

FAT 2.3.0.0 Test 1.3: Check of geëxporteerde data beschikbaar is in de catalogus van het archief en daarmee zichtbaar in de NWM omgeving.

FAT 2.3.0.0 Test 1.4: Check of data uit het archief kan worden gedownload naar lokale machine.

FAT 2.3.0.0 Test 1.5: Check of data uit het archief kan worden geïmporteerd in de Centrale database via de FSS.

FAT 2.3.0.0 Test 1.6: Check of met geïmporteerde data uit het archief een vervolgberekening kan worden gestart.

Inhoudelijk test

FAT 2.3.0.0 Test 2.1: Controleer of de modelresultaten (alle modellen in de NWM modellentrein) voor de testprotocollocaties vergelijkbaar zijn met de tijdreeksen uit het archief.

FAT 2.3.0.0 Test 2.2: Controleer of de restart files voor het LTM-light model goed worden doorgegeven voor de overgang van 1911 op 1912 door te controleren of de resulaten voor deze overgang plausibel zijn.


Meegenomen JIRA-issues


Tabel TR.01: Issues die in deze release zijn meegenomen

Issuenummer

Issue beschrijving

Controle

NWM-1131

Upgrade NWM omgeving naar Delft-FEWS 2022.01check versienummers

NWM-1132

Beschikbaar maken (composed) whatIf functionaliteit binnen NWM (computational framework)check display

FEWS-25810

Archive endpoint: URLs to be imported by FSSFAT 2.3.0.0 Test 1.5

FEWS-25811

ArchiveServer: facilitate URL download without OpenDAP

FAT 2.3.0.0 Test 1.4


Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving

Betekenis

(tick)succesvol 

(error)

niet succesvol
niet uitgevoerdde reden hiervoor staat beschreven in veld opmerkingen
n.v.t.test niet uitgevoerd, functionaliteit a.d.h.v. technische test voor 1 van de model schematisatie is voldoende. 
nog niet uitgevoerd


In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 


Tabel TR.03: Testen voor de jaren 1911-1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050 in combinatie met de pakketten Voorkeurspakket en Economisch pakket

TestenScenarioBeschrijving testModel schematisatie (Z0 = zonder zoutbeperking)OpmerkingenScreenshot
beschikbaar
(zie Tabel TR.05)

LHM
Z0

LSM-light Z0

NDB

LHM

LSM-light

LTM-lightNDBpost
FAT 2.3.0.0 Test 1.1Referentie 2017Draaien van de smoketesten(tick)(tick)(tick)

(tick)

(tick)(tick)(tick)de berekeningen 1911-1912 zijn voor het basisscenario REF2017 geslaagdja
FAT 2.3.0.0 Test 1.2Referentie 2017Controleer exports(tick)(tick)(tick)(tick)(tick)(tick)(tick)

er worden gevulde netcdf bestanden geëxporteerd, Export LSMLT WABES geeft een error, zie

FEWS-27762 - Getting issue details... STATUS

Deze is hersteld met behulp van patch fews-stable-202201-115132-patch.jar en een configuratiewijziging (svn.3665)

-
FAT 2.3.0.0 Test 1.3Referentie 2017Controleer catalogus

(tick)

(tick)

(tick)(tick)(tick)(tick)(tick)

De harvester leest alle geëxporteerde metadata.xml's en vult daarmee de catalogus. Vanuit de FEWS Archive Display kunnen de records worden doorzocht

ja
FAT 2.3.0.0 Test 1.4n.v.t.Download uit het archief(tick)n.v.t.n.v.t.n.v.t.n.v.t.n.v.t.n.v.t.Bestanden worden gedownload naar een lokale folder-
FAT 2.3.0.0 Test 1.5n.v.t.Importeer uit het archief in de Centrale database via FSS

n.v.t.

n.v.t.

n.v.t.

n.v.t.

(tick)

n.v.t.

n.v.t.

Data uit het archief kan via de FSS worden geïmporteerd in de database; Bij een eerste test is er een issue geconstateerd: FEWS-27766 - Getting issue details... STATUS

Deze is hersteld met behulp van patch fews-stable-202201-114987-patch.jar

ja
FAT 2.3.0.0 Test 1.6Referentie 2017Voer vervolgberekening uit op basis van uit het archief geïmporteerde resultaten

n.v.t.

n.v.t.

(tick)

n.v.t.

n.v.t.

(tick)

n.v.t.

In de NWM testomgeving (Operator Client omgeving) kan een berekening worden uitgevoerd op basis van geïmporteerde data uit het archief, zie verder het issue onder FAT 2.3.0.0 Test 1.5ja
FAT 2.2.4.1 Test 2.1Referentie 2017Controleer testprotocol locaties resultaten met gearchiveerde tijdreeksen

(tick)

(tick)

(tick)

(tick)(tick)(tick)(tick)De gesimuleerde tijdreeksen voor de testprotocol locaties komen overeen met de gearchiveerde reeksen; voor LSMLT zijn kleine verschillen geconstateerd bij kleinere wateren/kunstwerken zoals bijv de KWAja
FAT 2.2.4.1 Test 2.2Referentie 2017Controleer overgang 1911-1912 op plausibiliteit(tick)(tick)(tick)(tick)(tick)(tick)(tick)de tijdseries lopen realistisch door bij de jaarovergangja


Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer

Model
schematisatie

Beschrijving test

Resultaat

Opmerkingen

Screenshot
beschikbaar
(zie Tabel TR.05)

NWM-1131-controleer het FEWS versienummer(tick)alle FEWS componenten zijn correct geupgrade naar 2022.01ja

NWM-1132

-

Check of een nieuwe WhatIf kan worden aangemaakt o.b.v. WhatIf Template

(tick), zie ook Opmerkingen 

betreft nu een dummy WhatIf, in een latere release kan een nog te bepalen WhatIf worden geconfigureerd en toegevoegd.
Bij het toevoegen van extra searchAttributes is nog een issue geconstateerd mbt van de visualisatie hiervan, zie FEWS-27767 - Getting issue details... STATUS (een fix komt in een volgende release mee;  in deze release maken we nog niet actief gebruik van de WhatIf functionaliteit waardoor we hier nu geen directe hinder van ondervinden).

ja
FEWS-25810

-

zie FAT 2.3.0.0 Test 1.5(tick)de FSS kan bij het archief voor de import van netcdf's-
FEWS-25811

-

zie FAT 2.3.0.0 Test 1.4(tick)de OC kan bij het archief voor de download van netcdf's-


Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn, de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.2.4.1 )

Testen

Screenshot

FAT 2.3.0.0 Test 1.1

FAT 2.3.0.0 Test 1.2

-

FAT 2.3.0.0 Test 1.3

FAT 2.3.0.0 Test 1.4-
FAT 2.3.0.0 Test 1.5

Screenshot van de Database Viewer:

FAT 2.3.0.0 Test 1.6

FAT 2.3.0.0 Test 2.1

LHM-Z0:

LSMLT-Z0:

NDB:

LHM:

LSMLT:

Bij LSMLT KWA zijn kleine verschillen zichtbaar, Testomgeving-som (links) en Productie-som (rechts):

Bij LHM zien we dit verschil niet bij KWA (Testomgeving-som (links) en Productie-som (rechts)):

Testomgeving-som (boven) en Productie-som (onder):

LTMLT:

NDBpost:

FAT 2.3.0.0 Test 2.2

Voorbeeld overgang 1911-1912 LSMLT:

Voorbeeld overgang 1911-1912 LTMLT:

NWM-1131

NWM-1132


Herstelde issues tijdens testfase / overige testbevindingen

Issue FEWS-27766 (Archive Import in live system: Imported data not shown in Forecast Management display) is hersteld, hiervoor is een nieuwe patch beschikbaar (14 sep 2022).

Issue FEWS-27762 (Archive Export: Nullpointer ERROR) is hersteld, hiervoor is een nieuwe patch beschikbaar en een bijgewerkte configuratie (13 okt 2022).

Issue NWM-1133 (LTM-light: watertemperatuur lateralen te laag zoals berekend met 'bakjesmodel') is hersteld, hiervoor is een bijgewerkte configuratie opgeleverd (5 nov 2022).

  • No labels