Page History

...

Deze rapportage beschrijft de wijzigingen binnen van NWM release 2.3.0.0 en de testbevindingen van de FAT (Functionele Acceptatie Test) . Dit testrapport beschrijft de FAT voor de upgrade van de NWM Testomgeving naar de laatste Delft-FEWS versie 2022.01.

...

NWM 2.3.0.0 gebruikt dezelfde modellentrein en scenario's zoals opgeleverd in release 2.2.4.1 (oplevering scenario's met maatregelpakketten VP en EP) en 2.2.4.2 (uitbreiding workflows voor export naar het archief).
Alleen ten aanzien van het archief en Computational Framework functionaliteit zijn is een beperkt aantal configuratiewijzigingen doorgevoerd. Dit betreft met name configuratie instellingen configuratieinstellingen die een koppeling met het archief mogelijk maken.

...

FAT 2.3.0.0 Test 1.1: Check of smoketesten voor LTM-light alle modellen in de NWM modellentrein technisch goed draaien.

FAT 2.3.0.0 Test 1.2: Check of de exports voor LTM-light alle modellen in de NWM modellentrein technisch goed draaien.

FAT 2.3.0.0 Test 1.3: Check of geëxporteerde data beschikbaar is in de catalogus van het archief en daarmee zichtbaar in de NWM omgeving.

FAT 2.3.0.0 Test 1.4: Check of data uit het archief kan worden gedownload naar lokale machine.

FAT 2.3.0.0 Test 1.45: Check of data uit het archief kan worden geïmporteerd in de Centrale database via de FSS.

FAT 2.3.0.0 Test 1.56: Check of met geïmporteerde data uit het archief een vervolgberekening kan worden gestart.

...

FAT 2.3.0.0 Test 2.1: Controleer of de LTM-light modelresultaten voor de testprotocol locaties modelresultaten (alle modellen in de NWM modellentrein) voor de testprotocollocaties vergelijkbaar zijn met de tijdreeksen uit het archief.

FAT 2.3.0.0 Test 2.2: Controleer of de restart files voor het LTM-light model goed worden doorgegeven door voor de overgang van 1911 op 1912 door te controleren of de resulaten voor deze overgang plausibel zijn.

Meegenomen JIRA-issues

...

Overzicht van de resultaten van het pakket aan FAT-testen

...

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
Image Removed	gedeeltelijk succesvol, definitieve test in volgende release
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende, functionaliteit a.d.h.v. technische test voor 1 van de model schematisatie is voldoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

...

Tabel TR.03: Testen voor de jaren 1911-1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050 in combinatie met de pakketten Voorkeurspakket en Economisch pakket

Testen	Scenario	Beschrijving test	Model schematisatie (Z0 = zonder zoutbeperking)							Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
			LHM Z0	LSM-light Z0	NDB	LHM	LSM-light	LTM-light	NDBpost
FAT 2.3.0.0 Test 1.1	Referentie 2017	Draaien van de smoketesten								de berekeningen 1911-1912 zijn voor alle vier de scenario's het basisscenario REF2017 geslaagd	ja
FAT 2.3.0.0 Test 1.2	Referentie 2017	Controleer exports								er worden gevulde netcdf bestanden geëxporteerd, Export LSMLT WABES geeft een error, zie Jira server Deltares Issue Tracker serverId 20635570-6a34-3a69-a785-26a57a470c5b key FEWS-27762 Deze is hersteld met behulp van patch fews-stable-202201-115132-patch.jar en een configuratiewijziging (svn.3665)	-
FAT 2.3.0.0 Test 1.3	Referentie 2017	Controleer catalogus								De harvester leest alle geëxporteerde metadata.xml's en vult daarmee de catalogus. Vanuit de FEWS Archive Display kunnen de records worden doorzocht	ja
FAT 2.3.0.0 Test 1.4	n.v.t.	Download uit het archief		n.v.t.	n.v.t.	n.v.t.	n.v.t.	n.v.t.	n.v.t.	Bestanden worden gedownload naar een lokale folder	-
FAT 2.3.0.0 Test 1.45	n.v.t.	Importeer uit het archief in de Centrale database via FSS	n.v.t.	n.v.t.	n.v.t.	n.v.t.		n.v.t.	n.v.t.	Data uit het archief kan via de FSS worden geïmporteerd in de database; Bij een eerste test is er een issue geconstateerd: Jira server Deltares Issue Tracker serverId 20635570-6a34-3a69-a785-26a57a470c5b key FEWS-27766 Deze is hersteld met behulp van patch fews-stable-202201-114987-patch.jar	ja
FAT 2.3.0.0 Test 1.56	Referentie 2017	Voer vervolgberekening uit op basis van uit het archief geïmporteerde resultaten	n.v.t.	n.v.t.		n.v.t.	n.v.t.		n.v.t.	In de NWM testomgeving (Operator Client omgeving) kan een berekening worden uitgevoerd op basis van geïmporteerde data uit het archief, zie verder het issue onder FAT 2.3.0.0 Test 1.5	ja
FAT 2.2.4.1 Test 2.1	Referentie 2017	Controleer testprotocol locaties resultaten met gearchiveerde tijdreeksen								De gesimuleerde watertemperatuur valt tijdreeksen voor de testprotocol locaties binnen een realistisch bereikkomen overeen met de gearchiveerde reeksen; voor LSMLT zijn kleine verschillen geconstateerd bij kleinere wateren/kunstwerken zoals bijv de KWA	ja
FAT 2.2.4.1 Test 2.2	Referentie 2017	Controleer overgang 1911-1912 op plausibiliteit								de tijdseries lopen realistisch door bij de jaarovergang	ja

Tabel TR.04: Testen voor meegenomen JIRA-issues

Issuenummer	Model schematisatie	Beschrijving test	Resultaat	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
NWM-1131	-	controleer het FEWS versienummer		alle FEWS componenten zijn correct geupgrade naar 2022.01	ja
NWM-1132	-	Check of een nieuwe WhatIf kan worden aangemaakt o.b.v. WhatIf Template	, zie ook Opmerkingen	betreft nu een dummy WhatIf, in een latere release kan een nog te bepalen WhatIf worden geconfigureerd en toegevoegd. Bij het toevoegen van extra searchAttributes is nog een issue geconstateerd mbt van de visualisatie hiervan, zie Jira server Deltares Issue Tracker serverId 20635570-6a34-3a69-a785-26a57a470c5b key FEWS-27767 (een fix komt in een volgende release mee;  in deze release maken we nog niet actief gebruik van de WhatIf functionaliteit waardoor we hier nu geen directe hinder van ondervinden).	ja
FEWS-25810	-	zie FAT 2.3.0.0 Test 1.5		de FSS kan bij het archief voor de import van netcdf's	-
FEWS-25811	-	zie FAT 2.3.0.0 Test 1.4		de OC kan bij het archief voor de download van netcdf's	-

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn, de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.2.4.1 )

Herstelde issues tijdens testfase / overige testbevindingen

Issue FEWS-27766 (Archive Import in live system: Imported data not shown in Forecast Management display) is hersteld, hiervoor is een nieuwe patch beschikbaar (14 sep 2022).

Issue FEWS-27762 (Archive Export: Nullpointer ERROR) is hersteld, hiervoor is een nieuwe patch beschikbaar en een bijgewerkte configuratie (13 okt 2022).

Issue NWM-1133 (LTM-light: watertemperatuur lateralen te laag zoals berekend met 'bakjesmodel') is hersteld, hiervoor is een bijgewerkte configuratie opgeleverd (5 nov 2022).Niet van toepassing