Testrapportage release 2.2.4.1

Inleiding

Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.4.1 en de testbevindingen van de FAT (Functionele Acceptatie Test). Deze rapportage is een aanvulling op het testrapport van NWM release 2.2.4.0 (Rapportage FAT Release 2.2.4.0), waarin de modellen LHM, LSM-light en NDBpost zijn opgeleverd. Dit testrapport beschrijft de FAT voor het LTM-light model

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:

1. Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2. Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3. Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4. Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5. Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6. Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.

Release 2.2.4.1: aangebrachte wijzigingen t.o.v. release 2.2.4.0

NWM 2.2.4.1 is een uitbreiding op NWM 2.2.4.0, het betreft het toevoegen van het model LTM-light voor de in NWM 2.2.4.0 opgeleverde scenario's:

• REF2017VP
• REF2017EP
• S2050VP
• S2050EP

Voor een beschrijving van deze maatregelpakketten zie Testrapportage release 2.2.4.0.

In LTM-light zelf zijn geen maatregelen geïmplementeerd, wel is de LTM-light schematisatie aangepast zodat deze aansluit op de LSM-light schematisaties voor het Economisch- en Voorkeurspakket waarin wel aanpassingen t.b.v. de maatregelpakketten zijn doorgevoerd.

FAT-testen

Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd. Deze testen zijn voor de volgende vier workflows uitgevoerd voor het jaar 1911:

• REF2017VP, vergeleken met REF2017BP18
• S2050VP, vergeleken met S2050BP18
• REF2017EP, vergeleken met REF2017BP18
• S2050EP, vergeleken met S2050BP18
  

Alle runs zijn gestart met een koude start.

De volgende modellen zijn gedraaid:

• LTM-light

Technische test

FAT 2.2.4.1 Test 1.1: Check of de aangepaste modelbestanden voor de vier workflows voor het LTM-light klaar staan.

FAT 2.2.4.1 Test 1.2: Check of smoketesten voor LTM-light technisch goed draaien.

FAT 2.2.4.1 Test 1.3: Check of de exports voor LTM-light technisch goed draaien.

Inhoudelijk test

FAT 2.2.4.1 Test 2.1: Controleer of de afvoeren uit het LSM-light model goed door worden gegeven aan het LTM-light model.

FAT 2.2.4.1 Test 2.2: Controleer of de testprotocol locaties voor het LTM-light model een realistische watertemperatuur bereik tonen (0 - 30 graden Celsius).

FAT 2.2.4.1 Test 2.3: Controleer of de restart files goed worden doorgegeven door de overgang van 1911 op 1912 plausibel zijn.

FAT 2.2.4.1 Test 2.4: Controleer of er plausibele verschillen zijn tussen de BP18 scenario's en de doorgerekende VP en EP maatregelpakketten.

Meegenomen JIRA-issues

Tabel TR.01: Issues die in deze release zijn meegenomen

Overzicht van de resultaten van het pakket aan FAT-testen

Tabel TR.02: Legenda

Icoon / Beschrijving	Betekenis
	succesvol
	niet succesvol
niet uitgevoerd	de reden hiervoor staat beschreven in veld opmerkingen
n.v.t.	test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende.
—	nog niet uitgevoerd

In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen. 

Tabel TR.03: Testen voor de jaren 1911 voor twee Deltascenario's Referentie 2017 en Stoom 2050 in combinatie met de pakketten Voorkeurspakket en Economisch pakket

Testen	Model schematisatie	Beschrijving test	Referentie 2017 Voorkeurs-pakket	Referentie 2017 Economisch pakket	Stoom 2050 Voorkeurs-pakket	Stoom 2050 Economisch pakket	Opmerkingen	Screenshot beschikbaar (zie Tabel TR.05)
FAT 2.2.4.1 Test 1.1	LTM-light	Check aanwezigheid aangepaste modelbestanden					EP, VP scenario folders bevatten aangepaste schematisatie bestanden	ja
FAT 2.2.4.1 Test 1.2	LTM-light	Draaien van de smoketesten					de berekeningen 1911-1912 zijn voor alle vier de scenario's geslaagd	ja
FAT 2.2.4.1 Test 1.3	LTM-light	Controleer exports					er worden gevulde netcdf bestanden geëxporteerd	ja
FAT 2.2.4.1 Test 2.1	LTM-light	Vergelijk afvoeren LSM-light met LTM-light					De afvoer wordt correct doorgegeven. In de screenshot is een tijdstap verschuiving zichtbaar, dit komt omdat binnen FEWS de LSM-light resultaten een shift plaatsvindt, terwijl de 'ruwe' LSM-light data 'as is' aan LTM-light wordt doorgegeven	ja
FAT 2.2.4.1 Test 2.2	LTM-light	Controleer realistische watertemperatuur bereik					De gesimuleerde watertemperatuur valt voor de testprotocol locaties binnen een realistisch bereik	ja
FAT 2.2.4.1 Test 2.3	LTM-light	Controleer overgang 1911-1912 op plausibiliteit					de tijdseries lopen realistisch door bij de jaarovergang	ja
FAT 2.2.4.1 Test 2.4	LTM-light	Controleer of er plausibele verschillen zijn tussen BP18 en de nieuwe scenario's					Verschillen in afvoer (resultaten uit LSM-light) resulteren in een aangepaste watertemperatuur zoals verwacht	ja

Tabel TR.04: Testen voor meegenomen JIRA-issues

Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen 
(door een automatische export van WIKI naar PDF is de tabel mogelijk onhandig verdeeld over de pagina's en kunnen de figuren soms wat onscherp zijn, de oorspronkelijke figuren zijn te bekijken via deze link: https://publicwiki.deltares.nl/display/NW/Rapportage+FAT+Release+2.2.4.1 )

Herstelde issues tijdens testfase / overige testbevindingen

Niet van toepassing