Page History

Inleiding

Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). De FAT (Functionele AcceptatieTest) is een belangrijke stap in dit ontwikkelproces en markeert de overgang van OT naar AP-omgeving in een formele oplevering van een bepaalde release aan WVL. De FAT is een stap in een breder proces van kwaliteitsborging om ervoor te zorgen dat uiteindelijk resultaten van berekeningen als open data gepubliceerd kunnen worden. De stappen bestaan op hoofdlijnen uit:

1    Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2    Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3    Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4    Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5    Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6    Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)

 In deze rapportage staan de testbevindingen die tijdens de FAT  zijn uitgevoerd. Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven. In deze rapportage staan de testbevindingen voor release 2.1 (CONCEPTVERSIE 11 APRIL 2018). In de (test)sprint van 26 maart t/m 9 april 2018 zijn hiervoor testen uitgevoerd. Hierbij worden wijzigingen in het NWM getest. De wijzigingen staan hieronder beschreven onder 'doel en impact van release 2.1'. Op 9 april is release 2.1 opgeleverd inclusief deze testrapportage.

Deze testrapportage is gebaseerd op de indeling die in memo "Voorstel verbetering testprocedures NWM-zoetwater" (met kenmerk 11202205-004-ZWS-0001 d.d. 5 maart 2018) is beschreven.

Release 2.1: aangebrachte wijzigingen t.o.v. release 2.0

Bij release 2.0 is ook een FAT is uitgevoerd (zie Testbevindingen release 2.0.0.0).  Ten opzichte van release 2.0 zijn in release 2.1 zijn de volgende wijzigingen gerealiseerd:

• Parallel rekenen met LHM;  Om de doorlooptijd van een workflow te versnellen, is het mogelijk gemaakt om deze parallel door te rekenen. Hierbij is de desbetreffende workflow verdeeld over het aantal rekenservers (FSS-en) dat de gebruiker opgeeft. In juli 2017 is iMOD versie 4.0 gereleased, waarin een nieuwe oplossingsmethode voor MODFLOW is opgenomen, de ‘Parallel Krylov Solver’ (PKS). Deze versnellingsoptie is in LHM 3.3.0 getest. Met de nieuwe solver kunnen berekeningen parallel worden uitgevoerd op verschillende rekencores (iMODFLOW-MetaSWAP).
• Herstructurering van 'locatie datasets'; De locaties van LSM zijn ‘achter de schermen’ op een andere manier geordend, zodat het gemakkelijker is geworden om een dataset (uitvoerlocatie) voor een project toe te voegen. Hiermee is in november 2017 (o.b.v release 2.0) al een begin gemaakt. In release 2.1 zijn deze werkzaamheden afgerond en geïntegreerd in NWM-Zoetwater.
• Referentie2017; Als voorbereiding voor de nieuwe basisprognoses is voor LHM en LSMLT een nieuwe referentieschematisatie (situatie 2017) gemaakt, waardoor ook een update van het LTMLT model nodig was. Het NDB model is niet aangepast. In deze nieuwe schematisaties zijn enkele maatregelen geimplementeerd; zie rapport (Hunink, 2018), dat momenteel de conceptstatus heeft. Hierdoor veranderen de modelresultaten ten opzichte van de vorige situatie (Referentie 2015). 
• Nieuwe deltascenario’s; Er zijn nieuwe deltascenario’s opgeleverd. Hierdoor veranderen de modelresultaten.
  

Op verzoek van WVL worden nog een paar last-minute wijzigingen doorgevoerd. Dit betreft:

• het mogelijk maken van het genereren van extra uitvoer tbv Agricom berekeningen (buiten NWM applicatie om) en 
• vervanging van onderdelen in het onderdeel MetaSWAP (LHM), ivm nieuwe inzichten ten aanzien van gewasgroei.  

Laatstgenoemde wijziging vraagt ook een update van Agricom, deze is in release 2.0 niet meegenomen. Agricom is (voorlopig) vanaf release 2.0 daarom geen onderdeel van de NWM-applicatie. De update van Agricom wordt na de FAT van release 2.1.0.0 doorgevoerd.
 

Verwachte impact van de aangebrachte wijzigingen

In deze rapportage staan de testbevindingen die tijdens de FAT  zijn uitgevoerd. Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat- de GAT (Gebruikers AcceptatieTest) uitvoert. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven. In de onderstaande tabel wordt het type wijziging per aangebrachte wijziging uitgewerkt:

Tabel TR.01: Relatie van verandering tot type van verandering en de impact 

Omdat er nieuwe (Referentie 2017) schematisaties zijn, nieuwe datasets en ook de software gedeeltelijk vernieuwd is (parallel rekenen voor LHM),

Inleiding

In deze sectie staan de testbevindingen voor release 2.1 (CONCEPTVERSIE 6 APRIL 2018). In de sprint van 26 maart t/m 9 april 2018 zijn hiervoor testen uitgevoerd. Hierbij zijn de wijzigingen getest die sinds release 2.0 (van eind november 2017) gerealiseerd zijn. De wijzigingen staan beschreven bij de 'doel en impact van release 2.1'. Op 9 april is release 2.1 opgeleverd worden inclusief deze testrapportage.

Deze testrapportage heeft een andere indeling dan eerdere testrapportages. Deze testrapportage is gebaseerd op de indeling die in memo "Voorstel verbetering testprocedures NWM-zoetwater" (met kenmerk 11202205-004-ZWS-0001 d.d. 5 maart 2018) is beschreven.

Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op daaropvolgende workflows, dan zijn deze workflows ook opnieuw getest.

Doel en impact van release 2.1

In release 2.1 zijnde volgende requirements gerealiseerd:

• Parallel rekenen met LHM;  Om de doorlooptijd van een workflow te versnellen, is het mogelijk gemaakt om deze parallel door te rekenen. Hierbij is de desbetreffende workflow verdeeld over het aantal rekenservers (FSS-en) dat de gebruiker opgeeft. De modules ModFlow en Metaswap zijnparallel, d.w.z. over meerdere cores, doorgerekend.
• Herstructurering van 'locatie datasets'; De locaties van LSM zijn ‘achter de schermen’ op een andere manier geordend, zodat het gemakkelijker is geworden om een dataset (uitvoerlocatie) voor een project toe te voegen. Hiermee is in november 2017 (release 2.0) al een begin gemaakt. In release 2.1 zijn deze werkzaamheden afgerond en geïntegreerd in NWM-Zoetwater.
• Referentie2017; Als voorbereiding voor de nieuwe basisprognoses isvoor LHM en LSMLT een nieuwe referentieschematisatie (situatie 2017) gemaakt, waardoor ook het LTM model is aangepast. Het NDB model is niet aangepast. In deze nieuwe schematisaties zijn enkele maatregelen geimplementeerd; zie rapport (Hunink, 2018), dat momenteel de conceptstatus heeft. Hierdoor zijn de modelresultaten veranderd ten opzichte van de vorige situatie (Referentie 2015). 
• Nieuwe deltascenario’s; Er zijn nieuwe deltascenario’s opgeleverd. Dit houdt in dat de invoer voor alle modellen en daardoor ook de modelresultaten is veranderd.

Beschrijving van het type van verandering

Bij de vier hierboven genoemde requirements hoort een bepaald 'type van verandering' dat vervolgens tot 'bepaalde 'gevolgen' leidt. In de onderstaande tabel wordt dit per requirement uitgewerkt:

Tabel TR.01: Relatie van requirements tot type van verandering en de impact 

Overzicht van de standaardtesten

Op basis van het memo "Voorstel verbetering testprocedures NWM-zoetwater" is er een directe link gelegd tussen het 'type van verandering' in een release en de 'type testen' die uitgevoerd worden. Er zijn vijf 'typen van testen' gedefinieerd, te weten 'technische testen die controleren of een modelschematisatie draait en binnen de gestelde rekentijd (T)'', 'testen op de correctheid van invoer (I)', testen voor koppelingen (K)', 'testen van de resultaten (R)' en 'testen voor Export (E)'. De letter tussen haakjes is onderdeel van het testnummer van de testprotocollen, waardoor het type van test voortaan eenvoudig te herkennen is. Op basis van de requirements en de daarbij horende 'type van wijziging' is aan de hand van de tabel in paragraaf 4.1 van memo "Voorstel verbetering testprocedures NWM-zoetwater" een lijst van standaardtesten te genereren. In de onderstaande tabel zijn deze (standaard)testen opgenomen, waarbij voorgesteld wordt in de release 2.1 een aantal testen niet uit te voeren. Dit betreft alle de testen die niet uitgevoerd kunnen worden. Zo zijn er testen die LSM Light en LSM modelresultaten vergelijken. Omdat er geen LSM simulaties uitgevoerd zijn voor de basisprognoses, kunnen deze testen niet uitgevoerd worden. Ook zijn er testprotocollen die specifiek zijn voor het WARM2017 scenario. Er wordt echter voorgesteld in deze sprint andere scenario's te testen; zie hieronder.  In de onderstaande tabel zijn de testen in rood aangegeven waarvan voorgesteld wordt ze niet uit te voeren.

De zes Deltascenario's zijn "Referentie2017", "2050 Rust2017","2050 WARM2017", "2050 Druk2017","2050 Stoom2017" en "2050 DrukParijs2017". Omdat er nieuwe (Referentie 2017) schematisaties zijn en ook de software gedeeltelijk vernieuwd is (parallel rekenen voor LHM), kan gesteld worden dat NWM-Zoetwater volledig vernieuwd is. Dit betekent, in principe, dat alle testen opnieuw uitgevoerd zouden moeten worden. Voor release 2.1 is uitgegaan dat de testen binnen een tijdspanne van twee weken uitgevoerd moeten worden. Binnen het beschikbare tijdpad en budget is het niet haalbaar om alle testen te doen. Op basis van de veranderingen is in overleg met de experts het voorstel om de volgende testen uit te voeren. Met dit pakket aan testen zijn de belangrijkste risico’s afgedekt door alle scenario’s te testen voor de eerste stap in de modellentrein (namelijk LHM zonder zout) en is de gehele modellentrein doorlopen voor de Referentie 2017, die vernieuwd is. Ook is een scenario getest waarvoor de 100 jarige meteo invoer nog niet eerder is doorgerekend, namelijk het Gl-scenario dat in Rust of Druk zit.

Het voorgaande leidt tot het volgende voorstel voor de volgende testen in release 2.1:

• Voor alle zes Deltascenario's worden de jaren 1911 en 2011 doorgerekend voor het 'LHM zonder zout' model, om globaal te testen of alle Deltascenario's doorgerekend kunnen worden;
• Een doorstart voor het schrikkeljaar 1912 wordt voor een (willekeurig) scenario getest en hiervoor wordt "Referentie2017" en "2050 DrukParijs2017" genomen.
• De gehele modellentrein wordt getest voor het jaar 2003 voor de scenario's  "Referentie2017" en "2050 DrukParijs2017".

In release 2.1 zijn de inhoudelijke controles uitgevoerd voor het jaar 2003, omdat hiervoor de meeste kennis en metingen beschikbaar zijn. Voor het scenario 'Referentie 2017' is de gehele modellentrein doorlopen. Dit betekent dat testen zijn uitgevoerd voor 'LHM zonder zout', 'LSM Light zonder zout', het NDM model', 'LHM met zout' , 'LSM Light met zout' en 'LTL Light'. Samengevat, voor een tweetal scenario's (Referentie 2017 en Warm2017) en voor een bepaald jaar (2003) zijn alle modelschematisaties van de workflow getest.

Een ander nieuw aspect is dat bij de testprotocollen een figuur met de modelresultaten is opgenomen. Hierdoor kan de lezer verifiëren waarom een test al dan niet geslaagd is. Hierbij dient dit toegevoegde figuur vergeleken te worden met het figuur in het testprotocol. Tesamen met de beschrijving van het criterium van de test kan geverifieerd worden of een test op de juiste manier beoordeeld is. In de toekomst zullen deze figuren als nieuwe referentie gebruikt worden, omdat de modelschematisatie gewijzigd is (i.e. Referentie 2017). Bij de volgende release zullen deze figuren in de testprotocollen opgenomen zijn als nieuwe referentieoplossing.

Legenda:

• : succesvol 
• Image Removed: succesvol na overleg met een inhoudelijk expert
• : niet succesvol
• niet uitgevoerd: de reden hiervoor staat beschreven in de bijlagen
• —: nog niet uitgevoerd

Het voorgaande resulteert in de volgende standaardtesten:

Tabel TR.02: Testen voor de jaren 1911 en 2011 voor alle zes Deltascenario's 

Modelschematisatie	Testen	Beschrijving test	Ref2017 1911	Warm 1911	Rust 1911	Stoom 1911	Druk 1911	DrukParijs 1911
LHM zonder zout	ZW-LHM-T-01	Uitvoeren workflow	Image Removed	Image Removed	Image Removed	Image Removed	Image Removed	Image Removed
	ZW-LHM-T-02	Rekentijd

Samenstelling van het pakket aan standaardtesten

Op basis van het memo "Voorstel verbetering testprocedures NWM-zoetwater" is er een directe link gelegd tussen het 'type van verandering' in een release en de 'type testen' die uitgevoerd worden. Er zijn vijf 'typen van testen' gedefinieerd, te weten;

• technische testen die oa controleren of een modelschematisatie draait en binnen de gestelde rekentijd (T),
  
• testen op de correctheid van invoer (I),
  
• testen voor koppelingen (K),
  
• testen van de resultaten (R) en  
• testen voor Export (E).
   

De letter tussen haakjes is onderdeel van het testnummer van de testprotocollen, waardoor het type van test voortaan eenvoudig te herkennen is. Voor release 2.1 zijn de reeds aanwezige testen ingedeeld in bovenstaande categorieën. Hieruit blijkt dat nog niet voor alle modellen alle categorieën gevuld zijn. Voor release 2.1 is met RWS-WVL afgesproken om het testen met alleen de aanwezige testen uit te voeren. Voor de categorieën die nog niet voldoende zijn gevuld, wordt in een later stadium een voorstel gedaan voor een geschikte test of deze worden gevuld door middel van release-specifieke testen.

Op basis van de requirements en de daarbij horende 'type van wijziging' is aan de hand van de tabel in paragraaf 4.1 van memo "Voorstel verbetering testprocedures NWM-zoetwater" een lijst van standaardtesten gegenereerd (op basis van de huidige testprotocollen).

De zes Deltascenario's zijn "Referentie2017", "2050 Rust2017","2050 Warm2017", "2050 Druk2017","2050 Stoom2017" en "2050 DrukParijs2017". In principe dienen voor al deze 6 Deltascenario’s alle testen opnieuw uitgevoerd te worden. Echter, voor release 2.1 is van de randvoorwaarde uitgegaan dat de testen binnen een tijdspanne van twee weken uitgevoerd moeten kunnen worden. Binnen het beschikbare tijdpad en budget is het niet haalbaar om alle testen voor alle 6 Deltascenario’s uit te voeren. Op basis van de in release 2.1 aangebrachte veranderingen is in overleg met de experts het volgende pakket van testen samengesteld en uitgevoerd:

Het voorgaande leidt tot het volgende voorstel voor de volgende testberekeningen in release 2.1:

• Voor alle zes Deltascenario's worden de jaren 1911 en 2011 doorgerekend voor het 'LHM zonder zout' model, om globaal te testen of alle Deltascenario's doorgerekend kunnen worden;
• Een doorstart voor het schrikkeljaar 1912 wordt voor een (willekeurig) scenario getest en hiervoor wordt "Referentie2017" en "2050 DrukParijs2017" genomen.
• De gehele modellentrein wordt getest voor het jaar 2003 voor de scenario's  "Referentie2017" en "2050 DrukParijs2017".

Met dit pakket aan testen:

• zijn alle scenario’s getest voor de eerste stap in de modellentrein (namelijk LHM zonder zout) en
• is de gehele modellentrein doorlopen voor de nieuwe Referentie 2017.
• Bevat deze FAT ook een nieuwe test waarbinnen de 100-jarige meteo invoer is doorgerekend, namelijk het Gl-scenario dat in Rust of Druk zit.
• zijn de belangrijkste risico’s afgedekt.

De technische controles worden uitgevoerd voor de jaren 1911-1912 en 2011. Hier wordt alleen gekeken naar Het LHM model zonder zout (LHM-Z0). Gekozen is om alleen deze stap te controleren omdat dit model het eerste model is in de rekentrein en daarom het minste doorlooptijd vergt voordat deze sommen aangezet kunnen worden. LHM Z0 gebruikt dezelfde meteo- en hydrologische invoer als LHM, alleen de chloride randvoorwaarden verschillen.
De inhoudelijke controles zijn uitgevoerd voor het jaar 2003, omdat hiervoor de meeste kennis en metingen beschikbaar zijn. Voor het scenario 'Referentie 2017' is de gehele modellentrein doorlopen. Dit betekent dat testen zijn uitgevoerd voor 'LHM zonder zout', 'LSM Light zonder zout', het NDM model', 'LHM met zout' , 'LSM Light met zout' en 'LTL Light'. Samengevat, voor een tweetal scenario's (Referentie 2017 en Warm2017) en voor een bepaald jaar (2003) zijn alle modelschematisaties van de workflow getest.

Overzicht van de resultaten van het pakket aan standaardtesten

In onderstaande tabellen worden de standaardtesten weergegeven. Onderstaande legenda geeft verdere uitleg over de tabellen.Een meer gedetailleerde beschrijving van de uitgevoerde testen is beschreven in de bijlagen.

Legenda:

• : succesvol 
• Image Added: succesvol na overleg met een inhoudelijk expert
• : niet succesvol
• niet uitgevoerd: de reden hiervoor staat beschreven in de bijlagen
• —: nog niet uitgevoerd

Tabel TR.02: Testen voor de jaren 1911 en 2011 voor alle zes Deltascenario's    

201120112011201120112011Uitvoeren

Modelschematisatie	Testen	Beschrijving test	Ref2017	1911	Warm	1911	Rust	1911	Stoom	1911	Druk	1911	DrukParijs	1911
LHM zonder zout	ZW-LHM-T-01	Uitvoeren workflow	Image Modified	Image Modified	Image Modified	Image Modified	Image Modified	Image Modified
	ZW-LHM-T-02	Rekentijd

Tabel TR.03: Testen voor het jaar 1912 voor Deltascenario Referentie2017 

LHM Z0Takdebietenniet uitgevoerd

Testen	Beschrijving test	Ref2017 2011	Warm 2011	Rust 2011	Stoom 2011	Druk 2011	DrukParijs 2011
LHM zonder zout
Modelschematisatie	Testen	Beschrijving test	Ref2017 1912	DrukParijs 1912
	ZW-LHM-T-01	Uitvoeren workflow	Image Added	Image Added	Image Added	Image Added	Image Modified	Image Modified
	ZW-LHM-T-02	Rekentijd				ZW-LHM-R-61					LSMLT (zowel zonder als met zout)	ZW-LSMLT-T-01 ZW-LSMLT-T-03 ZW-LSMLT-I-03	Uitvoeren workflow Doorlooptijd Debieten voor Monsin en Lobith
NDB	ZW-NDB-T-01	Uitvoeren workflow	niet uitgevoerd
LTMLT	ZW-LTMLT-T-01	Uitvoeren workflow	niet uitgevoerd

 Tabel TR.04: Testen voor het jaar 2003 voor Deltascenario's  Referentie2017 en "2050 DrukParijs2017"

Tabel TR.03: Testen voor het jaar 1912 voor Deltascenario Referentie2017 

Modelschematisatie	Testen	Beschrijving test	Ref2017 1912	DrukParijs 1912
LHM Z0	ZW-LHM-T-01	Uitvoeren workflow	Image Added	Image Added
	ZW-LHM-T-02	Rekentijd
	ZW-LHM-R-61	Takdebieten
LSMLT (zowel zonder als met zout)	ZW-LSMLT-T-01 ZW-LSMLT-T-03 ZW-LSMLT-I-03	Uitvoeren workflow Doorlooptijd Debieten voor Monsin en Lobith	niet uitgevoerd
NDB	ZW-NDB-T-01	Uitvoeren workflow	niet uitgevoerd
LTMLT	ZW-LTMLT-T-01	Uitvoeren workflow	niet uitgevoerd

 Tabel TR.04: Testen voor het jaar 2003 voor Deltascenario's  Referentie2017 en "2050 DrukParijs2017"

niet uitgevoerdImage Removedniet uitgevoerdniet uitgevoerd  niet uitgevoerd  niet uitgevoerd  niet uitgevoerd 

Modelschematisatie	Testen	Beschrijving test	Ref2017 2003	DrukParijs 2003
LHM-Z0	ZW-LHM-T-01	Uitvoeren Workflow	Image Added	Image Added
Modelschematisatie	Testen	Beschrijving test	Ref2017 2003	DrukParijs 2003
LHM-Z0	ZW-LHM-T-01	Uitvoeren Workflow	Image Removed	Image Removed
	ZW-LHM-T-02	Rekentijd	Image Removed	Image Removed
	ZW-LHM-R-41	HG3 resultaten	niet uitgevoerd
	ZW-LHM-R-45	cum. verdampingsreductie testdata	niet uitgevoerd
	ZW-LHM-R-46	DEM_WMTOTAL testdata	niet uitgevoerd
	ZW-LHM-R-47	Afboer	niet uitgevoerd
	ZW-LHM-R-44	Peilverloop IJsselmeer	Image Removed	Image Removed
	ZW-LHM-R-01	DM zomer en winterpeil
	ZW-LHM-RT-2202	Debiet WaalRekentijd	Image Added	Image Added
	ZW-LHM-R-2341	Peilverloop IJsselmeerHG3 resultaten	niet uitgevoerd
	ZW-LHM-R-24	WABES_capaciteit KWA-15	Image Removed	45	cum. verdampingsreductie testdata	niet uitgevoerd
	ZW-LHM-R-25	WABES-Roode Vaart		46	DEM_WMTOTAL testdata	niet uitgevoerd
	ZW-LHM-R-47	Afboer	niet uitgevoerd
	ZW-LHM-R-2644	Peilverloop IJsselmeerAggregatie 17 gebieden	Image Modified	Image Modified
	ZW-LHM-ER-01	Wegschrijven naar OpenDAPDM zomer en winterpeil	niet uitgevoerd
	ZW-LHM-E-02	Bestandsgrootte	R-22	Debiet Waal
	ZW-LHM-ER-0323	Aanwezigheid bestandenPeilverloop IJsselmeer	niet uitgevoerd
	ZW-LHM-ER-04	Controle log	niet uitgevoerd		24	WABES_capaciteit KWA-15	Image Added	Image Added
LSMLT-Z0	ZW-LSMLTLHM-TR-01	Uitvoeren workflow		25	WABES-Roode Vaart	Image Added	Image Added
	ZW-LSMLTLHM-T-03	Controle SOBEK versies	R-26	Aggregatie 17 gebieden	Image Added	Image Added
	ZW-LSMLTLHM-IE-01	SOBEK invoer 2003Wegschrijven naar OpenDAP	niet uitgevoerd
	ZW-LSMLTLHM-IE-02	Waterstanden en Afvoer 2003Bestandsgrootte	niet uitgevoerd
	ZW-LSMLTLHM-RE-0103	Waterstand VredesbrugAanwezigheid bestanden	niet uitgevoerd
	ZW-LHM-E-04	Controle log	niet uitgevoerd
LSMLT-Z0	ZW-LSMLT-RT-0201	Uitvoeren workflowAfvoeren grote rivieren
	ZW-LSMLT-ET-0103	Controle SOBEK versiesWegschrijven naar OpenDAP	niet uitgevoerd
	ZW-LSMLT-EI-0201	BestandsgrootteSOBEK invoer 2003	niet uitgevoerd
	ZW-LSMLT-EI-0302	Waterstanden en Afvoer 2003Export workflow	niet uitgevoerd
NDB	ZW-NDBLSMLT-TR-01	Uitvoeren workflow		Waterstand Vredesbrug	niet uitgevoerd
	ZW-NDBLSMLT-R-02	Chlorideconcentratie Krimpen aan den IJsselAfvoeren grote rivieren
	ZW-NDBLSMLT-RE-03	Chlorideconcentratie Bernisse		01	Wegschrijven naar OpenDAP	niet uitgevoerd
	ZW-NDBLSMLT-RE-0402	Chlorideconcentratie BergambachtBestandsgrootte	niet uitgevoerd
	LHM	ZW-LHMLSMLT-TE-0103	Uitvoeren Workflow	Export workflow	niet uitgevoerd
NDB	Image Removed	Image Removed		ZW-LHMNDB-T-0201	RekentijdUitvoeren workflow
	ZW-LHMNDB-R-41	HG3 resultaten	02	Chlorideconcentratie Krimpen aan den IJssel
	ZW-LHMNDB-R-45	cum. verdampingsreductie testdata	03	Chlorideconcentratie Bernisse
	ZW-LHMNDB-R-46	DEM_WMTOTAL testdata	niet uitgevoerd		04	Chlorideconcentratie Bergambacht
LHM	ZW-LHM-R-47	Afvoer	T-01	Uitvoeren Workflow	Image Added	Image Added
	ZW-LHM-RT-4402	Peilverloop IJsselmeerRekentijd
	ZW-LHM-R-0141	HG3 resultatenDM zomer en winterpeil	niet uitgevoerd
	ZW-LHM-R-22	Debiet Waal		45	cum. verdampingsreductie testdata	niet uitgevoerd
	ZW-LHM-R-2346	DEM_WMTOTAL testdata	niet uitgevoerd
	ZW-LHM-R-47	AfvoerPeilverloop IJsselmeer	niet uitgevoerd
	ZW-LHM-R-24	WABES_capaciteit KWA-15
	ZW-LHM-R-25	WABES-Roode Vaart
	ZW-LHM-R-26	Aggregatie 17 gebieden
	ZW-LHM-E-01	Wegschrijven naar OpenDAP
	ZW-LHM-E-02	Bestandsgrootte
	ZW-LHM-E-03	Aanwezigheid bestanden
	ZW-LHM-E-04	Controle log
LSMLT	ZW-LSMLT-T-01	Uitvoeren workflow
	ZW-LSMLT-T-03	Controle SOBEK versies	niet uitgevoerd
	ZW-LSMLT-I-01	SOBEK invoer 2003	niet uitgevoerd
	ZW-LSMLT-I-02	Waterstanden en Afvoer 2003	niet uitgevoerd
	ZW-LSMLT-R-01	Waterstand Vredesbrug	niet uitgevoerd
	ZW-LSMLT-R-02	Afvoeren grote rivieren
	ZW-LSMLT-E-01	Wegschrijven naar OpenDAP
	ZW-LSMLT-E-02	Bestandsgrootte
	ZW-LSMLT-E-03	Export workflow
LTMLT	ZW-LTMLT-T-01	Uitvoeren workflow
	ZW-LTMLT-T-02	Aanpassen T0	niet uitgevoerd
	ZW-LTMLT-R-01	Watertemperatuur Roosteren	Image Removed	Image Removed
	ZW-LTMLT-R-02	Watertemperatuur randen	Image Removed	Image Removed

Overzicht van de release-specifieke testen 

Naast de standaardtesten worden de volgende release-specifieke testen uitgevoerd.

Voor de rekenperformance:

• Modelresultaten van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie;  Er zijn per definitie verschillen tussen een sequentiële en een parallelle simulatie, omdat een andere (iteratieve) methode toegepast wordt. Bij parallelle simulaties wordt er geïtereerd over de deeldomeinen. De verschillen moeten zeer klein zijn. In een volgende versie van de conceptrapportage zal dit gekwantificeerd worden.
• Vergelijken van doorlooptijden van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie; De verhouding van deze doorlooptijden in relatie tot het aantal toegepaste cores geeft de parallelle efficiëntie aan. Voor de sequentiële simulatie staat de doorlooptijd vermeld in de Testwaarden Zoetwater.  

Voor de locatie datasets:  

• Test waarin een locatie wordt toegevoegd; Na toevoeging van een locatie aan het spreadsheet controleren of het aantal testlocaties met één is toegenomen. Check of de modelresultaten van de extra locatie zichtbaar zijn in de 'Interactive viewer' van NWM.  
• Test waarin een locatie wordt verwijderd; Na verwijdering van een locatie uit het spreadsheet controleren of het aantal testlocaties met één is afgenomen.

Voor referentie 2017: 

• Test van een van de maatregelen; Voor de maatregel Noordervaart is in het LSM Light gecontroleerd of de capaciteit is aangepast van 4.0 m3/s naar 5.4 m3/s..

Voor Deltascenario's: 

• Extra plausibiliteitstesten;  Hiervoor zijn zeven extra testprotocollen gedefinieerd; zie Release_specifieke_testen, maar omdat er momenteel onvoldoende gegevens beschikbaar zijn, wordt voorgesteld in release 2.1 geen extra testen uit te voeren voor de Deltascenario's.   

In de onderstaande tabel zijn de release-specifieke testen opgesomd.

Tabel TR.05: Overzicht van release-specifieke testen 

Modelschematisatie	Testen	Doel van test	Ref2017 2003	DrukParijs 2003
LHM	ZW-LHM-r2.1-1	Check rekentijd parallel rekenen
	ZW-LHM-r2.1-2	Modelresultaten onderling vergelijken
LHM	ZW-LHM-r2.1-3	Toevoegen van een locatie
	ZW-LHM-r2.1-4	Verwijderen van een locatie
LSM Light	ZW-LSMLT-r2.1-5	Check maartregel Noordervaart

Overzicht van opgeleverde data

In release 2.1 worden de volgende producten opgeleverd; zie ook de release notes:

• software installatie voor NWM release 2.1
• Testrapportage inclusief testprotocollen 

Conclusie

-44	Peilverloop IJsselmeer
	ZW-LHM-R-01	DM zomer en winterpeil	niet uitgevoerd
	ZW-LHM-R-22	Debiet Waal
	ZW-LHM-R-23	Peilverloop IJsselmeer	niet uitgevoerd
	ZW-LHM-R-24	WABES_capaciteit KWA-15
	ZW-LHM-R-25	WABES-Roode Vaart	Image Added	Image Added
	ZW-LHM-R-26	Aggregatie 17 gebieden
	ZW-LHM-E-01	Wegschrijven naar OpenDAP	Image Added	Image Added
	ZW-LHM-E-02	Bestandsgrootte	Image Added
	ZW-LHM-E-03	Aanwezigheid bestanden	Image Added	Image Added
	ZW-LHM-E-04	Controle log	Image Added	Image Added
LSMLT	ZW-LSMLT-T-01	Uitvoeren workflow
	ZW-LSMLT-T-03	Controle SOBEK versies	niet uitgevoerd
	ZW-LSMLT-I-01	SOBEK invoer 2003	niet uitgevoerd
	ZW-LSMLT-I-02	Waterstanden en Afvoer 2003	niet uitgevoerd
	ZW-LSMLT-R-01	Waterstand Vredesbrug	niet uitgevoerd
	ZW-LSMLT-R-02	Afvoeren grote rivieren
	ZW-LSMLT-E-02	Wegschrijven naar OpenDAP	Image Added	Image Added
	ZW-LSMLT-E-03	Bestandsgrootte	Image Added	Image Added
	ZW-LSMLT-E-01	Export workflow	Image Added	Image Added
LTMLT	ZW-LTMLT-T-01	Uitvoeren workflow
	ZW-LTMLT-T-02	Aanpassen T0	niet uitgevoerd
	ZW-LTMLT-R-01	Watertemperatuur Roosteren	Image Added	Image Added
	ZW-LTMLT-R-02	Watertemperatuur randen	Image Added	Image Added

Samenstelling van het pakket aan release-specifieke testen 

Naast de standaardtesten worden de volgende release-specifieke testen uitgevoerd. Deze testen worden in het "standaard"  format uitgewerkt. Indien in de toekomst wijzigingen doorgevoerd worden die op de betreffende functionaliteit impact heeft kan deze test eenvoudig worden hergebruikt.

Voor de rekenperformance:

• Modelresultaten van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie; Er zijn per definitie verschillen tussen een sequentiële en een parallelle simulatie, omdat een andere (iteratieve) methode toegepast wordt. Bij parallelle simulaties wordt er geïtereerd over de deeldomeinen. De verschillen in uitkomsten moeten zeer klein zijn (zie ook http://nhi.nu/nl/files/2615/1975/2224/11200573-000-BGS-0001-r-Veranderingsrapportage_LHM_3.3.0-nov_2017_-_aangepast_feb_2018_-_def.pdf).
• Vergelijken van doorlooptijden van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie; De verhouding van deze doorlooptijden in relatie tot het aantal toegepaste cores geeft de parallelle efficiëntie aan. Voor de sequentiële simulatie staat de doorlooptijd vermeld in de Testwaarden Zoetwater.  

Voor de locatie datasets:  

• Test waarin een locatie wordt toegevoegd; Na toevoeging van een locatie aan het spreadsheet controleren of het aantal testlocaties met één is toegenomen. Check of de modelresultaten van de extra locatie zichtbaar zijn in de 'Interactive viewer' van NWM.  
• Test waarin een locatie wordt verwijderd; Na verwijdering van een locatie uit het spreadsheet controleren of het aantal testlocaties met één is afgenomen.

Voor referentie 2017: 

• Test van een van de maatregelen; Voor de maatregel Noordervaart is in het LSM Light gecontroleerd of de capaciteit is aangepast van 4.0 m3/s naar 5.4 m3/s..

Voor Deltascenario's: 

• Resultaattesten; Over de deltascenario's is tijdens de sprint nog te weinig informatie. Tijdens het testen van de resultaten wordt extra overlegd met de experst om te zien of het beeld is zoals verwacht. Er zijn geen extra testen voor de deltascenario's gedefinieerd.
  

Overzicht van de resultaten van de release-specifieke testen 

Tabel TR.05: Overzicht van release-specifieke testen 

Modelschematisatie	Testen	Doel van test	Ref2017 2003	DrukParijs 2003
LHM	ZW-LHM-r2.1-1	Check rekentijd parallel rekenen
	ZW-LHM-r2.1-2	Modelresultaten onderling vergelijken
LHM	ZW-LHM-r2.1-3	Toevoegen van een locatie	Image Added	Image Added
	ZW-LHM-r2.1-4	Verwijderen van een locatie	Image Added	Image Added
LSM Light	ZW-LSMLT-r2.1-5	Check maartregel Noordervaart

Overzicht van opgeleverde data

Op de WIKI zijn de resultaten van testberekeningen voor de FAT release 2.1 op een geselecteerd aantal locaties meegeleverd op verzoek van WVL. Deze zijn te downloaden vanaf deze link: 

 resultaten release 2.1.zip

Conclusie

De testen zijn allemaal succesvol afgerond. Alleen de test over de bestandsgrootte van de export van het LSMLT model is gefaald. hiervoor staat nog een JIRA-Issue open (

Omdat er nieuwe (Referentie 2017) schematisaties zijn, nieuwe datasets en ook de software gedeeltelijk vernieuwd (parallel rekenen voor LHM). Door het ontbreken van een eenduidige resultaat en documentatie waarmee de aanpassingen voor de Deltascenario's konden worden vergeleken was bij uitvoering van de testen uiteindelijk vaak de inzet van een expert nodig om de resultaten te verifieren. Veel testen hebben daarmee het testoordeel "succesvol na overleg met een inhoudelijk expert".

Momenteel staat er -naast het bovengenoemde issue- nog 1 issue open, welke betrekking heeft op de database viewer (

Op basis van de uitgevoerde tests concluderen we dat de FAT succesvol is doorlopen op de T-omgeving bij Deltares. De bekende issues hebben geen impact op het doorrekenen van de basisprognoses en de eindresultaten die berekend worden. 

Op verzoek van WVL zullen na de FAT nog een paar last-minute wijzigingen worden doorgevoerd. Dit betreft:

• het mogelijk maken van het genereren van extra uitvoer tbv Agricom berekeningen (buiten NWM applicatie om) en 
• vervanging van onderdelen in het onderdeel MetaSWAP (LHM), ivm nieuwe inzichten ten aanzien van gewasgroei.  

Het doorvoeren van bovengenoemde wijzigingen heeft alleen betrekking op het onderdeel LHM. Gezien het tijdpad en het late moment van verzoek tot wijziging is in overleg met de opdrachtgever besloten om deze wijzigingen apart te controleren of de wijzigingen correct zijn doorgevoerd. Deze zijn beschreven in bijlage 7. 

Laatstgenoemde wijziging vraagt ook een update van Agricom. Een geactualiseerde versie van AGRICOM is nog niet beschikbaar, daarom is Agricom vanaf release 2.0 vooralsnog geen onderdeel meer van de NWM-Zoetwater applicatie. nog openstaande issues (in dit geval LHMR-R-24 en 25)