Testrapportage release 2.1

Inleiding

In deze sectie staan de testbevindingen voor release 2.1 (CONCEPTVERSIE 30 MAART 2018). In de sprint van 26 maart t/m 9 april 2018 zijn hiervoor testen uitgevoerd. Hierbij zijn de wijzigingen getest die sinds release 2.0 (van eind november 2017) gerealiseerd zijn. De wijzigingen staan beschreven bij de 'doel en impact van release 2.1'. Op 9 april is release 2.1 opgeleverd worden inclusief deze testrapportage.

Deze testrapportage heeft een andere indeling dan eerdere testrapportages. Deze testrapportage is gebaseerd op de indeling die in memo "Voorstel verbetering testprocedures NWM-zoetwater" (met kenmerk 11202205-004-ZWS-0001 d.d. 5 maart 2018) is beschreven.

Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op daaropvolgende workflows, dan zijn deze workflows ook opnieuw getest.

Doel en impact van release 2.1

In release 2.1 zijnde volgende requirements gerealiseerd:

• Parallel rekenen met LHM;  Om de doorlooptijd van een workflow te versnellen, is het mogelijk gemaakt om deze parallel door te rekenen. Hierbij is de desbetreffende workflow verdeeld over het aantal rekenservers (FSS-en) dat de gebruiker opgeeft. De modules ModFlow en Metaswap zijnparallel, d.w.z. over meerdere cores, doorgerekend.
• Herstructurering van 'locatie datasets'; De locaties van LSM zijn ‘achter de schermen’ op een andere manier geordend, zodat het gemakkelijker is geworden om een dataset (uitvoerlocatie) voor een project toe te voegen. Hiermee is in november 2017 (release 2.0) al een begin gemaakt. In release 2.1 zijn deze werkzaamheden afgerond en geïntegreerd in NWM-Zoetwater.
• Referentie2017; Als voorbereiding voor de nieuwe basisprognoses isvoor LHM en LSMLT een nieuwe referentieschematisatie (situatie 2017) gemaakt, waardoor ook het LTM model is aangepast. Het NDB model is niet aangepast. In deze nieuwe schematisaties zijn enkele maatregelen geimplementeerd; zie rapport (Hunink, 2018), dat momenteel de conceptstatus heeft. Hierdoor zijn de modelresultaten veranderd ten opzichte van de vorige situatie (Referentie 2015). 
• Nieuwe deltascenario’s; Er zijn nieuwe deltascenario’s opgeleverd. Dit houdt in dat de invoer voor alle modellen en daardoor ook de modelresultaten is veranderd.

Beschrijving van het type van verandering

Bij de vier hierboven genoemde requirements hoort een bepaald 'type van verandering' dat vervolgens tot 'bepaalde 'gevolgen' leidt. In de onderstaande tabel wordt dit per requirement uitgewerkt:

Tabel TR.01: Relatie van requirements tot type van verandering en de impact 

 Overzicht van uit te voeren standaardtesten

Op basis van het memo "Voorstel verbetering testprocedures NWM-zoetwater" is er een directe link gelegd tussen het 'type van verandering' in een release en de 'type testen' die uitgevoerd worden. Er zijn vijf 'typen van testen' gedefinieerd, te weten 'technische testen die controleren of een modelschematisatie draait en binnen de gestelde rekentijd (T)'', 'testen op de correctheid van invoer (I)', testen voor koppelingen (K)', 'testen van de resultaten (R)' en 'testen voor Export (E)'. De letter tussen haakjes is onderdeel van het testnummer van de testprotocollen, waardoor het type van test voortaan eenvoudig te herkennen is. Op basis van de requirements en de daarbij horende 'type van wijziging' is aan de hand van de tabel in paragraaf 4.1 van memo "Voorstel verbetering testprocedures NWM-zoetwater" een lijst van standaardtesten te genereren. In de onderstaande tabel zijn deze (standaard)testen opgenomen, waarbij voorgesteld wordt in de release 2.1 een aantal testen niet uit te voeren. Dit betreft alle de testen die niet uitgevoerd kunnen worden. Zo zijn er testen die LSM Light en LSM modelresultaten vergelijken. Omdat er geen LSM simulaties uitgevoerd zijn voor de basisprognoses, kunnen deze testen niet uitgevoerd worden. Ook zijn er testprotocollen die specifiek zijn voor het WARM2017 scenario. Er wordt echter voorgesteld in deze sprint andere scenario's te testen; zie hieronder.  In de onderstaande tabel zijn de testen in rood aangegeven waarvan voorgesteld wordt ze niet uit te voeren.

De zes Deltascenario's zijn "Referentie2017", "2050 Rust2017","2050 WARM2017", "2050 Druk2017","2050 Stoom2017" en "2050 DrukParijs2017". Omdat er nieuwe (Referentie 2017) schematisaties zijn en ook de software gedeeltelijk vernieuwd is (parallel rekenen voor LHM), kan gesteld worden dat NWM-Zoetwater volledig vernieuwd is. Dit betekent, in principe, dat alle testen opnieuw uitgevoerd zouden moeten worden. Voor release 2.1 is uitgegaan dat de testen binnen een tijdspanne van twee weken uitgevoerd moeten worden. Binnen het beschikbare tijdpad en budget is het niet haalbaar om alle testen te doen. Op basis van de veranderingen is in overleg met de experts het voorstel om de volgende testen uit te voeren. Met dit pakket aan testen zijn de belangrijkste risico’s afgedekt door alle scenario’s te testen voor de eerste stap in de modellentrein (namelijk LHM zonder zout) en is de gehele modellentrein doorlopen voor de Referentie 2017, die vernieuwd is. Ook is een scenario getest waarvoor de 100 jarige meteo invoer nog niet eerder is doorgerekend, namelijk het Gl-scenario dat in Rust of Druk zit.

Het voorgaande leidt tot het volgende voorstel voor de volgende testen in release 2.1:

• Voor alle zes Deltascenario's worden de jaren 1911 en 2011 doorgerekend voor het 'LHM zonder zout' model, om globaal te testen of alle Deltascenario's doorgerekend kunnen worden;
• Een doorstart voor het schrikkeljaar 1912 wordt voor een (willekeurig) scenario getest en hiervoor wordt "Referentie2017" en "2050 DrukParijs2017" genomen.
• De gehele modellentrein wordt getest voor het jaar 2003 voor de scenario's  "Referentie2017" en "2050 DrukParijs2017".

In release 2.1 zijn de inhoudelijke controles uitgevoerd voor het jaar 2003, omdat hiervoor de meeste kennis en metingen beschikbaar zijn. Voor het scenario 'Referentie 2017' is de gehele modellentrein doorlopen. Dit betekent dat testen zijn uitgevoerd voor 'LHM zonder zout', 'LSM Light zonder zout', het NDM model', 'LHM met zout' , 'LSM Light met zout' en 'LTL Light'. Samengevat, voor een tweetal scenario's (Referentie 2017 en Warm2017) en voor een bepaald jaar (2003) zijn alle modelschematisaties van de workflow getest.

Een ander nieuw aspect is dat bij de testprotocollen een figuur met de modelresultaten is opgenomen. Hierdoor kan de lezer verifiëren waarom een test al dan niet geslaagd is. Hierbij dient dit toegevoegde figuur vergeleken te worden met het figuur in het testprotocol. Tesamen met de beschrijving van het criterium van de test kan geverifieerd worden of een test op de juiste manier beoordeeld is. In de toekomst zullen deze figuren als nieuwe referentie gebruikt worden, omdat de modelschematisatie gewijzigd is (i.e. Referentie 2017). Bij de volgende release zullen deze figuren in de testprotocollen opgenomen zijn als nieuwe referentieoplossing.

Het voorgaande resulteert in de volgende standaardtesten:

Tabel TR.02: Testen voor de jaren 1911 en 2011 voor alle zes Deltascenario's 

Tabel TR.03: Testen voor het jaar 1912 voor Deltascenario Referentie2017 

 Tabel TR.04: Testen voor het jaar 2003 voor Deltascenario's  Referentie2017 en "2050 DrukParijs2017"

 NB. Voor het NDB model zijn er geen testprotocollen voor exports.

 Overzicht van uit te voeren release-specifieke testen 

Naast de standaardtesten worden de volgende release-specifieke testen uitgevoerd.

Voor de rekenperformance:

• Modelresultaten van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie;  Er zijn per definitie verschillen tussen een sequentiële en een parallelle simulatie, omdat een andere (iteratieve) methode toegepast wordt. Bij parallelle simulaties wordt er geïtereerd over de deeldomeinen. De verschillen moeten zeer klein zijn. In een volgende versie van de conceptrapportage zal dit gekwantificeerd worden.
• Vergelijken van doorlooptijden van een parallelle LHM-simulatie vergelijken met een sequentiële simulatie; De verhouding van deze doorlooptijden in relatie tot het aantal toegepaste cores geeft de parallelle efficiëntie aan. Voor de sequentiële simulatie staat de doorlooptijd vermeld in de Testwaarden Zoetwater.  

Voor de locatie datasets:  

• Test waarin een locatie wordt toegevoegd; Na toevoeging van een locatie aan het spreadsheet controleren of het aantal testlocaties met één is toegenomen. Check of de modelresultaten van de extra locatie zichtbaar zijn in de 'Interactive viewer' van NWM.  
• Test waarin een locatie wordt verwijderd; Na verwijdering van een locatie uit het spreadsheet controleren of het aantal testlocaties met één is afgenomen.

Voor referentie 2017: 

• Test van een van de maatregelen; Voor de maatregel Noordervaart is in het LSM Light gecontroleerd of de capaciteit is aangepast van 4.0 m3/s naar 5.4 m3/s..

Voor Deltascenario's: 

• Extra plausibiliteitstesten;  Hiervoor zijn zeven extra testprotocollen gedefinieerd; zie Release_specifieke_testen, maar omdat er momenteel onvoldoende gegevens beschikbaar zijn, wordt voorgesteld in release 2.1 geen extra testen uit te voeren voor de Deltascenario's.   

In de onderstaande tabel zijn de release-specifieke testen opgesomd.

Tabel TR.05: Overzicht van release-specifieke testen 

Overzicht van uitgevoerde standaardtesten 

Onderstaande tabellen bevatten de resultaten van de technische- en plausibiliteitstesten. In deze versie van de conceptrapportage is alleen een tabel voor 'LHM zonder zout' opgenomen. Bij het onderdeel "Overzicht van uit te voeren standaardtesten" staat opgesomd welke testprotocollen getest zullen worden. 

Bij de beschrijving van een testprotocol staat onderaan een figuur die gebruikt is om dit testprotocol al dan niet goed te keuren. Door dit figuur te combineren met het testcriterium van een testprotocol, kan door de lezer geverifieerd worden of dit testprotocol op de juiste wijze getest is (d.w.z. 'succesvol', '[succesvol na overleg met een inhoudelijk expert' of 'niet succesvol').

 De kolommen hebben de volgende betekenis: 

• REF: referentie
• R: Rust
• D: Druk
• W: Warm
• S: Stoom
• T: technische testen
• P: plausibiliteit testen
• uitvoering: datum/tijdstip van uitvoering workflow op T-omgeving

De resultaten van de testen hebben de volgende betekenis: 

• : succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues
• : succesvol na overleg met een inhoudelijk expert
• : niet succesvol
• n.v.t.: niet gedefinieerd/niet voorzien
• —: nog niet uitgevoerd

1. Voor de jaren 1911 en 2011 voor alle zes Deltascenario's:  Tabel TR.06a: Overzicht van testen met LHM voor 1911 en 2011 voor Referentie- en Rust-scenario's

Tabel TR.06b: Overzicht van testen met LHM voor 1911 en 2011 voor Warm- en Druk-scenario's

 Tabel TR.06c: Overzicht van testen met LHM voor 1911 en 2011 voor Stoom- en DrukParijs-scenario's

 2. Voor het jaar 1912 voor Deltascenario Referentie2017: Tabel TR.07: Overzicht van testen voor schrikkeljaar 1912  voor Referentie2017 en DrukParijs-scenario's

3. Voor het jaar 2003 voor Deltascenario's  Referentie2017 en "2050 DrukParijs2017":

    3a. Test voor LHM zonder zout:   Tabel TR.08a: Overzicht van testen met LHM zonder zout voor 2003 voor Referentie2017- en DrukParijs-scenario's

Regio	Workflow	Testnummer	Referentie2017	2050 DrukParijs2017
			Uitvoering	Uitvoering
			24-03-2018 03:41:49 (2003)	24-03-2018 00:56:07 (2003)
Landelijk	LHM	ZW-LHM-T-01
	LHM	ZW-LHM-T-02
	LHM	ZW-LHM-R-41
	LHM	ZW-LHM-R-45
	LHM	ZW-LHM-R-46
	LHM	ZW-LHM-R-47
	LHM	ZW-LHM-R-44
	LHM	ZW-LHM-R-01
	LHM	ZW-LHM-R-22
	LHM	ZW-LHM-R-23
	LHM	ZW-LHM-R-24
	LHM	ZW-LHM-R-25
	LHM	ZW-LHM-R-26
	LHM	ZW-LHM-E-01
	LHM	ZW-LHM-E-02
	LHM	ZW-LHM-E-03
	LHM	ZW-LHM-E-04

    3b. Test voor LSM Light zonder zout:   Tabel TR.08b: Overzicht van testen met LSM Light zonder zout voor 2003 voor Referentie2017- en DrukParijs-scenario's

   3c. Test voor NDB:   Tabel TR.08c: Overzicht van testen met NDB voor 2003 voor Referentie2017- en DrukParijs-scenario's

   3d. Test voor LHM met zout:   Tabel TR.08d: Overzicht van testen met LHM met zout voor 2003 voor Referentie2017- en DrukParijs-scenario's

    3e. Test voor LSM Light met zout:   Tabel TR.08e: Overzicht van testen met LSM Light met zout voor 2003 voor Referentie2017- en DrukParijs-scenario's

    3f. Test voor LTM Light:   Tabel TR.08f: Overzicht van testen met LTM Light met zout voor 2003 voor Referentie2017- en DrukParijs-scenario's

Overzicht van uitgevoerde release-specifieke testen  

In deze paragraaf zullen de resultaten van de release-specifieke testen beschreven worden. 

Test voor LHM rekenperformance:  Tabel TR.09a: Overzicht van release-specifieke testen voor de rekenperformance

Test voor herstructurering van de locatie datasets:   Tabel TR.09b: Overzicht van release-specifieke testen voor de locatie datasets

Test voor Referentie2017:   Tabel TR.09c: Overzicht van release-specifieke testen voor Referentie2017

Test voor Deltascenario's:  Geen 

Overzicht van opgeleverde data

In release 2.1 worden de volgende producten opgeleverd; zie ook de release notes:

• software installatie voor NWM release 2.1
• Testrapportage inclusief testprotocollen