Testbevindingen release 1.3

In deze sectie staan de testresultaten van de werkzaamheden voor release 1.3 OP 29 JUNI 2016:

Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows (als onderdeel van een serie workflows met afhankelijkheid van invoerdata) succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows zijn ook deze workflows opnieuw getest.

Aanleiding voor deze release is het doorvoeren van een correctie op de afvoerreeksen Monsin en Lobith. Dit heeft impact op de randvoorwaarden voor LHM, LSM en LTM ,de afvoer van zijrivieren en buiten het NWM om voor de berekende chloride-concentratie die als input dient voor LHM.

In release 1.3 zijn de volgende wijzigingen doorgevoerd:

• Toevoegen Noordelijk DeltaBekken model inclusief zoutmodule;
  
• Vervanging van afvoerreeksen Rijn, Maas en zijrivieren; en
• Verbeteren van de performance van het NWM

Toelichting voor het 'Noordelijk Deltabekken model':

Aan het NWM is een testprotocol voor het NDB-model toegevoegd. In eerste instantie is een bestaand NDB-scenario ingebouwd in NWM. Dit betreft het "LSM-light 2014" scenario, waarvoor de modelresultaten beschreven zijn in memo 1230058-001-ZWS00004 (van Frans Buschman en Edwin Snippen d.d. 31 mei 2016). Dit model heeft ongecorrigeerde afvoerreeksen. De simulatieperiode is 1-1-2001 t/m 1-1-2007. In het testprotocol wordt alleen het jaar 2003 beschouwd, omdat in september/oktober van 2003 een extreme situatie optrad met een enorme zoutindringing in het Noordelijk Deltabekkengebied.. Op een drietal plaatsen (Krimpen aan den IJssel, Bernisse en Bergambacht) zijn de waterstanden en zoutconcentraties vergeleken. Tevens wordt de modelresultaten gecontroleerd voor het Volkerak-Zoommeer. De resultaten moeten identiek zijn aan het bestaande NDB-scenario dat buiten NWM (stand-alone) heeft gedraaid.

Zodra dit scenario succesvol is uitgevoerd, zullen de gecorrigeerde afvoerreeksen in het model gezet. Dan zullen de modelresultaten global beoordeeld worden op plausibiliteit, omdat er geen directe vergelijing meer mogelijk is met een bestaand scenario buiten het NWM. Met andere woorden, zijn de veranderingen in modelresultaten plausibel ten gevolge van de gewijzigde afvoeren? Is de zoutindringing vanuit zee hoger/lager, omdat de riviereafvoeren lager/hoger zijn? Etc.

Toelichting voor de 'Vervanging van afvoerreeksen':

De afvoerreeks voor Lobith, Monsin en van zijrivieren zijn gecorrigeerd. Deze met GRADE berekende afvoeren zijn aangepast om voor de referentiesituatie een betere overeenkomst met metingen te hebben.

Testprocedure: de nieuwe afvoerreeksen worden eerst buiten NWM (lees FEWS) vergeleken met de oorspronkelijke afvoerreeksen. Als dit akkoord wordt bevonden, dan kunnen vervolgens de nieuwe afvoerreeksen in het NWM gezet worden. Dit betekent dat de modelresultaten voor LHM, LSM, LSM Light en LTM Light zullen veranderen. Met het LSM model zijn geen testen uitgevoerd.  Voor LSM Light en LTM Light zijn alleen de scenarios REF2015S0 en W2085S0 getest.

Toelichting op 'Verbetering van de NWM-performance':

De volgende twee opschoonacties zijn uitgevoerd om de performance van het NWM te verbeteren:

• de Mozart LSW locaties zijn op de T-omgeving uit de database gehaald; en
• de filters voor de LSW's zijn uit de database verwijderd.

Voorafgaande aan deze twee opschoonacties was het geheugengebruik voor de tijdreeksen ongeveer 620 MB. Na de twee opschoonacties is dit gereduceerd tot 335 MB. Dit blijkt uit de onderstaande twee figuren, waarbij het geheugengebruik voor de tijdreeksen ongeveer in het midden van het scherm vermeld staat. Hierdoor is de NWM-performance verbeterd.

 Figuur met geheugengebruik VOOR de opschoonacties

 Figuur met geheugengebruik NA de opschoonacties

Stand van zaken van de testen:

Onderstaande tabellen bevatten de resultaten van de technische- en plausibiliteitstesten voor Zoetwater.

De kolommen hebben de volgende betekenis:

• REF: referentie
• R: Rust
• D: Druk
• W: Warm
• S: Stoom
• T: technische testen
• P: plausibiliteit testen
• uitvoering: datum/tijdstip van uitvoering workflow op T-omgeving

De resultaten van de testen hebben de volgende betekenis:

• : succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues.
• : niet succesvol
• n.v.t.: niet gedefinieerd/niet voorzien
• —: nog niet uitgevoerd

 Voor 'Vervanging van afvoerreeksen van Rijn en Maas':

Regio	Workflow	Test nr	REF 2015			W 2085
			Uitvoering	T	P	Uitvoering	T	P
Landelijk	LSM Light	ZW-LSMLT-T-11	25-06-2016 16:16:45 (T0: 2003)		n.v.t.	27-06-2016 07:04:05 (T0: 2003)	2)	n.v.t.
	LSM Light	ZW-LSMLT-P-11	25-06-2016 16:16:45 (T0: 2003)	n.v.t.		27-06-2016 07:04:05 (T0: 2003)	n.v.t.	— 1)
	LSM Light	ZW-LSMLT-P-12	25-06-2016 16:16:45 (T0: 2003)	n.v.t.		27-06-2016 07:04:05 (T0: 2003)	n.v.t.	— 1)
	LHM	ZW-LHM-T-11	24-06-2016 16:17:17 (T0: 2003)	3)	n.v.t.	26-06-2016 17:23:26 (T0: 2003)	3)	n.v.t.
	LHM	ZW-LHM-P-11	24-06-2016 16:17:17 (T0: 2003)	n.v.t.		26-06-2016 17:23:26 (T0: 2003)	n.v.t.
	LHM	ZW-LHM-P-12	24-06-2016 16:17:17 (T0: 2003)	n.v.t.		26-06-2016 17:23:26 (T0: 2003)	n.v.t.
	LHM	ZW-LHM-P-13	24-06-2016 16:17:17 (T0: 2003)	n.v.t.		26-06-2016 17:23:26 (T0: 2003)	n.v.t.
	LTM Light	ZW-LTMLT-T-11	28-06-2016 13:04:28 (T0: 2003)	4)	n.v.t.	28-06-2016 13:05:00 (T0: 2003)	5)	n.v.t.
	LTM Light	ZW-LTMLT-P-11	28-06-2016 13:04:28 (T0: 2003)	n.v.t.		28-06-2016 13:05:00 (T0: 2003)	n.v.t.	— 1)

1) Bij W2085 scenario's is geconstateerd dat WH scenario gebruikt is i.p.v. WHDRY scenario. Gecorrigeerde simulaties ( op basis van WHDRY) zijn inmiddels opgestart, maar die zijn nog niet voltooid. Daarom zijn tot nu toe alleen de T-testen uitgevoerd.

2) bij LSM Light W2085 8 extra Locatie id's (nu 1731) en twee extra parameters id's (nu 21) en twee extra module instanties (nu 5).
De twee extra module instanties zijn: ZW_LSMBoundariesImport_W2085S0 en ZW_ImportMeteo_W2085S0. Dit is conform het protocol en dus akkoord.
De twee extra parameters id's zijn: P.m (neerslag) en Q.uh.  Dit is conform het protocol en dus akkoord.
De acht extra locaties id's zijn: KNMI en zeven LSM_RND_XXX locaties, omdat de LSM_boundaries zijn aangepast. Dit is ook conform het protocol en dus akkoord.

3) bij ZW_LHM_REF2015 is het aantal locaties id's (4872) fors verschillend van de waarde in de tabel Testwaarden Zoetwater (13472), omdat de database opgeschoond is (zie 'Verbetering van de NWM-performance'). Omdat alle andere parametes wel kloppen, is deze test 'onder voorbehoud' goedgekeurd. Het voorstel is om het protocol aan te passen.

4) Bij ZW_LTMLT REF2015 zijn er meer locatie id's (277 om 262) en meer module instanties (7 om 4).

5) Bij ZW_LTMLT W2085 zijn er meer locatie id's (277 om 262) en meer module instanties (9 om 4).

NB. ZW-LSMLT-P13 en ZW-LSMLT-P14 zijn niet uitgevoerd, omdat dit een vergelijking is tussen LSM en LSM Light. Omdat de LSM scenario's niet gedraaid zijn met de gecorrigeerde afvoerreeksen, kunnen deze vergelijkingen nog niet uitgevoerd worden. 

 Voor 'Noordelijk Deltabekken model':

De NDB-scenario's draaien nog niet per 29 juni 2016. Daarom zijn deze testen nog niet uitgevoerd.