In deze sectie staan de testbevindingen voor release 1.4.1.0 (VERSIE 8 DECEMBER 2016). In de sprint van 14 november t/m 8 december is hieraan gewerkt. Deze release kan als een update van release 1.4.0.0 beschouwd worden, die 28 oktober 2016 is opgeleverd. De testen uit release 1.4.0.0 (voor 'LHM zonder zout' en NDB) zijn opnieuw uitgevoerd, omdat met name de WABES-locaties en de 17 regio's zijn toegevoegd aan de workflows. Het aantal testen is ten opzichte van de vorige release aanzienlijk uitgebreid, omdat ook de koppelingen in de modellentreinen zijn gecontroleerd. Tevens zijn testen uitgevoerd voor 'LSMLT zonder zout', 'LHM met zout' en 'LSMLT met zout'. De koppeling en uitvoer vanuit het NDB-model is hierdoor getest. We merken op dat de bevindingen n.a.v. de GAT zijn nog niet meegenomen in deze release. 

Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows, dan zijn ook deze workflows opnieuw getest.

 

Samenvatting en conclusies

In deze release zijn de volgende workflows getest:
Vier workflows voor 'LHM zonder zout':

  • 100-jaar WABES-reeks voor REF2015S1Z0 voor 1911, 1912, 2003 en 2011
  • 100-jaar WABES-reeks voor WARM2050S1Z0 voor 1911, 1912, 2003 en 2011
  • 100-jaar WABES-reeks voor REF2015S2Z0 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S2Z0 voor 2003 

Vier workflows voor 'LSMLT zonder zout':

  • 100-jaar WABES-reeks voor REF2015S1Z0 voor 1911, 1912, 2003 en 2011
  • 100-jaar WABES-reeks voor WARM2050S1Z0 voor 1911, 1912, 2003 en 2011
  • 100-jaar WABES-reeks voor REF2015S2Z0 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S2Z0 voor 2003

Vier workflows voor NDB: 

  • 100-jaar WABES-reeks voor REF2015S1 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S1 voor 2003 
  • 100-jaar WABES-reeks voor REF2015S2 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S2 voor 2003 

Vier workflows voor 'LHM met zout': 

  • 100-jaar WABES-reeks voor REF2015S1 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S1 voor 2003
  • 100-jaar WABES-reeks voor REF2015S2 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S2 voor 2003 

Vier workflows voor het 'LSMLT met zout': 

  • 100-jaar WABES-reeks voor REF2015S1 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S1 voor 2003 
  • 100-jaar WABES-reeks voor REF2015S2 voor 2003
  • 100-jaar WABES-reeks voor WARM2050S2 voor 2003 

NB. Als in een workflow zonder zout is gerekend, dan is "Z0" toegevoegd aan de workflownaam.

Er worden drie sporen onderscheiden:

  • "S0" correspondeert met de 26-jarige basisprognose
  • "S1" correspondeert met de "V0 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd.
  • "S2" correspondeert met de "V1 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd.  In de "V1 WABES schematisatie" zijn de volgende drie maatregelen toegevoegd: "uitbreiding van model met de Rode Vaart uitbreiding", een "Flexibel Peil IJsselmeer-Markermeer" en een "aanpassing van capaciteit KWA-15 (stap 1)".

De 100-jaar simulaties zijn van 1911 t/m 2011. De S0-basisprognoses zijn van 1986 t/m 2011. In deze 1.4.1.0 release zijn LHM, NDB en LSMLT uitgebreid met workflows op basis van de 100-jaar WABES-reeks. NB. In release 1.4.0.0 was dit alleen voor LHM uitgevoerd. Voor andere schematisaties in NWM (LTM, LTMLT) dient dit in de verdere toekomst gerealiseerd te worden. In de testen zijn de WABES-locaties steekproefsgewijs gecontroleerd. De uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'. Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'. 

ConclusieIn release 1.4.1.0 zijn alle technische en plausibiliteitstesten voor de geteste workflows met success uitgevoerd. Dit betreft de workflows 'LHM zonder zout', 'LSMLT zonder zout', 'NDB', 'LHM met zout' en 'LSMLT met zout'. Wel verdient het de aanbeveling om uit te zoeken waarom er in de WARM2050S2 workflow van LSMLT oscillaties in de debieten optreden bij het leggemaal Koekoek.

 

 

Aanpassingen van het testprotocol:

De testprotocollen zijn uitgebreid, zodat er naast 2003 ook testen voor de jaren 1911, 1912 en 2011 worden uitgevoerd.Het testprotocol voor LHM en LSMLT is op de volgende onderdelen uitgebreid:

  • Check of de debieten in rekenpunten zo dicht mogelijk bij de open randen overeenkomen met de debieten die aangeleverd zijn voor Monsin en Lobith.
  • Check of de debieten bij Hagestein in een bepaald jaar tussen 1981-2006 - namelijk voor 2003 - overeenkomen met de waarden uit de basisprognose. Check dit voor LHM en LSMLT voor het jaar 2003. Door de verandering in o.a. de regenval en de verdamping mogen en kleine verschillen optreden. Op basis van expert judgement bepalen of de resultaten acceptabel zijn.
  • Check of de maatregelen correct geimplementeerd zijn.

Dit heeft geleid tot de volgende extra testen:

  • (ZW-LHM-P-41 t/m 44 / ZW-LSMLT-P-41 t/m 44) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 1911, 1912, 2003 en 2011
  • (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003, om de randvoorwaarden te controleren 
  • (ZW-LHM-P-45 / ZW-LSMLT-P-45) Plausibiliteitstest voor het debiet op de Waal, om de debietverdeling over de rivieren te controleren
  • (ZW-LHM-P-46 / ZW-LSMLT-P-46) Plausibiliteitstest voor maatregel 'flexibel peilbeheer IJsselmeer-Markermeer'
  • (ZW-LHM-P-47 / ZW-LSMLT-P-47) Plausibiliteitstest voor maatregel 'KWA-15'
  • (ZW-LHM-P-48 / ZW-LSMLT-P-48) Plausibiliteitstest voor maatregel 'Roode Vaart'
  • (ZW-LSMLT-P-49) Plausibiliteitstest voor zeespiegelrijzing voor benedenstroomse waterstanden In de Nieuwe Waterweg

Voor NDB is het testprotocol in release 1.4.0.0 uitgebreid. Bij de huidige 1.4.1.0 release is dit testprotocol ook toegepast.

 

Testbevindingen

Onderstaande tabel bevat resultaten van de technische en plausibiliteit testen voor release 1.4.0.0. De kolommen hebben de volgende betekenis:

  • REF: referentie
  • R: Rust
  • D: Druk
  • W: Warm
  • S: Stoom
  • T: technische testen
  • P: plausibiliteit testen
  • uitvoering: datum/tijdstip van uitvoering workflow op T-omgeving

De resultaten van de testen hebben de volgende betekenis:

  • (tick): succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues.
  • (error): niet succesvol
  • n.v.t.: niet gedefinieerd/niet voorzien
  • —: niet uitgevoerd

 

Bij de LHM plausibiliteitstesten waarin voor debieten de opgelegde randvoorwaarden en modelresutaten vergeleken zijn, is het verschil (in percentages) bijgevoegd. Het verschil voor zowel Lobith  (eerste percentage) als Monsin (tweede percentage) is weergegeven. De percentages zijn afgerond naar gehele procenten.De LHM resultaten zijn in decaden, terwijl de randvoorwaarden in dagen zijn. Ook het numerieke rekenschema van LHM heeft invloed op de resultaten.  De geteste locaties van de modelresultaten liggen weliswaar dicht bij de open randen, maar deze zijn niet exact gelijk. Dit geeft ook een verschil.  Bovendien kunnen tussenliggende lozingen en processen als neerslag en verdamping een klein verschil veroorzaken. Dit alles maakt dat de berekende modeldebieten niet exact gelijk zullen zijn aan de randvoorwaarden, maar wel een grote overeenkomst moeten hebben. Dit is dus een beoordeling op basis van expert judgement.

Ondanks de vele hierboven genoemde redenen voor verschillen, blijken de verschillen slechts in de orde van 0 a 5% te zijn. We merken op dat bij Lobith de debieten in de orde van 2000 m3/s zijn en bij Monsin slechts in de orde van 200 m3/s. Door de veel kleinere actuele debieten zullen de relatieve verschillen tussen modelresultaten en metingen hoger zijn bij Monsin. De verschillen zijn, gelet op het voorgaande, zo klein dat geconcludeerd kan worden dat de juiste randvoorwaarden toegepast zijn in de modellen.

 

Voor S1-workflows met LHM zonder zout:

RegioWorkflowTestnummer WABES REF2015S1Z0WABES WARM2050S1Z0 
   UitvoeringT PUitvoering T
 LandelijkLHM ZW-LHM-T-1103-12-2016 20:01:48 (T0: 2003) (tick)n.v.t.04-12-2016 18:06:43 (T0: 2003)(tick)n.v.t.
 LHM  ZW-LHM-P-4115-11-2016 16:42:15 (T0: 1911) n.v.t.(tick) (0 / 5 %)15-11-2016 16:42:36 (T0: 1911)n.v.t.(tick) (0 / 5 %)
 LHM  ZW-LHM-P-4216-11-2016 04:35:28 (T0: 1912) n.v.t.(tick) (0 / 2 %)16-11-2016 05:22:17 (T0: 1912)n.v.t.(tick) (0 / 2%)
 LHM  ZW-LHM-P-4303-12-2016 20:01:48 (T0: 2003) n.v.t.(tick) (0 / 6 %)04-12-2016 18:06:43 (T0: 2003)n.v.t.(tick) (0 / 6%)
 LHM  ZW-LHM-P-4407-12-2016 15:47:03 (T0: 2011) n.v.t.(tick) (1 / 1 %)07-12-2016 15:35:38 (T0: 2011)n.v.t.(tick) (1 / 1 %)
 LHM  ZW-LHM-P-4503-12-2016 20:01:48 (T0: 2003) n.v.t.(tick)04-12-2016 18:06:43 (T0: 2003)n.v.t.(tick)

 

 

 Voor S2-workflows met LHM zonder zout: 

RegioWorkflowTestnummer WABES REF2015S2Z0WABES WARM2050S2Z0 
   UitvoeringT PUitvoering T
 LandelijkLHM ZW-LHM-T-1103-12-2016 20:01:59 (T0: 2003)  (tick)? 1) n.v.t.03-12-2016 20:02:58 (T0: 2003)  (tick) ?1)  n.v.t.
 LHM  ZW-LHM-P-4303-12-2016 20:01:59 (T0: 2003) n.v.t.(tick) (0 / 6 %)03-12-2016 20:02:58 (T0: 2003)n.v.t.(tick) (0 / 6 %)
 LHM  ZW-LHM-P-4503-12-2016 20:01:59 (T0: 2003) n.v.t.(tick)03-12-2016 20:02:58 (T0: 2003)n.v.t.(tick)
 LHM  ZW-LHM-P-4603-12-2016 20:01:59 (T0: 2003) n.v.t.(tick)03-12-2016 20:02:58 (T0: 2003)n.v.t.(tick)
 LHM  ZW-LHM-P-4703-12-2016 20:01:59 (T0: 2003) n.v.t.(tick)03-12-2016 20:02:58 (T0: 2003)n.v.t.(tick)
 LHM  ZW-LHM-P-4803-12-2016 20:01:59 (T0: 2003) n.v.t.(tick) 03-12-2016 20:02:58 (T0: 2003)n.v.t.(tick) 
 LHM  ZW-LHM-P-4903-12-2016 20:01:59 (T0: 2003) n.v.t.(tick) 
  

1) 4888 Locatie id's ipv 4867. Klopt dit? 

  

Voor S1-workflows met LSMLT zonder zout: 

RegioWorkflowTestnummer WABES REF2015S1Z0WABES WARM2050S1Z0 
   UitvoeringT PUitvoering T
 LandelijkLSM Light ZW-LSMLT-T-1104-12-2016 07:12:46 (T0: 2003)  (tick)n.v.t. 05-12-2016 06:04:59 (T0: 2003)  (tick)n.v.t.
 LSM Light ZW-LSMLT-P-1104-12-2016 07:12:46 (T0: 2003) n.v.t. (tick)05-12-2016 06:04:59 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-1204-12-2016 07:12:46 (T0: 2003) n.v.t. (tick)05-12-2016 06:04:59 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-4130-11-2016 14:42:58 (T0: 1911) n.v.t. (tick) (0 / 0 %)30-11-2016 14:43:08 (T0: 1911)n.v.t.(tick) (0 / 0 %) 
 LSM Light ZW-LSMLT-P-4230-11-2016 18:01:22 (T0: 1912) n.v.t. (tick) (0 / 0 %)30-11-2016 17:42:42 (T0: 1912)n.v.t.(tick) (0 / 0 %) 
 LSM Light ZW-LSMLT-P-4304-12-2016 07:12:46 (T0: 2003) n.v.t. (tick) (0 / 0%)05-12-2016 06:04:59 (T0: 2003)n.v.t.(tick) (0 / 0 %)
 LSM Light ZW-LSMLT-P-4430-11-2016 13:27:32 (T0: 2011) n.v.t. (tick) (0 / 0 %)24-11-2016 13:26:18 (T0: 2011)n.v.t.(tick) (0 / 0 %) 

 

 

 Voor S2-workflows met LSMLT zonder zout:  

Bij de plausibiliteitstesten is test ZW-LSMLT-P-47 weggelaten, omdat deze test sterk beinvloed wordt door de zoutconcentraties. In deze workflows is zout nog niet meegenomen. Daarom kunnen de modelresultaten afwijken van het testprotocol. 

RegioWorkflowTestnummer WABES REF2015S2Z0WABES WARM2050S2Z0 
   UitvoeringT PUitvoering T
 LandelijkLSM Light ZW-LSMLT-T-1104-12-2016 07:22:24 (T0: 2003) (tick) n.v.t.04-12-2016 07:53:30 (T0: 2003) (tick) n.v.t.
 LSM Light ZW-LSMLT-P-1104-12-2016 07:22:24 (T0: 2003) n.v.t. (tick)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-1204-12-2016 07:22:24 (T0: 2003) n.v.t. (tick)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-4304-12-2016 07:22:24 (T0: 2003) n.v.t. (tick) (0 / 0 %)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick) (0 / 0 %) 
 LSM Light ZW-LSMLT-P-4504-12-2016 07:22:24 (T0: 2003) n.v.t. (tick)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-4604-12-2016 07:22:24 (T0: 2003) n.v.t. (tick)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-4804-12-2016 07:22:24 (T0: 2003) n.v.t. (tick)04-12-2016 07:53:30 (T0: 2003)n.v.t.(tick)

 

 

 

Voor S1-workflows met NDB:   

RegioWorkflowTestnummer REF2015S1WARM2050S1 
   UitvoeringT PUitvoering T
 LandelijkNDB ZW-NDB-T-1104-12-2016 10:19:22 (T0: 2003)(tick) n.v.t.05-12-2016 09:04:33 (T0: 2003) (tick)  n.v.t.
 NDB ZW-NDB-P-1104-12-2016 10:19:22 (T0: 2003) n.v.t. (tick)05-12-2016 09:04:33 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1204-12-2016 10:19:22 (T0: 2003) n.v.t. (tick)05-12-2016 09:04:33 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1304-12-2016 10:19:22 (T0: 2003) n.v.t. (tick)05-12-2016 09:04:33 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1404-12-2016 10:19:22 (T0: 2003) n.v.t. (tick)05-12-2016 09:04:33 (T0: 2003)n.v.t. (tick)

 

 

 Voor S2-workflows met NDB:   

RegioWorkflowTestnummer REF2015S2WARM2050S2 
   UitvoeringT PUitvoering T
 LandelijkNDB ZW-NDB-T-1104-12-2016 10:35:53 (T0: 2003)(tick) n.v.t.04-12-2016 11:07:10 (T0: 2003)(tick)  n.v.t.
 NDB ZW-NDB-P-1104-12-2016 10:35:53 (T0: 2003) n.v.t.(tick)  04-12-2016 11:07:10 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1204-12-2016 10:35:53 (T0: 2003) n.v.t.(tick)04-12-2016 11:07:10 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1304-12-2016 10:35:53 (T0: 2003) n.v.t.(tick)04-12-2016 11:07:10 (T0: 2003)n.v.t. (tick)
 NDB ZW-NDB-P-1404-12-2016 10:35:53 (T0: 2003) n.v.t.(tick) 04-12-2016 11:07:10 (T0: 2003)n.v.t. (tick)

 

 

 Voor S1-workflows met LHM met zout: 

RegioWorkflowTestnummer WABES REF2015S1WABES WARM2050S1 
   UitvoeringT PUitvoering T
 LandelijkLHM ZW-LHM-T-1104-12-2016 12:14:57 (T0: 2003)(tick)  n.v.t.05-12-2016 10:20:43 (T0: 2003) (tick) n.v.t.
 LHM  ZW-LHM-P-4304-12-2016 12:14:57 (T0: 2003) n.v.t.(tick) (0 / 0 %)05-12-2016 10:20:43 (T0: 2003)n.v.t.(tick) (0 / 0 %) 
 LHM  ZW-LHM-P-4504-12-2016 12:14:57 (T0: 2003) n.v.t.(tick)05-12-2016 10:20:43 (T0: 2003)n.v.t.(tick)

 

 

  Voor S2-workflows met LHM met zout:  

RegioWorkflowTestnummer WABES REF2015S2WABES WARM2050S2 
   UitvoeringT PUitvoering T
 LandelijkLHM ZW-LHM-T-1104-12-2016 12:33:31 (T0: 2003) (tick)  n.v.t.04-12-2016 12:19:54 (T0: 2003) (tick)    n.v.t.
 LHM  ZW-LHM-P-4504-12-2016 12:33:31 (T0: 2003) n.v.t.(tick) 04-12-2016 12:19:54 (T0: 2003)n.v.t.(tick) 
 LHM  ZW-LHM-P-4604-12-2016 12:33:31 (T0: 2003) n.v.t.(tick) 04-12-2016 12:19:54 (T0: 2003)n.v.t.(tick) 
 LHM  ZW-LHM-P-4704-12-2016 12:33:31 (T0: 2003) n.v.t.(tick)04-12-2016 12:19:54 (T0: 2003)n.v.t.(tick)
 LHM  ZW-LHM-P-4804-12-2016 12:33:31 (T0: 2003) n.v.t.(tick)04-12-2016 12:19:54 (T0: 2003)n.v.t.(tick)

 

 

Voor S1-workflows met LSMLT met zout:  

RegioWorkflowTestnummer WABES REF2015S1WABES WARM2050S1 
   UitvoeringT PUitvoering T
 LandelijkLSM Light ZW-LSMLT-T-1107-12-2016 12:26:48 (T0: 2003) (tick)n.v.t.05-12-2016 22:19:34 (T0: 2003) (tick)n.v.t.
 LSM Light ZW-LSMLT-P-1107-12-2016 12:26:48 (T0: 2003) n.v.t. (tick) 05-12-2016 22:19:34 (T0: 2003)n.v.t.(tick) 
 LSM Light ZW-LSMLT-P-1207-12-2016 12:26:48 (T0: 2003) n.v.t. (tick) 05-12-2016 22:19:34 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-43 07-12-2016 12:26:48 (T0: 2003) n.v.t. (tick) (0 / 0%) 05-12-2016 22:19:34 (T0: 2003)n.v.t.(tick) (0 / 0 %)

 

 

 

 Voor S2-workflows met LSMLT met zout:  

RegioWorkflowTestnummer WABES REF2015S2WABES WARM2050S2 
   UitvoeringT PUitvoering T
 LandelijkLSM Light ZW-LSMLT-T-11 07-12-2016 12:26:48 (T0: 2003) (tick) n.v.t.07-12-2016 12:26:54 (T0: 2003) (tick) n.v.t.
 LSM Light ZW-LSMLT-P-43 07-12-2016 12:26:48 (T0: 2003) n.v.t.(tick) (0 / 0 %) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick) (0 / 0 %) 
 LSM Light ZW-LSMLT-P-45 07-12-2016 12:26:48 (T0: 2003) n.v.t.(tick) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-46 07-12-2016 12:26:48 (T0: 2003) n.v.t.(tick) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-47 07-12-2016 12:26:48 ( T0: 2003) n.v.t.(tick) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick) 1)
 LSM Light ZW-LSMLT-P-48 07-12-2016 12:26:48 (T0: 2003) n.v.t.(tick) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick)
 LSM Light ZW-LSMLT-P-49 07-12-2016 12:26:48 (T0: 2003) n.v.t.(tick) 07-12-2016 12:26:54 (T0: 2003)n.v.t.(tick)

 1)  In workflow WARM2050S2 staat het debiet bij het leggemaal Koekoek te oscilleren; zie de onderstaande Figuur 1. Het verdient de aanbeveling om uit te zoeken waarom dit model op deze locatie oscilleert. In workflow REF2015S2 gebeurt dit niet; zie de onderstaande Figuur 2.

  

Figuur 1: Tijdreeksen van netto debieten in LSMLT S2 workflow voor WARM2050

 

Figuur 2: Tijdreeksen van netto debieten in LSMLT S2 workflow voor REF2015

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  • No labels