In deze sectie staan de testbevindingen voor release 1.4.0.0 (VERSIE 1 VERSIE 4 NOVEMBER 2016). In de sprint van 17 t/m 28 oktober is hieraan gewerkt.
Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows, dan zijn ook deze workflows opnieuw getest.
Samenvatting en conclusieconclusies
Aanleding voor deze release is het toevoegen van vier workflows voor LHM, te weten:
- 100-jaar WABES-reeks voor REF2015S1Z0
- 100-jaar WABES-reeks voor WARM2050S1Z0
- 100-jaar WABES-reeks voor REF2015S2Z0
- 100-jaar WABES-reeks voor WARM2050S2Z0
Tevens is in deze release het Noordelijk Delta Bekken (NDB)-zout model opgeleverd. Hierbij zijn de workflows REF2015S0 en W2085S0 toegepast.
Omdat de nieuwe LHM Omdat deze workflows zonder zout rekenen, is "Z0" aan de workflownamen toegevoegd. Er Hierbij worden er drie sporen onderscheiden, waarvan de laatste twee in deze release gerealiseerd zijn:
...
De 100-jaar simulaties zijn van 1911 t/m 2011. NB. De S0-basisprognoses zijn van 1981 1986 t/m 2011. In deze 1.4.0.0 release zijn is alleen de modelschematies LHM uitgebreid met workflows op basis van de 100-jaar WABES-reeks. In release 1.4.1.0 van medio november zal dit voor LSMLT gerealiseerd worden. NB. Voor Voor de andere schematisaties in NWM (NDB, LTM, LTMLT) zal dient dit in de verdure verdere toekomst gerealiseerd te worden. Alle Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'.
Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'.NB. De "S0" workflows hebben eigen uitvoerlocaties, die qua aantal en locatie daarom deels zullen verschillen.
Conclusies: Alle technische en plausibiliteitstesten voor de vier nieuwe LHM workflows zijn met success uitgevoerd. Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd.
Aanpassingen van het testprotocol voor de release 1.4.0.0
Het testprotocol is uitgebreid voor LHM is op de volgende onderdelen uitgebreid:
- Check of de debieten in LHM en LSMLT op nabij gelegen rekenpunten in rekenpunten zo dicht mogelijk bij de open randen overeenkomen met de debieten die aangeleverd zijn voor Monsin en Lobith. Dit dient wordt getest te worden voor alle vier de workflows.
- Check of de debieten bij Hagestein in een bepaald jaar tussen 1981-2006 - namelijk voor 2003 - overeenkomen met de waarden uit de basisprognose. Check dit voor LHM en LSMLT voor het jaar 2003. Door de verandering in o.a. de regenval en de verdamping mogen en kleine verschillen optreden. Op basis van expert judgement bepalen of de resultaten acceptabel zijn.
- Check via de waterstanden of de zeespiegelstijging correct zijn doorgevoerd in LHM en LSMLT. is geimplementeerd in LSMLT. NB. In LHM zijn waterstanden geen uitvoergrootheid en kan deze test niet uitgevoerd worden.
- Check of de maatregelen doorkomen in het system in LHM en LSMLT.NB.
In deze sprint zijn ook testen voor LSMLT toegevoegd aan het testprotocol, maar deze testen zijn nog niet uitgevoerd, omdat pas in een . In de volgende sprint zullen de workflows voor LSMLT toegevoegd zullen getest worden.
Nieuwe testprotocollen voor LHM
In de huidige testprotocollen is steeds het jaar 2003 gekozen voor de testen. Voor de nieuwe testprotocollen wordt naast 2003 worden naast 2003 ook testen voor de jaren 1911, 1912 en 2011 testen uitgevoerd. Voor zowel LHM en als LSMLT zijn de volgende testen toegevoegd:
Voor REF2015S1(Z0):
...
- (ZW-LHM-P-51 t/m 54 / ZW-LSMLT-P-51 t/m 54) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobithvoor 1911, 1912, 2003 en 2011
- (ZW-LHM-P-55 / ZW-LSMLT-P-55) Plausibiliteitstest het debiet bij Hagestein.
Voor REF2015S2(Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-46 / ZW-LSMLT-P-46) Plausibiliteitstest voor Flexibel Pijl flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-47 / ZW-LSMLT-P-47) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-48 / ZW-LSMLT-P-48) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-49) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor REF2015 vergelijk met basisprognoses
Voor WARM2050S2(Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-56 / ZW-LSMLT-P-56) Plausibiliteitstest voor Flexibel Pijl flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-57 / ZW-LSMLT-P-57) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-58 / ZW-LSMLT-P-58) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-59) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor WARM2050 check op + 40 cm.
NB. Bij de workflow workflows is "Z0" tussen haken gezet, omdat in deze release de workflows zonder zout zijn doorgerekend in deze release, maar in de toekomst zal dit ook met zout uitgevoerd zal worden.
Testbevindingen
Onderstaande tabel bevat resultaten van de technische en plausibiliteit testen voor Zoetwater.
release 1.4.0.0. De kolommen hebben de volgende betekenis:
...
Bij de testnummers staan twee nummers vermeld; de eerste geldt voor REF2015S1 en de tweede voor WARM20150S1.
Bij de LHM plausibiliteitstesten waarin voor debieten de opgelegde randvoorwaarden en modelresutaten vergeleken zijn, is het verschil (in percentages) bijgevoegd. Het gemiddelde verschil voor Monsin en Lobith is weergegeven. De LHM resultaten zijn in decaden, terwijl de randvoorwaarden in dagen zijn. Ook het numerieke rekenschema van LHM heeft invloed op de resultaten. Hoe worden deze daggemiddelde waarden precies toegepast in een tijdstap van 10 dagen? De geteste locaties ligt weliswaar erg dicht bij van de modelresultaten liggen weliswaar dicht bij de open randen, maar deze zijn niet exact op de locatie van de open randen. Ook gelijk. Dit geeft ook een verschil. Bovendien kunnen tussenliggende lozingen en processen als neerslag en verdamping een ( klein ) verschil veroorzaken. Hierdoor zullen de Dit alles maakt dat de berekende modeldebieten niet exact gelijk zullen zijn aan de randvoorwaarden, maar moet er een zeer wel een grote overeenkomst zijn. Deze verschillen blijken in moeten hebben.
Ondanks de vele hierboven genoemde redenen voor verschillen, blijken de verschillen slechts in de orde van 0 a 6% te liggenzijn. Deze verschillen zijn zo , gelet op het voorgaande, zo klein dat geconcludeerd kan worden dat de juiste randvoorwaarden zijn toegepast in de modellen.
| Regio | Workflow | Testnummer | WABES REF2015S1 | WABES WARM2050S1 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | LHM | ZW-LHM-T-11 | 18-10-2016 13:05:40 (T0: 2003) |  | n.v.t. | 18-10-2016 18:07:11 (T0: 2003) | | n.v.t. |
| LHM | ZW-LHM-P-41/51 | 19-10-2016 11:03:39 (T0: 1911) | n.v.t. | (2.5%) | 17-10-2016 16:59:15 (T0: 1911) | n.v.t. | (4.6%3%) | |
| LHM | ZW-LHM-P-42/52 | 19-10-2016 22:55:30 (T0: 1912) | n.v.t. | (1.1%) | 18-10-2016 05:36:52 (T0: 1912) | n.v.t. | (2.8%) | |
| LHM | ZW-LHM-P-43/53 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t. | (3.3%) | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. | (6.6%0%) | |
| LHM | ZW-LHM-P-44/54 | 19-10-2016 00:23:55 (T0: 2011) | n.v.t. | (20.7%) | 19-10-2016 06:06:03 (T0: 2011) | n.v.t. | (43.7%2%) | |
| LHM | ZW-LHM-P-45/55 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t. | | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. | | |
...
| Regio | Workflow | Testnummer | WABES REF2015S2 | WABES WARM20502 WARM2050S2 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | LHM | ZW-LHM-T-11 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | | n.v.t. | 1828-10-2016 1714:5036:23 51 (T0: 2003) | | n.v.t. |
| LHM | ZW-LHM-P-43/53 | 2728-10-2016 1614:0636:13 36 (T0: 2003) | n.v.t. | (3.3%) | 2728-10-2016 1614:0736:08 51 (T0: 2003) | n.v.t. | (6.6%0%) | |
| LHM | ZW-LHM-P-45/55 | 2728-10-2016 1614:0636:13 36 (T0: 2003) | n.v.t. | | 2728-10-2016 1614:0736:08 51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-46/56 | 2728-10-2016 1614:0636:13 36 (T0: 2003) | n.v.t. | | 2728-10-2016 1614:0736:08 51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-47/57 | 2728-10-2016 1614:0636:13 36 (T0: 2003) | n.v.t. | | 2728-10-2016 1614:0736:08 51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-48/58 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | | 2827-10-2016 16:06:13 14:36:51 (T0: 2003) | n.v.t. | | |
Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd. Dit betreft de volgende testen:
| Regio | Workflow | Testnummer | REF2015S0 | WARM2085S0 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | NDB | ZW-NDB-T-11 | 04-10-2016 13:03:11 (T0: 2003) | | n.v.t. | 04-10-2016 13:03:26 (T0: 2003) | 1 | n.v.t. |
| NDB | ZW-NDB-P-11 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-12 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 0427-10-2016 1613:0703:08 26 (T0: 2003) | n.v.t. | 1 | |
...
| NDB | ZW-NDB-P-13 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-14 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | |