In deze sectie staan de testbevindingen voor release 1.4.0.0 (VERSIE 4 NOVEMBER 2016). In de sprint van 17 t/m 28 oktober is hieraan gewerkt.
Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows, dan zijn ook deze workflows opnieuw getest.
Samenvatting
Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'. Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'.
en conclusies
Aanleding voor deze release is het toevoegen van vier workflows voor LHM, te weten:
- 100-jaar WABES-reeks voor REF2015S1Z0
- 100-jaar WABES-reeks voor WARM2050S1Z0
- 100-jaar WABES-reeks voor REF2015S2Z0
- 100-jaar WABES-reeks voor WARM2050S2Z0
Tevens is in deze release het Noordelijk Delta Bekken (NDB)-zout model opgeleverd. Hierbij zijn de workflows REF2015S0 en W2085S0 toegepast.
Omdat de nieuwe LHM workflows zonder zout rekenen, is "Z0" aan de workflownamen toegevoegd. Hierbij worden er Er worden drie sporen onderscheiden, waarvan de laatste twee uitbreidingen zijn die in twee in deze release gerealiseerd zijn:
- "S0" correspondeert met de 26-jarige basisprognose
- "S1" correspondeert met de "V0 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd.
- "S2" correspondeert met
...
- de "V1 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd. In de "V1 WABES schematisatie" zijn de volgende drie maatregelen toegevoegd: "uitbreiding van model met de Rode Vaart uitbreiding", een "Flexibel Peil IJsselmeer-Markermeer" en een "aanpassing van capaciteit KWA-15 (stap 1)".
De 100-jaar simulaties zijn van 1911 t/m 2011. NB. De S0-basisprognoses zijn van 1981 1986 t/m 2011. In deze release zijn vier workflows toegevoegd:
- 100-jaar WABES-reeks voor REF2015S1
- 100-jaar WABES-reeks voor WARM2050S1
- 100-jaar WABES-reeks voor REF2015S2
- 100-jaar WABES-reeks voor WARM2050S2
De applicatie wordt gefaseerd opgeleverd voor vroegtijdige start van berekeningen. In deze 1.4.0.0 release zijn is alleen de modelschematies LHM uitgebreid met workflows op basis van de 100-jaar WABES-reeks. In release 1.4.1.0 van medio november zal dit voor LSMLT gerealiseerd worden. NB. Voor Voor de andere schematisaties in NWM (NDB, LTM, LTMLT) zal dient dit in de verdure verdere toekomst gerealiseerd te worden.
Daarnaast zijn uitvoerlocaties toegevoegd aan het LSMLT model. In totaal zijn er nu resultaten voor 151 WABES-locaties beschikbaar. NB. De "S0" workflows hebben eigen uitvoerlocaties, die qua aantal en locatie daarom deels zullen verschillen.
In een memo is vastgelegd welke uitgangspunten toegepast zijn voor de generatie van de 100-jaar afvoerreeks <<referentie toevoegen; NB. Het aanmaken van een link werkt niet meer in Wiki?>>
Aanpassing testprotocol voor release 1.4
Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'.
Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'.
Conclusies: Alle technische en plausibiliteitstesten voor de vier nieuwe LHM workflows zijn met success uitgevoerd. Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd.
Aanpassingen van het testprotocol voor de release 1.4.0.0
Het testprotocol voor LHM is op de volgende onderdelen uitgebreid:De testprotocollen zijn uitgebreid op de volgende onderdelen
- Check of de debieten in LHM en LSMLT op nabij gelegen rekenpunten in rekenpunten zo dicht mogelijk bij de open randen overeenkomen met de debieten die aangeleverd zijn voor Monsin en Lobith. Dit dient wordt getest te worden voor alle vier de workflows.
- Check of de debieten bij Hagestein in een bepaald jaar tussen 1981-2006 overeenkomen - namelijk voor 2003 - overeenkomen met de waarden uit de basisprognose. Check dit voor LHM en LSMLT voor het jaar 2003. Door de verandering in o.a. de regenval en de verdamping mogen en kleine verschillen optreden. Op basis van expert judgement bepalen of de resultaten acceptabel zijn.
- Check via de waterstanden of de zeespiegelstijging correct zijn doorgevoerd. is geimplementeerd in LSMLT. NB. In LHM zijn waterstanden geen uitvoergrootheid en kan deze test niet uitgevoerd worden.
- Check of de maatregelen doorkomen in het systeem.LHM en LSMLT.
In deze sprint zijn ook testen voor LSMLT toegevoegd aan het testprotocol, maar deze testen zijn nog niet uitgevoerd. In de volgende sprint zullen de workflows voor LSMLT getest worden.
Nieuwe testprotocollen :voor LHM
In de huidige testprotocollen is steeds het jaar 2003 gekozen voor de testen. Voor de nieuwe testprotocollen wordt naast 2003 worden naast 2003 ook testen voor de jaren 1911, 1912 en 2011 een test uitgevoerd. Voor zowel LHM als LSMLT zijn de volgende testen toegevoegd:
Voor REF2015S1(voor LHM als LSMLTZ0):
- (ZW-LHM-P-41 t/m 44 / ZW-LSMLT-P-41 t/m 44) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 1911, 1912, 2003 en 2011
- (ZW-LHM-P-45 / ZW-LSMLT-P-45) Plausibiliteitstest m.b.t. het debiet bij Hagestein, omdat hiervoor veel kennis/informatie beschikbaar is.
Voor WARM2050S1(voor LHM als LSMLTZ0):
- (ZW-LHM-P-51 t/m 54 / ZW-LSMLT-P-51 t/m 54) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobithvoor 1911, 1912, 2003 en 2011
- (ZW-LHM-P-55 / ZW-LSMLT-P-55) Plausibiliteitstest het debiet bij Hagestein, omdat hiervoor veel kennis/informatie beschikbaar is.
Voor REF2015S2(zowel voor LHM als LSMLT):Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-46 / ZW-LSMLT-P-46) Plausibiliteitstest voor Flexibel Pijl flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-47 / ZW-LSMLT-P-47) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-48 / ZW-LSMLT-P-48) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-49) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor REF2015 vergelijk met basisprognoses
Voor WARM2050S2 (zowel voor LHM als LSMLT):(Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-56 / ZW-LSMLT-P-56) Plausibiliteitstest voor Flexibel Pijl flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-57 / ZW-LSMLT-P-57) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-58 / ZW-LSMLT-P-58) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-59) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor WARM2050 check op + 40 cm.
Overzicht met zeespiegelrijzing per scenario:
Basisperiode | 1961-1995 | 1980-2006 |
2015 Referentie | +7 cm | + 0 cm |
2050G+/2050 GL | +15 cm | + 15 cm |
2100G+/2085 GL | +35 cm | + 25 cm |
2050 W+/2050 WH | +35 cm | + 40 cm |
2100W+/2085 WH | +85 cm | + 80 cm |
NB. Bij de workflows is "Z0" tussen haken gezet, omdat de workflows zonder zout zijn doorgerekend in deze release, maar in de toekomst zal dit ook met zout uitgevoerd worden.
Testbevindingen
Onderstaande tabel bevat resultaten van de technische en plausibiliteit testen voor Zoetwater.
release 1.4.0.0. De kolommen hebben de volgende betekenis:
...
Bij de testnummers staan twee nummers vermeld; de eerste geldt voor REF2015S1 en de tweede voor WARM20150S1.
Bij de LHM plausibiliteitstesten waarin voor debieten de opgelegde randvoorwaarden en modelresutaten vergeleken zijn, is het verschil (in percentages) bijgevoegd. Het gemiddelde verschil voor Monsin en Lobith is weergegeven. De LHM resultaten zijn in decaden, terwijl de randvoorwaarden in dagen zijn. Ook het numerieke rekenschema van LHM heeft invloed op de resultaten. Hoe worden deze daggemiddelde waarden precies toegepast in een tijdstap van 10 dagen? De geteste locaties van de modelresultaten liggen weliswaar dicht bij de open randen, maar deze zijn niet exact gelijk. Dit geeft ook een verschil. Bovendien kunnen tussenliggende lozingen en processen als neerslag en verdamping een klein verschil veroorzaken. Dit alles maakt dat de berekende modeldebieten niet exact gelijk zullen zijn aan de randvoorwaarden, maar wel een grote overeenkomst moeten hebben.
Ondanks de vele hierboven genoemde redenen voor verschillen, blijken de verschillen slechts in de orde van 0 a 6% te zijn. Deze verschillen zijn, gelet op het voorgaande, zo klein dat geconcludeerd kan worden dat de juiste randvoorwaarden zijn toegepast in de modellen.
| Regio | Workflow | Test nr Testnummer | WABES REF2015S1 | WABES WARM2050S1 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | LHM | ZW-LHM-T-11 | 18-10-2016 13:05:40 (T0: 2003) |  | n.v.t. | 18-10-2016 18:07:11 (T0: 2003) | | n.v.t. |
| LHM | ZW-LHM-P-41/51 | 19-10-2016 11:03:39 (T0: 1911) | n.v.t. | (2.5%) | 17-10-2016 16:59:15 (T0: 1911) | n.v.t. | (4.6%3%) | |
| LHM | ZW-LHM-P-42/52 | 19-10-2016 22:55:30 (T0: 1912) | n.v.t.— | (1.1%) | 18-10-2016 05:36:52 (T0: 1912) | n.v.t. — | (2.8%) | |
| LHM | ZW-LHM-P-43/53 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t.— | (3.3%) | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. — | (6.0%) | |
| LHM | ZW-LHM-P-44/54 | 19-10-2016 00:23:55 (T0: 2011) | n.v.t. | (20.7%) | 19-10-2016 06:06:03 (T0: 2011) | n.v.t. | (43.7%2%) | |
| LHM | ZW-LHM-P-45/55 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t. | — | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. | — | |
Bij ZW-LHM-T-11 zijn er twee i.p.v. vier module id's, omdat bij LHM zonder zout alleen data wordt geimporteerd die nodig is om LSM en NDB te voorzien van modelforcering. NB. Bij de toekomstige runs met zout zullen er weer vier module id's aanwezig zijn.
...
|
...
Voor de S2-scenario's wordt niet voor alle vier jaren (1911, 1912, 2003, 2011) getoest of de randvoorwaarden goed doorkomen. Dit wordt voor 1 jaar getoetst, te weten 2003.
| Regio | Workflow | Test nr Testnummer | WABES REF2015S2 | WABES WARM20502 WARM2050S2 | |||||
|---|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | ||||
| Landelijk | LHM | ZW-LHM-T-11 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | | n.v.t. | 1828-10-2016 1714:5036:23 51 (T0: 2003) | | n.v.t. | |
| LHM | ZW-LHM-P-43/53 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | n.v.t. | — | (3.3%) | 2818-10-2016 1714:5036:23 51 (T0: 2003) | n.v.t. — | (6.0%) | |
| LHM | ZW-LHM-P-45/55 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | n.v.t. | — | 1828-10-2016 1714:5036:23 51 (T0: 2003) | n.v.t. | — | ||
| LHM | ZW-LHM-P-46/56 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | n.v.t. | — | 1828-10-2016 1714:5036:23 51 (T0: 2003) | n.v.t. | — | ||
| LHM | ZW-LHM-P-47/57 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | n.v.t. | | 1828-10-2016 1714:5036:23 51 (T0: 2003) | n.v.t. | — | ||
| LHM | ZW-LHM-P-48/58 | 1928-10-2016 2014:5436:21 36 (T0: 2003) | n.v.t. | 1 | 1828-10-2016 1714:5036:23 51 (T0: 2003) | n.v.t. | 1 | ||
1Bij de maatregel Roode Vaart blijkt de bijbehorende uitvoerlocatie niet beschikbaar te zijn. Daarom is voor test ZW-LHM-P-48/58 een work-around toegepast waarbij het debiet door de Roode Vaart (via een hulpprgramma) uit de uitvoerfile gehaald zijn. Hierdoor kon gecontroleerd worden of het gezamenlijke debiet bij Oosterhout en de Roode Vaart onder de 9 m3/s bleef. Dit blijkt het geval te zijn.
Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd. Dit betreft de volgende testen:
| Regio | Workflow | Testnummer | REF2015S0 | WARM2085S0 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | NDB | ZW-NDB-T-11 | 04-10-2016 13:03:11 (T0: 2003) | | n.v.t. | 04-10-2016 13:03:26 (T0: 2003) | | n.v.t. |
| NDB | ZW-NDB-P-11 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-12 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-13 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-14 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |