In deze sectie staan de testbevindingen voor release 1.4.0.0 (VERSIE 4 NOVEMBER 2016). In de sprint van 17 t/m 28 oktober is hieraan gewerkt.
Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows, dan zijn ook deze workflows opnieuw getest.
Samenvatting en conclusies
Aanleding voor deze release is het toevoegen van vier workflows voor LHM, te weten:
- 100-jaar WABES-reeks voor REF2015S1Z0
- 100-jaar WABES-reeks voor WARM2050S1Z0
- 100-jaar WABES-reeks voor REF2015S2Z0
- 100-jaar WABES-reeks voor WARM2050S2Z0
Tevens is in deze release het Noordelijk Delta Bekken (NDB)-zout model opgeleverd. Hierbij zijn de workflows REF2015S0 en W2085S0 toegepast.
Omdat de nieuwe LHM workflows zonder zout rekenen, is "Z0" aan de workflownamen toegevoegd. Hierbij worden er drie sporen onderscheiden, waarvan de laatste twee in deze release gerealiseerd zijn:
- "S0" correspondeert met de 26-jarige basisprognose
- "S1" correspondeert met de "V0 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd.
- "S2" correspondeert met de "V1 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd. In de "V1 WABES schematisatie" zijn de volgende drie maatregelen toegevoegd: "uitbreiding van model met de Rode Vaart uitbreiding", een "Flexibel Peil IJsselmeer-Markermeer" en een "aanpassing van capaciteit KWA-15 (stap 1)".
De 100-jaar simulaties zijn van 1911 t/m 2011. NB. De S0-basisprognoses zijn van 1986 t/m 2011. In deze 1.4.0.0 release is alleen LHM uitgebreid met workflows op basis van de 100-jaar WABES-reeks. In release 1.4.1.0 van medio november zal dit voor LSMLT gerealiseerd worden. Voor de andere schematisaties in NWM (NDB, LTM, LTMLT) dient dit in de verdere toekomst gerealiseerd te worden. Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'.
Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'.
Conclusies: Alle technische en plausibiliteitstesten voor de vier nieuwe LHM workflows zijn met success uitgevoerd. Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd.
Aanpassingen van het testprotocol voor de release 1.4.0.0
Het testprotocol voor LHM is op de volgende onderdelen uitgebreid:
- Check of de debieten in LHM en LSMLT in rekenpunten zo dicht mogelijk bij de open randen overeenkomen met de debieten die aangeleverd zijn voor Monsin en Lobith. Dit wordt getest voor alle vier workflows.
- Check of de debieten bij Hagestein in een bepaald jaar tussen 1981-2006 - namelijk voor 2003 - overeenkomen met de waarden uit de basisprognose. Check dit voor LHM en LSMLT voor het jaar 2003. Door de verandering in o.a. de regenval en de verdamping mogen en kleine verschillen optreden. Op basis van expert judgement bepalen of de resultaten acceptabel zijn.
- Check via de waterstanden of de zeespiegelstijging correct is geimplementeerd in LSMLT. NB. In LHM zijn waterstanden geen uitvoergrootheid en kan deze test niet uitgevoerd worden.
- Check of de maatregelen doorkomen in LHM en LSMLT.
In deze sprint zijn ook testen voor LSMLT toegevoegd aan het testprotocol, maar deze testen zijn nog niet uitgevoerd. In de volgende sprint zullen de workflows voor LSMLT getest worden.
Nieuwe testprotocollen voor LHM
In de huidige testprotocollen is steeds het jaar 2003 gekozen voor de testen. Voor de nieuwe testprotocollen worden naast 2003 ook testen voor de jaren 1911, 1912 en 2011 uitgevoerd. Voor zowel LHM als LSMLT zijn de volgende testen toegevoegd:
Voor REF2015S1(Z0):
- (ZW-LHM-P-41 t/m 44 / ZW-LSMLT-P-41 t/m 44) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 1911, 1912, 2003 en 2011
- (ZW-LHM-P-45 / ZW-LSMLT-P-45) Plausibiliteitstest m.b.t. het debiet bij Hagestein.
Voor WARM2050S1(Z0):
- (ZW-LHM-P-51 t/m 54 / ZW-LSMLT-P-51 t/m 54) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobithvoor 1911, 1912, 2003 en 2011
- (ZW-LHM-P-55 / ZW-LSMLT-P-55) Plausibiliteitstest het debiet bij Hagestein.
Voor REF2015S2(Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-46 / ZW-LSMLT-P-46) Plausibiliteitstest voor flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-47 / ZW-LSMLT-P-47) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-48 / ZW-LSMLT-P-48) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-49) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor REF2015 vergelijk met basisprognoses
Voor WARM2050S2(Z0):
- (ZW-LHM-P-43 / ZW-LSMLT-P-43) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003
- (ZW-LHM-P-56 / ZW-LSMLT-P-56) Plausibiliteitstest voor flexibel peilbeheer IJsselmeer-Markermeer
- (ZW-LHM-P-57 / ZW-LSMLT-P-57) Plausibiliteitstest voor KWA-15
- (ZW-LHM-P-58 / ZW-LSMLT-P-58) Plausibiliteitstest voor Roode Vaart
- (ZW-LSMLT-P-59) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor WARM2050 check op + 40 cm.
NB. Bij de workflows is "Z0" tussen haken gezet, omdat de workflows zonder zout zijn doorgerekend in deze release, maar in de toekomst zal dit ook met zout uitgevoerd worden.
Testbevindingen
Onderstaande tabel bevat resultaten van de technische en plausibiliteit testen voor release 1.4.0.0. De kolommen hebben de volgende betekenis:
- REF: referentie
- R: Rust
- D: Druk
- W: Warm
- S: Stoom
- T: technische testen
- P: plausibiliteit testen
- uitvoering: datum/tijdstip van uitvoering workflow op T-omgeving
De resultaten van de testen hebben de volgende betekenis:
: succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues.
: niet succesvol- n.v.t.: niet gedefinieerd/niet voorzien
- —: niet uitgevoerd
Bij de testnummers staan twee nummers vermeld; de eerste geldt voor REF2015S1 en de tweede voor WARM20150S1.
Bij de LHM plausibiliteitstesten waarin voor debieten de opgelegde randvoorwaarden en modelresutaten vergeleken zijn, is het verschil (in percentages) bijgevoegd. Het gemiddelde verschil voor Monsin en Lobith is weergegeven. De LHM resultaten zijn in decaden, terwijl de randvoorwaarden in dagen zijn. Ook het numerieke rekenschema van LHM heeft invloed op de resultaten. Hoe worden deze daggemiddelde waarden precies toegepast in een tijdstap van 10 dagen? De geteste locaties van de modelresultaten liggen weliswaar dicht bij de open randen, maar deze zijn niet exact gelijk. Dit geeft ook een verschil. Bovendien kunnen tussenliggende lozingen en processen als neerslag en verdamping een klein verschil veroorzaken. Dit alles maakt dat de berekende modeldebieten niet exact gelijk zullen zijn aan de randvoorwaarden, maar wel een grote overeenkomst moeten hebben.
Ondanks de vele hierboven genoemde redenen voor verschillen, blijken de verschillen slechts in de orde van 0 a 6% te zijn. Deze verschillen zijn, gelet op het voorgaande, zo klein dat geconcludeerd kan worden dat de juiste randvoorwaarden zijn toegepast in de modellen.
| Regio | Workflow | Testnummer | WABES REF2015S1 | WABES WARM2050S1 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | LHM | ZW-LHM-T-11 | 18-10-2016 13:05:40 (T0: 2003) | | n.v.t. | 18-10-2016 18:07:11 (T0: 2003) | | n.v.t. |
| LHM | ZW-LHM-P-41/51 | 19-10-2016 11:03:39 (T0: 1911) | n.v.t. | (2.5%) | 17-10-2016 16:59:15 (T0: 1911) | n.v.t. | (4.3%) | |
| LHM | ZW-LHM-P-42/52 | 19-10-2016 22:55:30 (T0: 1912) | n.v.t. | (1.1%) | 18-10-2016 05:36:52 (T0: 1912) | n.v.t. | (2.8%) | |
| LHM | ZW-LHM-P-43/53 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t. | (3.3%) | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. | (6.0%) | |
| LHM | ZW-LHM-P-44/54 | 19-10-2016 00:23:55 (T0: 2011) | n.v.t. | (0.7%) | 19-10-2016 06:06:03 (T0: 2011) | n.v.t. | (3.2%) | |
| LHM | ZW-LHM-P-45/55 | 18-10-2016 13:05:40 (T0: 2003) | n.v.t. | | 18-10-2016 18:07:11 (T0: 2003) | n.v.t. | | |
| Regio | Workflow | Testnummer | WABES REF2015S2 | WABES WARM2050S2 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | LHM | ZW-LHM-T-11 | 28-10-2016 14:36:36 (T0: 2003) | | n.v.t. | 28-10-2016 14:36:51 (T0: 2003) | | n.v.t. |
| LHM | ZW-LHM-P-43/53 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | (3.3%) | 28-10-2016 14:36:51 (T0: 2003) | n.v.t. | (6.0%) | |
| LHM | ZW-LHM-P-45/55 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | | 28-10-2016 14:36:51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-46/56 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | | 28-10-2016 14:36:51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-47/57 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | | 28-10-2016 14:36:51 (T0: 2003) | n.v.t. | | |
| LHM | ZW-LHM-P-48/58 | 28-10-2016 14:36:36 (T0: 2003) | n.v.t. | | 28-10-2016 14:36:51 (T0: 2003) | n.v.t. | | |
Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd. Dit betreft de volgende testen:
| Regio | Workflow | Testnummer | REF2015S0 | WARM2085S0 | ||||
|---|---|---|---|---|---|---|---|---|
| Uitvoering | T | P | Uitvoering | T | P | |||
| Landelijk | NDB | ZW-NDB-T-11 | 04-10-2016 13:03:11 (T0: 2003) | | n.v.t. | 04-10-2016 13:03:26 (T0: 2003) | | n.v.t. |
| NDB | ZW-NDB-P-11 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-12 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-13 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
| NDB | ZW-NDB-P-14 | 04-10-2016 13:03:11 (T0: 2003) | n.v.t. | | 04-10-2016 13:03:26 (T0: 2003) | n.v.t. | | |
