Versions Compared

Old Version 35

changes.mady.by.user Erik de Goede

Saved on

compared with

New Version Current

changes.mady.by.user Erik de Goede

Saved on

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

In deze sectie staan de testbevindingen voor release 1.4.0.0 (VERSIE 4 NOVEMBER 2016). In de sprint van 17 t/m 28 oktober is hieraan gewerkt.

Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows, als onderdeel van een serie workflows met afhankelijkheid van invoerdata, succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows, dan zijn ook deze workflows opnieuw getest.

 

Samenvatting en conclusies

Aanleding voor deze release is het toevoegen van vier workflows voor LHM, te weten:

  • 100-jaar WABES-reeks voor REF2015S1Z0
  • 100-jaar WABES-reeks voor WARM2050S1Z0
  • 100-jaar WABES-reeks voor REF2015S2Z0
  • 100-jaar WABES-reeks voor WARM2050S2Z0

Tevens is in deze release het Noordelijk Delta Bekken (NDB)-zout model opgeleverd. Hierbij zijn de workflows REF2015S0 en W2085S0 toegepast.


Omdat de nieuwe LHM workflows zonder zout rekenen, is "Z0" aan de workflownamen toegevoegd. Hierbij worden er Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'.
Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'. Er worden drie sporen onderscheiden, waarvan de laatste twee uitbreidingen zijn die in twee in deze release gerealiseerd zijn:

  • "S0" correspondeert met de 26-jarige basisprognose

...

  • "S1" correspondeert met de "V0 WABES schematisatie"

...

  • waaraan 100-jaar tijdreeksen zijn toegevoegd.
  • "S2" correspondeert met

...

  • de "V1 WABES schematisatie" waaraan 100-jaar tijdreeksen zijn toegevoegd.  In de "V1 WABES schematisatie" zijn de volgende drie maatregelen toegevoegd: "uitbreiding van model met de Rode Vaart uitbreiding", een "Flexibel Peil IJsselmeer-Markermeer" en een "

...

  • aanpassing van capaciteit KWA-15 (stap 1)

...

  • ".

In deze release zijn vier workflows toegevoegd:

De 100-jaar

...

In deze release worden alleen de modelschematies LHM en LSMLT simulaties zijn van 1911 t/m 2011. NB. De S0-basisprognoses zijn van 1986 t/m 2011. In deze 1.4.0.0 release is alleen LHM uitgebreid met workflows op basis van de 100-jaar WABES-reeks. NB. Voor . In release 1.4.1.0 van medio november zal dit voor LSMLT gerealiseerd worden. Voor de andere schematisaties in NWM (NDB, LTM, LTMLT) zal dient dit in de verdere toekomst gerealiseerd te worden.

Daarnaast zijn uitvoerlocaties toegevoegd aan het LSMLT model. In totaal zijn er nu resultaten voor 151 WABES-locaties beschikbaar. Dit resulteert in XXX extra uitvoerlocaties. (CW: worden bij S1 de extra locaties van NDB ook al toegevoegd?). NB. De "S0" workflows hebben eigen uitvoerlocaties, die qua aantal en locatie daarom deels zullen verschillen. 

De 100-jaar simulaties zijn van 1911 t/m 2011. NB. De S0-basisprognoses zijn van 1981 t/m2011.

Het testprotocol "Configuratie update (groot)" is het meest van toepassing, zie <<link>>. Bij een nieuwe workflow wordt in eerste instantie vergeleken met de modelresultaten van dit model dat buiten het NWM is gedraaid. De resultaten moeten exact overeenkomen, danwel logisch verklaard kunnen. Omdat er een overlap is met de 26-jaar basisprognoses (S0), zal met de S0 resultaten vergeleken worden. << vraag: is de 100-jaar tijdreeks voor de eerste 26 jaar 'identiek' aan de basisprognoses? Nee, de bovenstroomse debieten zijn opnieuw afgeleid en kunnen mogelijk verschillen van de basisprognoses.>>   CW: Wat ik begrijp van Nienke is de zijn de referentie debieten ook gelijk aan de metingen. Deze zullen dus niet veranderen. Voor de scenario's zijn ze wel verschillend. 

In een memo is vastgelegd welke uitgangspunten toegepast zijn voor de generatie van de 100-jaar afvoerreeks <<referentie toevoegen; NB. Het aanmaken van een link werkt niet meer in Wiki?>>  

 

Aanpassing testprotocol voor release 1.4

De volgende uitbreidingen hebben plaatsgevonden aan het testprotocol:

Alle uitbreidingen hebben betrekking op de 'testprotocollen Zoetwater'.

Er zijn geen uitbreidingen voor de 'testprotocollen Veiligheid'. 


Conclusies: Alle technische en plausibiliteitstesten voor de vier nieuwe LHM workflows zijn met success uitgevoerd. Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd.

 

 

Aanpassingen van het testprotocol voor de release 1.4.0.0

Het testprotocol voor LHM is op de volgende onderdelen uitgebreid:

  • Check of de debieten in LHM en LSMLT in rekenpunten zo dicht mogelijk bij de open randen overeenkomen  Check of de afvoer in LHM en LSMLT op het eerste rekenpunt in het model overeenkomt met de debieten die aangeleverd zijn voor Monsin enh en Lobith. Dit dient wordt getest te worden voor beide alle vier workflows.
  • Check of de afvoeren debieten bij Hagestein , Tiel en Lith in een bepaald jaar tussen 1981-2006 overeenkomen - namelijk voor 2003 - overeenkomen met de waarden uit de basisprognose. Check dit voor LHM en LSMLT voor het jaar 2003. CW door Door de verandering in de regen/evaporatie etc zijn deze niet gelijk. Hier moeten we dit op o.a. de regenval en de verdamping mogen en kleine verschillen optreden. Op basis van expert judgement bepalen of het goed gaat. Dit moeten we dus nog even doordenken...de resultaten acceptabel zijn.
  • Check via de waterstanden of de zeespiegelstijging correct is geimplementeerd in LSMLT. NB. In LHM zijn waterstanden geen uitvoergrootheid en kan deze test niet uitgevoerd worden.Check of de zeespiegelstijging correct zijn doorgevoerd. 
  • Check of de maatregelen doorkomen in het systeem.

Verder toe te voegen:

  • Checken of het aantal toegevoegde locaties klopt. 

 

  • LHM en LSMLT.

In deze sprint zijn ook testen voor LSMLT toegevoegd aan het testprotocol, maar deze testen zijn nog niet uitgevoerd. In de volgende sprint zullen de workflows voor LSMLT getest worden.

   

 

Nieuwe testprotocollen voor LHMVoorstel voor nieuwe testprotocollen:

In de huidige testprotocollen is steeds het jaar 2003 gekozen voor de testen. Voor de nieuwe testprotocollen daarom ook 2003 gebruiken.worden naast 2003 ook testen voor de jaren 1911, 1912 en 2011 uitgevoerd. Voor zowel LHM als LSMLT zijn de volgende testen toegevoegd:
Voor REF2015S1(Z0):

  • (ZW-LHM-P-41 t/m 44 / ZW-LSMLT-P-41 t/m 44) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 1911, 1912, 2003 en 2011
  • (ZW-LHM-P-45 / ZW-LSMLT-P-45) Plausibiliteitstest m.b.t. het debiet bij Hagestein.

Voor WARM2050S1(Z0)Voor S1 (zowel voor LHM als LSMLT):

  • (ZW-LHM-P-14 51 t/m 54 / ZW-LSMLT-P-1151 t/m 54) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobithvoor 1911, 1912, 2003 en 2011
  • (ZW-LHM-P-55 / ZW-LSMLT-P-55) Plausibiliteitstest het debiet bij Hagestein.

Voor REF2015S2(Z0):

  • (ZW-LHM-P-43 15 / ZW-LSMLT-P-1243) Plausibiliteitstest voor bovenstroomse afvoer bij Monsin en Lobith voor 2003 
  • (ZW-LHM-P-46 / ZW-LSMLT-P-46) Plausibiliteitstest voor flexibel peilbeheer IJsselmeer-Markermeer
  • (ZW-LHM-P-47 / ZW-LSMLT-P-47) Plausibiliteitstest voor KWA-15
  • (ZW-LHM-P-48 -16 / ZW-LSMLT-P-48) Plausibiliteitstest voor Roode Vaart
  • (ZW-LSMLT-P-4913) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor REF2015 vergelijk met basisprognoses; voor WARM2050 check op + 35 cm.

Voor WARM2050S2(Z0):

  • (ZW-LHM-P-17 43 / ZW-LSMLT-P-1443) Plausibiliteitstest m.b.t. waterstand en debiet voor een nader te specificeren locatie. Het voorstel is om Hagestein of Tiel te nemen, omdat hiervoor veel kennis/informatie beschikbaar is.

Dus acht plausibiliteitstesten toevoegen.
Als technische test: alle locaties uitvoeren naar Excel en die vergelijken met de Excel-file van Carine? NB. Bij de technische testen verandert alleen het aantal Locatie-id's. Andere parameters zoals module instanties en parameter-id's moeten hetzelfde blijven .

...

  • voor bovenstroomse afvoer bij Monsin en Lobith voor 2003 
  • (ZW-LHM-P-18 56 / ZW-LSMLT-P-1556) Plausibiliteitstest voor Flexibel Pijl flexibel peilbeheer IJsselmeer-Markermeer
  • (ZW-LHM-P-19 57 / ZW-LSMLT-P-1657) Plausibiliteitstest voor Roode VaartKWA-15
  • (ZW-LHM-P-20 58 / ZW-LSMLT-P-1758) Plausibiliteitstest voor KWA-15Roode Vaart
  • (ZW-LHM-P-21 /ZW-LSMLT-P-18) Plausibiliteitstest m.b.t. waterstand en debiet voor een nader te specificeren locatie.

 Dus acht plausibiliteitstesten toevoegen

 

Vragen/Opmerkingen:

  • Welke locaties bij de bovenstroomse randen Monsin en Lobith gaan we gebruiken om het (invoer)debiet te controleren? Evenzo welke locaties voor de benedenstroomse waterstanden bij de Maasmond?
    • Lobith: N_RT_001
    Eijsden/Monsin: N_MS_001
    Maasmond: N_NDB_1

 

 

  • 59) Plausibiliteitstest zeespiegel(rijzing) voor benedenstroomse waterstanden bij open rand Maasmond (=locatie Hoek van Holland); Voor WARM2050 check op + 40 cm.

NB. Bij de workflows is "Z0" tussen haken gezet, omdat de workflows zonder zout zijn doorgerekend in deze release, maar in de toekomst zal dit ook met zout uitgevoerd worden.  

 

TestbevindingenTestbevindingen  (CONCEPT, nog te doen)

Onderstaande tabel bevat resultaten van de technische en plausibiliteit testen voor Zoetwater.
release 1.4.0.0. De kolommen hebben de volgende betekenis:

...

  • (tick): succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues.
  • (error): niet succesvol
  • n.v.t.: niet gedefinieerd/niet voorzien
  • —: niet uitgevoerd

 

 Bij de testnummers staan twee nummers vermeld; de eerste geldt voor REF2015S1 en de tweede voor WARM20150S1.

Bij de LHM plausibiliteitstesten waarin voor debieten de opgelegde randvoorwaarden en modelresutaten vergeleken zijn, is het verschil (in percentages) bijgevoegd. Het gemiddelde verschil voor Monsin en Lobith is weergegeven. De LHM resultaten zijn in decaden, terwijl de randvoorwaarden in dagen zijn. Ook het numerieke rekenschema van LHM heeft invloed op de resultaten. Hoe worden deze daggemiddelde waarden precies toegepast in een tijdstap van 10 dagen? De geteste locaties van de modelresultaten liggen weliswaar dicht bij de open randen, maar deze zijn niet exact gelijk. Dit geeft ook een verschil.  Bovendien kunnen tussenliggende lozingen en processen als neerslag en verdamping een klein verschil veroorzaken. Dit alles maakt dat de berekende modeldebieten niet exact gelijk zullen zijn aan de randvoorwaarden, maar wel een grote overeenkomst moeten hebben.

Ondanks de vele hierboven genoemde redenen voor verschillen, blijken de verschillen slechts in de orde van 0 a 6% te zijn. Deze verschillen zijn, gelet op het voorgaande, zo klein dat geconcludeerd kan worden dat de juiste randvoorwaarden zijn toegepast in de modellen.

RegioWorkflowTest nr Testnummer WABES REF2015S1WABES WARM 2050S1 WARM2050S1 
   UitvoeringT PUitvoering TP 
 LandelijkLHM ZW-LHM-T-1118-10-2016 13:05:40 (T0: 2003)(tick)n.v.t.18-10-2016 18:07:11 (T0: 2003)(tick)n.v.t.
 LHM  ZW-LHM-P-41/5119-10-2016 11:03:39 (T0: 1911) n.v.t.(tick) (2.5%)17-10-2016 16:59:15 (T0: 1911)n.v.t.(tick) (4.3%)
 LHM  ZW-LHM-P-42/5219-10-2016 22:55:30 (T0: 1912) n.v.t.(tick) (1.1%)18-10-2016 05:36:52 (T0: 1912)n.v.t.(tick) (2.8%)
 LHM  ZW-LHM-P-43/5318-10-2016 13:05:40 (T0: 2003) n.v.t.(tick) (3.3%)18-10-2016 18:07:11 (T0: 2003)n.v.t.(tick) (6.0%)
 LHM  ZW-LHM-P-44/5419-10-2016 00:23:55 (T0: 2011) n.v.t.(tick) (0.7%)19-10-2016 06:06:03 (T0: 2011)n.v.t.(tick) (3.2%)
 LHM  ZW-LHM-P-45/5518-10-2016 13:05:40 (T0: 2003) n.v.t.(tick)18-10-2016 18:07:11 (T0: 2003)n.v.t.(tick)

 

 

RegioWorkflowTestnummer WABES REF2015S2WABES WARM2050S2 
   UitvoeringT PUitvoering TP 
 LandelijkLHM ZW-LHM-T-1128-10-2016 14:36:36 -10-2016 00:00:00 (T0: 2003)(error)(tick) n.v.t.0028-10-2016 0014:0036:00 51 (T0: 2003)(error)(tick)  n.v.t.
 LHM  ZW-LHM-P-1443/530028-10-2016 0014:0036:00 36 (T0: 2003) n.v.t.(error)(tick) (3.3%)2800-10-2016 0014:0036:00 51 (T0: 2003)n.v.t. (error) (tick) (6.0%)
 LHM  ZW-LHM-P-1545/550028-10-2016 0014:0036:00 36 (T0: 2003) n.v.t.(error)(tick)0028-10-2016 0014:0036:00 51 (T0: 2003)n.v.t.(tick)
 LHM  ZW-LHM-P-46/5628-10-2016 14:36:36 (T0: 2003) n.v.t.(tick)28-10-2016 14:36:51 (T0: 2003)n.v.t.(tick) (error)
 LHM  ZW-LHM-P-1647/570028-10-2016 0014:0036:00 36 (T0: 2003) n.v.t.(error)(tick)0028-10-2016 0014:0036:00 51 (T0: 2003)n.v.t. (error)(tick)
 LHM  ZW-LHM-P-1748/580028-10-2016 0014:0036:00 36 (T0: 2003) n.v.t.(error)(tick) 0028-10-2016 0014:0036:00 51 (T0: 2003)n.v.t.(tick)

 

 

 Alle technische en plausibiliteitstesten voor het NDB-zout model zijn ook met success uitgevoerd. Dit betreft de volgende testen: 

 (error)
RegioWorkflowTestnummer REF2015S0WARM2085S0 
   UitvoeringT PUitvoering TP 
 LandelijkNDBLSM Light ZW-LSMLTNDB-T-110004-10-2016 0013:0003:00 11 (T0: 2003)(error)(tick)n n.v.t.0004-10-2016 0013:0003:00 26 (T0: 2003)(error)(tick) n  n.v.t.
 LSM LightNDB ZW-LSMLTNDB-P-110004-10-2016 0013:0003:00 11 (T0: 2003) n.v.t.(error)(tick)0004-10-2016 0013:0003:00 26 (T0: 2003)n.v.t.  (error)(tick)
 LSM LightNDB ZW-LSMLTNDB-P-120004-10-2016 0013:0003:00 11 (T0: 2003) n.v.t.(error)(tick)0004-10-2016 0013:0003:00 26 (T0: 2003)n.v.t.  (error)(tick)
 LSM LightNDB ZW-LSMLTNDB-P-130004-10-2016 0013:0003:00 11 (T0: 2003) n.v.t.(error)(tick)0004-10-2016 0013:0003:00 26 (T0: 2003)n.v.t.  (error)(tick)
 LSM LightNDB ZW-LSMLTNDB-P-140004-10-2016 0013:0003:00 11 (T0: 2003) n.v.t.(error)(tick) 0004-10-2016 0013:0003:00 26 (T0: 2003)n.v.t.(tick)

 

 

...