In deze sectie staan de testresultaten van de werkzaamheden voor release 1.3 (VERSIE 29 JUNI 2016):
Pre-conditie voor het uitvoeren van een workflow is dat alle voorgaande workflows (, als onderdeel van een serie workflows met afhankelijkheid van invoerdata) , succesvol zijn afgerond. In de testbevindingen kan het voorkomen dat een tussenliggende workflow later opnieuw is uitgevoerd om een specifieke verbetering te testen. Indien zo'n verbetering impact heeft op de vervolg workflows zijn , dan zijn ook deze workflows opnieuw getest.
Aanleiding voor deze release is het doorvoeren van een correctie op de afvoerreeksen Monsin en Lobith. Dit heeft impact op de randvoorwaarden voor LHM, LSM en LTM ,de afvoer van zijrivieren en buiten . Buiten het NWM om voor heeft dit impact op de berekende Chloride-concentratie chlorideconcentratie, die als input dient voor LHM.
In release 1.3 zijn de volgende wijzigingen doorgevoerd (check team)de sprint van 15 t/m 28 juni 2016 is aan de volgende onderdelen gewerkt:
- Toevoegen zoutmodule Noordelijk DeltaBekken model inclusief zoutmodule;
- Vervanging Vervangen van afvoerreeksen Rijn, Maas en zijrivieren; en
- Verbeteren van de performance van het NWM
De laatste twee onderdelen zijn afgerond, maar de zoutmodule NDB niet. Naar aanleiding van de testbevindingen is, in onderling overleg met de opdrachtgever, besloten alleen de twee gerealiseerde onderdelen op te leveren. Voor het niet opgeleverde onderdeel - zoutmodule NDB - is wel een testprotocol opgesteld. Aan de zoutmodule NDB wordt doorgewerkt en zal z.s.m. op basis van dit testprocotol getoetst worden.
Toelichting voor het 'Noordelijk Deltabekken model':
Aan het NWM-testplan is een testprotocol voor het NDB-model toegevoegd. Testprocedure: In eerste instantie wordt is een bestaand NDB-scenario ingebouwd in NWM. Dit betreft het "LSM-light 2014" scenario, waarvoor de modelresultaten beschreven zijn in memo 1230058-001-ZWS00004 (van Frans Buschman en Edwin Snippen d.d. 31 mei 2016). Dit model heeft ongecorrigeerde afvoerreeksen. De simulatieperiode is hele jaar 20031-1-2001 t/m 1-1-2007. In het testprotocol wordt alleen het jaar 2003 beschouwd, omdat in september/oktober van 2003 een extreme situatie optrad met een enorme zoutindringing in het Noordelijk Deltabekkengebied. Op een drietal plaatsen (Krimpen aan den IJssel, Bernisse en Bergambacht) worden de zijn de waterstanden , debieten en zoutconcentraties vergeleken. Tevens wordt de modelresultaten gecontroleerd voor het Volkerak-Zoommeer. De resultaten moeten identiek zijn aan het bestaande NDB-scenario dat buiten NWM (stand-alone) heeft gedraaid.Zodra deze test succesvol is, worden de gecorrigeerde afvoerreeksen in het model gezet. Dit scenario word opgeleverd aan RWS. Hiervoor worden de modelresultaten global beoordeeld. (Zijn de veranderingen in modelresultaten plausibel ten gevolge van de gewijzigde afvoeren? Is de zoutindringing vanuit zee hoger/lager, omdat de riviereafvoeren lager/hoger zijn?), zie ook het protocol voor Configuratie update (groot).
De functionaliteit die met dit onderdeel van de FAT release 1.3 getest wordt is of het inbouwen van een extra stap in de modeltrein correct werkt. Hierbij is het niet noodzakelijk dat dit met de gecorrigeerde afvoerreeks gebeurt. Het testprotocol is er op gericht of de workflow technisch correct draait en of resultaten buiten het NWM om binnen de FEWS-applicatie gereproduceerd kunnen worden met dezelfde invoer. Op dit moment wordt er gewerkt aan implementatie zoutmodule op basis van NDB-SOBEK-RE in een stand-alone branch. Hierbij wordt gerekend en getest met de resultaten uit release 1.1 en de analyses voor externe verzilting (fase 2 o.b.v. LSMLT afvoeren Hagestein, Tiel, Lith) om vergelijking met eerdere resultaten mogelijk te maken.
Toelichting voor de 'Vervanging van afvoerreeksen':
De afvoerreeks voor Lobith, Monsin en van zijrivieren worden gecorrigeerd op basis van metingen uit mei 2016. (Nader omschrijven hoe de afvoerreeksen veranderd zijn en welke afleiding hierbij toegepast is)Testprocedure: de nieuwe afvoerreeksen worden eerst zijn gecorrigeerd. Deze met het HBV model berekende afvoeren zijn aangepast om voor de referentiesituatie een betere overeenkomst met metingen te hebben. De nieuwe afvoerreeksen zijn allereerst buiten NWM (lees FEWS) vergeleken met de oorspronkelijke afvoerreeksen. Als Nadat dit akkoord wordt bevonden was, dan kunnen vervolgens zijn de nieuwe afvoerreeksen vervolgens in het NWM gezet worden . Dit betekent dat de modelresultaten voor LHM, LSM, LSM Light en LTM Light zullen veranderen. Met het LSM model worden zijn geen testen uitgevoerd, vnawege de beperkte beschikbare tijd en de druk op de opleveringten behoove van de productieruns voor de basisprognoses. Voor LSM Light en LTM Light worden zijn alleen de scenarios REF2015S0 en W2085S0 getest. (Wie gaat bepalen of de resultaten plausibel zijn?)
Toelichting op 'Verbetering van de NWM-performance':
De volgende twee opschoonacties zijn uitgevoerd om de performance van het NWM te verbeteren, waarbij gebruik gemaakt is van de review naar de performance-problemen door Marc van Dijk (Deltares):
- de Mozart LSW locaties zijn op de T-omgeving uit de database gehaald; en
- de filters voor de LSW's zijn op de T-omgeving uit de database verwijderd.
Voorafgaande aan deze twee opschoonacties was het geheugengebruik voor de tijdreeksen ongeveer 620 MB. Na de hierboven genoemde twee opschoonacties is dit gereduceerd tot 335 MB. Hierdoor is de NWM-performance verbeterd. Dit blijkt uit de onderstaande twee figuren, waarbij het geheugengebruik voor de tijdreeksen ongeveer in het midden van het scherm vermeld staat. Hierdoor is de NWM-performance verbeterd.
Figuur met geheugengebruik VOOR de opschoonacties
Figuur met geheugengebruik NA de opschoonacties
Stand van zaken van de testen:
Onderstaande tabellen bevatten de resultaten van de technische- en plausibiliteitstesten voor Zoetwater PER 28 JUNI 2016.
De kolommen hebben de volgende betekenis:
...
: succesvol, met als voorbehoud de in de testprotocollen opgenomen known issues.
: niet succesvol
- n.v.t.: niet gedefinieerd/niet voorzien
- —: nog niet uitgevoerd
Voor 'Vervanging van afvoerreeksen van Rijn en Maas':
...
Regio | Workflow | Test nr | REF 2015 | W 2085 | ||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
Uitvoering | T | P | Uitvoering | T | P | |||||||||||||
Landelijk | LSM Light | ZW-LSMLT-T-11 | 0025-06-2016 0016:016:0 45 (T0: 2003) | — | n.v.t. | 0027-06-2016 0007:004:0 05 (T0: 2003) | — | n.v.t. | ||||||||||
LSM Light | ZW-LSMLT-P-11 | 0025-06-2016 0016:016:0 45 (T0: 2003) | n.v.t. | — | 0027-06-2016 0007:004:0 05 (T0: 2003) | n.v.t. | — 1) | |||||||||||
LSM Light | ZW-LSMLT-P-12 | 0025-06-2016 0016:016:0 45 (T0: 2003) | n.v.t. | — | 0027-06-2016 0007:004:0 05 (T0: 2003) | n.v.t. | — — 1) | |||||||||||
LSM LightLHM | ZW-LSMLTLHM-PT-1311 | 0024-06-2016 0016:017:0 17 (T0: 2003) | n.v.t. | — | 0026-06-2016 0017:023:0 26 (T0: 2003) | n n.v.t. | ||||||||||||
— | LHM LSM Light | ZW-LSMLTLHM-P-1411 | 0024-06-2016 0016:017:0 17 (T0: 2003) | n.v.t. | — | 0026-06-2016 0017:023:0 26 (T0: 2003) | n.v.t. | — | ||||||||||
LHM | ZW-LHM-TP-1112 | 0024-06-2016 0016:017:0 17 (T0: 2003) — | n.v.t. | 26 00-06-2016 0017:023:0 26 (T0: 2003) | — | nn.v.t. | | |||||||||||
LHM | ZW-LHM-TP-1213 | 0024-06-2016 0016:017:0 17 (T0: 2003) — | n.v.t. | 0026-06-2016 0017:023:0 26 (T0: 2003) | — | nn.v.t. | | |||||||||||
LHM | LTM Light | ZW-LHMLTMLT-PT-3111 | 0028-06-2016 0013:004:0 28 (T0: 2003) | | n.v.t. | — | 0028-06-2016 0013:005:0 00 (T0: 2003) | n n.v.t. — | ||||||||||
LHM | LTM Light | ZW-LHMLTMLT-P-3211 | 0028-06-2016 0013:004:0 28 (T0: 2003) | n.v.t. | — | 0028-06-2016 0013:005:0 00 (T0: 2003) | n.v.t. | n.v.t. — | ||||||||||
LHM | LTM Light | ZW-LHMLTMLT-P-3312 | 0028-06-2016 0013:004:0 28 (T0: 2003) | n.v.t. | — | 0028-06-2016 0013:005:0 00 (T0: 2003) | n.v.t. | n.v.t. — | ||||||||||
LHM | LTM Light | ZW-LHMLTMLT-P-3413 | 0028-06-2016 0013:004:0 28 (T0: 2003) | n.v.t. | — | n.v.t. | 28 00-06-2016 0013:005:0 00 (T0: 2003) | n.v.t. | — | |||||||||
LHM | LTM Light | ZW- | LHMLTMLT-P- | 3514 | 0028-06-2016 | 0013: | 004: | 028 (T0: 2003) | n.v.t. | — | 00n.v.t. | 28-06-2016 | 0013: | 005: | 000 (T0: 2003) | n.v.t. | — | |
...
1) Bij W2085 scenario's is geconstateerd dat WH scenario gebruikt is i.p.v. WHDRY scenario. Gecorrigeerde simulaties ( op basis van WHDRY) zijn nog niet voltooid. Daarom zijn tot nu toe alleen de T-testen uitgevoerd voor de W2085 scenario's.
2) Bij LSMLT W2085 zijn er acht extra Locatie id's (nu 1731) en twee extra parameters id's (nu 21) en twee extra module instanties (nu 5).
De twee extra module instanties zijn: ZW_LSMBoundariesImport_W2085S0 en ZW_ImportMeteo_W2085S0. Dit is conform het protocol.
De twee extra parameters id's zijn: P.m (neerslag) en Q.uh. Dit is conform het protocol .
De acht extra locaties id's zijn: KNMI en zeven LSM_RND_XXX locaties, omdat de LSM_boundaries zijn aangepast. Dit is ook conform het protocol.
3) Bij ZW_LHM_REF2015 is het aantal locaties id's (4872) fors verschillend van de waarde in de tabel Testwaarden Zoetwater (13472), omdat de database opgeschoond is (zie 'Verbetering van de NWM-performance'). Omdat alle andere parameters wel kloppen en er een verklaring voor het verschil is, is deze test goedgekeurd. De tabel met testwaarden is op dit onderdeel aangepast. De aanbeveling is om het testprotocol aan te passen en voortaan het maximale aantal te hanteren. Bij afwijking beoordeelt de test coordinator, in overleg met de ontwikkelaars, of het verschil klopt op basis van de doorgevoerde wijzigingen.
4) Bij ZW_LTMLT REF2015 zijn er meer locatie id's (277 om 262) en meer module instanties (7 om 4). Bij ZW_LTMLT W2085 zijn er meer locatie id's (277 om 262) en meer module instanties (9 om 4). Bij de ZW_LTLMT scenario's zijn er maximaal 13 module instanties. Het aantal kan varieren, wat van een aantal factoren waaronder de modelaanpassingen afhangt. Omdat het aantal module instanties in de te verwachten interval (tussen 4 en 13) ligt, zijn deze testen goedgekeurd. Aanbeveling: Het voorstel is om het protocol aan te scherpen op dit onderdeel en voortaan het maximale aantal te noemen. Bij afwijking beoordeelt de test coordinator, in overleg met de ontwikkelaars, of het verschil klopt op basis van de doorgevoerde wijzigingen.
NB. ZW-LSMLT-P13 en ZW-LSMLT-P14 zijn niet uitgevoerd, omdat dit een vergelijking is tussen LSM en LSM Light. Omdat de LSM scenario's niet gedraaid zijn met de gecorrigeerde afvoerreeksen, kunnen deze vergelijkingen nog niet uitgevoerd worden.
Voor 'zoutmodule Noordelijk Deltabekken':
Voor de zoutmodule NDB zijn nog geen succesvolle testen op de T-omgeving uitgevoerd. De testprotocollen zijn al wel toegevoegd aan de Wiki.
Voor 'Noordelijk Deltabekken model':
Regio | Workflow | Test nr | REF 2015 | W 2085 | ||||
---|---|---|---|---|---|---|---|---|
Uitvoering | T | P | Uitvoering | T | P | |||
Noordelijk Deltabekken | NDB | ZW-NDB-T-11 | 00-06-2016 00:0:0 (T0: 2003) | — | n.v.t. | 00-06-2016 00:0:0 (T0: 2003) | — | n.v.t. |
NDB | ZW-NDB-P-11 | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | |
NDB | ZW-NDB-P-12 | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | |
NDB | ZW-NDB-P-13 | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | |
NDB | ZW-NDB-P-14 | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — | 00-06-2016 00:0:0 (T0: 2003) | n.v.t. | — |