Inleiding
Deze rapportage beschrijft de wijzigingen binnen NWM release 2.2.3.0 en de testbevindingen van de FAT (Functionele Acceptatie Test). Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). Deze stappen bestaan op hoofdlijnen uit:
- Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
- Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
- Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
- Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
- Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
- Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers Acceptatie Test) uitvoert. De GAT focust zich binnen deze release niet op het herhalen van de FAT-testen, maar op het vaststellen of de berekeningen op de productieomgeving bij SSC Campus exact hetzelfde uitkomsten opleveren als op de Testomgeving waar de FAT wordt uitgevoerd; om die reden bevat de FAT ook een aantal acties gericht op het produceren van voor GAT-vergelijking bedoelde exportbestanden. Omwille van het beperken van de totale looptijd van de berekeningen wordt de omgeving voor zowel de GAT alsook voor de scenario-berekeningen gelijktijdig vrijgegeven; na goedkeuring van de GAT lopen de scenario-berekeningen door, bij afkeuring van de GAT zullen de scenario-berekeningen mogelijk worden gepauzeerd of herstart.
Release 2.2.3.0: aangebrachte wijzigingen t.o.v. release 2.2.1.0
Binnen NWM 2.2.3.0 is de volgende what-if scenario toegevoegd:
- Stoom 2050 - nieuwe bodemligging
Daarnaast is voor alle workflows de executable modsimtranmoz geupdate naar versie iMODFLOW svn1759, METASWAP svn1421 deze zal getest worden voor de referentie workflow:
- Referentie 2017 - nieuwe executable
Het doel van de berekeningen is om inzicht te krijgen in de effecten van een geactualiseerde bodemligging van de hoofdwateren op zoetwatervoorziening in het zichtjaar 2050 en te controleren of de nieuwe executable technisch goed draait tbv latere analyse op de productieomgeving.
FAT-testen
Hieronder staat de lijst van testen opgesomd die tijdens de FAT zijn uitgevoerd.
Invoer bodemligging berekening
FAT 2.2.3.0 Test 1.1: Check of grid voor de bodemhoogte (both_w_l2.idf en both_z_l2.idf) in de LHM what-if zip Stoom2050 verschilt met Stoom2050 (both_w_l1.idf en both_z_l1.idf blijven ongewijzigd).
FAT 2.2.3.0 Test 1.2: Check steekproefsgewijs of de peilen (PEILH_yyyymmdd.idf) verschillen in de LHM what-if zip Warm2050.
FAT 2.2.3.0 Test 1.3: Check DM wijziging (afstemming Geert, zie ook test 2.3 en 2.4)
Uitvoer bodemligging berekening
FAT 2.2.3.0 Test 2.1: Vergelijk de grondwaterstanden Stoom2050 som bodemdaling waarin ALLEEN de MODFLOW wijzigingen zijn doorgevoerd (zonder de DM wijzigingen)met eerdere som Stoom2050 zonder bodemdaling: GLG m.b.v. Imod buiten FEWS. Is de verschilkaart plausibel?
FAT 2.2.3.0 Test 2.2: Vergelijk de grondwaterstanden Stoom2050 som bodemdaling met eerdere som Stoom2050 zonder bodemdaling: GLG m.b.v. Imod buiten FEWS. Is de verschilkaart plausibel en verschilt deze van uitkomst test 2.1?
FAT 2.2.3.0 Test 2.3: Controleer takdebieten Stoom2050 die gewijzigd zouden moeten zijn: 6020 Waal, 6002 Pannerdens Kanaal, 6003 Nederrijn Driel, 6058 IJssel (oude vs. nieuwe som)
FAT 2.2.3.0 Test 2.4: Controleer takdebieten Stoom2050 die niet gewijzigd zouden moeten zijn (oude vs. nieuwe som)
Update executable
FAT 2.2.3.0 Test 2.5: Check (technisch) of de juiste executable wordt gebruikt
FAT 2.2.3.0 Test 2.6: Controleer (inhoudelijk) of de resultaten overeenkomen met de resultaten op de NHI server met gebruik van dezelfde executable
Meegenomen JIRA-issues
Tabel TR.01: Issues die in deze release zijn meegenomen
Issuenummer | Issue beschrijving | Controle |
---|---|---|
nvt | - | - |
Overzicht van de resultaten van het pakket aan FAT-testen
Tabel TR.02: Legenda
Icoon / Beschrijving | Betekenis |
---|---|
succesvol | |
niet succesvol | |
niet uitgevoerd | de reden hiervoor staat beschreven in veld opmerkingen |
n.v.t. | test niet uitgevoerd omdat dit niet nodig is, test voor enkel jaar (startjaar) afdoende. |
— | nog niet uitgevoerd |
In onderstaande tabellen worden de uitgevoerde testen weergegeven. Bovenstaande legenda geeft verdere uitleg over de gebruikte icoontjes/afkortingen in de tabellen.
Tabel TR.03: Testen voor de jaren 1911 en 1912 voor twee Deltascenario's Referentie 2017 en Stoom 2050
Testen | Model | Beschrijving test | Referentie 1911 | Warm 1911 | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
---|---|---|---|---|---|---|
FAT 2.2.3.0 Test 1.1 | LHM-Z0 | Uitvoeren workflow | nvt | |||
FAT 2.2.3.0 Test 2.1 | LHM-Z0 | Check grondwaterstanden | nvt | |||
FAT 2.2.3.0 Test 2.3 | LHM-Z0 | Controleer takdebieten | nvt | |||
FAT 2.2.3.0 Test 2.4 | LHM-Z0 | Controleer takdebieten | nvt | |||
FAT 2.2.3.0 Test 2.5 | LHM-Z0 | Check gebruikte exe | nvt | modsobsimtranmoz.exe op de fss vergeleken met Driver_iMODFLOWsvn1759_METASWAPsvn1421.exe in https://repos.deltares.nl/repos/Rekenfaciliteit_Deltamodel_Mod/trunk/Modules/NHI. Die kwamen overeen. | ||
FAT 2.2.3.0 Test 2.6 | LHM-Z0 | Check met eerdere som | nvt | Patronen in verschillen GHG/GLG bij gebruik nieuwe exe komen niet goed overeen met eerdere sommen. Ordegrootte wel. |
Tabel TR.04: Testen voor meegenomen JIRA-issues
Issuenummer | Model | Beschrijving test | Resultaat | Opmerkingen | Screenshot beschikbaar (zie Tabel TR.05) |
---|---|---|---|---|---|
nvt | - | - | - | - | - |
Tabel TR.05: Beschikbare screenshots behorende bij de uitgevoerde testen
Testen | Screenshot |
---|---|
FAT 2.2.1.0 Test 1.1 | geen screenshot aanwezig |
FAT 2.2.1.0 Test 2.1 | geen screenshot aanwezig |
Verschil GHG 1911 (REF2050 NWM 2.2.3.0 vs REF2050 DPZW productieomgeving)
Verschil GHG 1912 (REF2050 NWM 2.2.3.0 vs REF2050 DPZW productieomgeving)
Verschil GLG 1911 (REF2050 NWM 2.2.3.0 vs REF2050 DPZW productieomgeving)
Verschil GLG 1912 (REF2050 NWM 2.2.3.0 vs REF2050 DPZW productieomgeving)
Verschil GHG 2003 eerdere test
Verschil GLG 2003 eerdere test
Herstelde issues tijdens testfase
Er zijn geen inhoudelijke issues aangetroffen en hersteld.
Overige testbevindingen
X