Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). De FAT (Functionele AcceptatieTest) is een belangrijke stap in dit ontwikkelproces en markeert de overgang van OT naar AP-omgeving in een formele oplevering van een bepaalde release aan WVL. De FAT is een stap in een breder proces van kwaliteitsborging om ervoor te zorgen dat uiteindelijk resultaten van berekeningen als open data gepubliceerd kunnen worden. De stappen bestaan op hoofdlijnen uit:
1 Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2 Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3 Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4 Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5 Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6 Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
In deze rapportage staan de testbevindingen die tijdens de FAT zijn uitgevoerd. Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven. In deze rapportage staan de testbevindingen voor release 2.1 (CONCEPTVERSIE 11 APRIL 2018). In de (test)sprint van 26 maart t/m 9 april 2018 zijn hiervoor testen uitgevoerd. Hierbij worden wijzigingen in het NWM getest. De wijzigingen staan hieronder beschreven onder 'doel en impact van release 2.1'. Op 9 april is release 2.1 opgeleverd inclusief deze testrapportage.
Deze testrapportage is gebaseerd op de indeling die in memo "Voorstel verbetering testprocedures NWM-zoetwater" (met kenmerk 11202205-004-ZWS-0001 d.d. 5 maart 2018) is beschreven.
Bij release 2.0 is ook een FAT is uitgevoerd (zie Testbevindingen release 2.0.0.0). Ten opzichte van release 2.0 zijn in release 2.1 zijn de volgende wijzigingen gerealiseerd:
Op verzoek van WVL worden nog een paar last-minute wijzigingen doorgevoerd. Dit betreft:
Laatstgenoemde wijziging vraagt ook een update van Agricom, deze is in release 2.0 niet meegenomen. Agricom is (voorlopig) vanaf release 2.0 daarom geen onderdeel van de NWM-applicatie. De update van Agricom wordt na de FAT van release 2.1.0.0 doorgevoerd.
In deze rapportage staan de testbevindingen die tijdens de FAT zijn uitgevoerd. Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat- de GAT (Gebruikers AcceptatieTest) uitvoert. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven. In de onderstaande tabel wordt het type wijziging per aangebrachte wijziging uitgewerkt:
Tabel TR.01: Relatie van verandering tot type van verandering en de impact
| Wijziging | Type wijziging | Mogelijke impact |
|---|---|---|
LHM – parallel rekenen | Nieuwe rekensoftware | Andere resultaten |
Locatie dataset | Nieuwe dataset | Geen andere resultaten |
Referentie 2017 | Nieuwe schematisatie | Andere resultaten |
Deltascenario’s | Nieuwe datasets | Andere resultaten |
Omdat er nieuwe (Referentie 2017) schematisaties zijn, nieuwe datasets en ook de software gedeeltelijk vernieuwd is (parallel rekenen voor LHM), kan gesteld worden dat NWM-Zoetwater volledig vernieuwd is.
Op basis van het memo "Voorstel verbetering testprocedures NWM-zoetwater" is er een directe link gelegd tussen het 'type van verandering' in een release en de 'type testen' die uitgevoerd worden. Er zijn vijf 'typen van testen' gedefinieerd, te weten;
De letter tussen haakjes is onderdeel van het testnummer van de testprotocollen, waardoor het type van test voortaan eenvoudig te herkennen is. Voor release 2.1 zijn de reeds aanwezige testen ingedeeld in bovenstaande categorieën. Hieruit blijkt dat nog niet voor alle modellen alle categorieën gevuld zijn. Voor release 2.1 is met RWS-WVL afgesproken om het testen met alleen de aanwezige testen uit te voeren. Voor de categorieën die nog niet voldoende zijn gevuld, wordt in een later stadium een voorstel gedaan voor een geschikte test of deze worden gevuld door middel van release-specifieke testen.
Op basis van de requirements en de daarbij horende 'type van wijziging' is aan de hand van de tabel in paragraaf 4.1 van memo "Voorstel verbetering testprocedures NWM-zoetwater" een lijst van standaardtesten gegenereerd (op basis van de huidige testprotocollen).
De zes Deltascenario's zijn "Referentie2017", "2050 Rust2017","2050 Warm2017", "2050 Druk2017","2050 Stoom2017" en "2050 DrukParijs2017". In principe dienen voor al deze 6 Deltascenario’s alle testen opnieuw uitgevoerd te worden. Echter, voor release 2.1 is van de randvoorwaarde uitgegaan dat de testen binnen een tijdspanne van twee weken uitgevoerd moeten kunnen worden. Binnen het beschikbare tijdpad en budget is het niet haalbaar om alle testen voor alle 6 Deltascenario’s uit te voeren. Op basis van de in release 2.1 aangebrachte veranderingen is in overleg met de experts het volgende pakket van testen samengesteld en uitgevoerd:
Het voorgaande leidt tot het volgende voorstel voor de volgende testberekeningen in release 2.1:
Met dit pakket aan testen:
De technische controles worden uitgevoerd voor de jaren 1911-1912 en 2011. Hier wordt alleen gekeken naar Het LHM model zonder zout (LHM-Z0). Gekozen is om alleen deze stap te controleren omdat dit model het eerste model is in de rekentrein en daarom het minste doorlooptijd vergt voordat deze sommen aangezet kunnen worden. LHM Z0 gebruikt dezelfde meteo- en hydrologische invoer als LHM, alleen de chloride randvoorwaarden verschillen.
De inhoudelijke controles zijn uitgevoerd voor het jaar 2003, omdat hiervoor de meeste kennis en metingen beschikbaar zijn. Voor het scenario 'Referentie 2017' is de gehele modellentrein doorlopen. Dit betekent dat testen zijn uitgevoerd voor 'LHM zonder zout', 'LSM Light zonder zout', het NDM model', 'LHM met zout' , 'LSM Light met zout' en 'LTL Light'. Samengevat, voor een tweetal scenario's (Referentie 2017 en Warm2017) en voor een bepaald jaar (2003) zijn alle modelschematisaties van de workflow getest.
In onderstaande tabellen worden de standaardtesten weergegeven. Onderstaande legenda geeft verdere uitleg over de tabellen.Een meer gedetailleerde beschrijving van de uitgevoerde testen is beschreven in de bijlagen.
Legenda:
: succesvol 
: succesvol na overleg met een inhoudelijk expert
: niet succesvol
Tabel TR.02: Testen voor de jaren 1911 en 2011 voor alle zes Deltascenario's
| Modelschematisatie | Testen | Beschrijving test | Ref2017 1911 | Warm 1911 | Rust 1911 | Stoom 1911 | Druk 1911 | DrukParijs 1911 |
|---|---|---|---|---|---|---|---|---|
| LHM zonder zout | ZW-LHM-T-01 | Uitvoeren workflow | | | | | | |
| ZW-LHM-T-02 | Rekentijd | | | | | | |
| Modelschematisatie | Testen | Beschrijving test | Ref2017 2011 | Warm 2011 | Rust 2011 | Stoom 2011 | Druk 2011 | DrukParijs 2011 |
|---|---|---|---|---|---|---|---|---|
| LHM zonder zout | ZW-LHM-T-01 | Uitvoeren workflow | | | | | | |
| ZW-LHM-T-02 | Rekentijd | | | | | | |
Tabel TR.03: Testen voor het jaar 1912 voor Deltascenario Referentie2017
| Modelschematisatie | Testen | Beschrijving test | Ref2017 1912 | DrukParijs 1912 |
|---|---|---|---|---|
| LHM Z0 | ZW-LHM-T-01 | Uitvoeren workflow | | |
| ZW-LHM-T-02 | Rekentijd | | | |
| ZW-LHM-R-61 | Takdebieten | | | |
| LSMLT (zowel zonder als met zout) | ZW-LSMLT-T-01 ZW-LSMLT-T-03 ZW-LSMLT-I-03 | Uitvoeren workflow Doorlooptijd Debieten voor Monsin en Lobith | niet uitgevoerd | |
| NDB | ZW-NDB-T-01 | Uitvoeren workflow | niet uitgevoerd | |
| LTMLT | ZW-LTMLT-T-01 | Uitvoeren workflow | niet uitgevoerd | |
Tabel TR.04: Testen voor het jaar 2003 voor Deltascenario's Referentie2017 en "2050 DrukParijs2017"
| Modelschematisatie | Testen | Beschrijving test | Ref2017 2003 | DrukParijs 2003 |
|---|---|---|---|---|
| LHM-Z0 | ZW-LHM-T-01 | Uitvoeren Workflow | | |
| ZW-LHM-T-02 | Rekentijd | | | |
| ZW-LHM-R-41 | HG3 resultaten | niet uitgevoerd | ||
| ZW-LHM-R-45 | cum. verdampingsreductie testdata | niet uitgevoerd | ||
| ZW-LHM-R-46 | DEM_WMTOTAL testdata | niet uitgevoerd | ||
| ZW-LHM-R-47 | Afboer | niet uitgevoerd | ||
| ZW-LHM-R-44 | Peilverloop IJsselmeer | | | |
| ZW-LHM-R-01 | DM zomer en winterpeil | niet uitgevoerd | ||
| ZW-LHM-R-22 | Debiet Waal | | | |
| ZW-LHM-R-23 | Peilverloop IJsselmeer | niet uitgevoerd | ||
| ZW-LHM-R-24 | WABES_capaciteit KWA-15 | |
| |
| ZW-LHM-R-25 | WABES-Roode Vaart |
| | |
| ZW-LHM-R-26 | Aggregatie 17 gebieden | | | |
| ZW-LHM-E-01 | Wegschrijven naar OpenDAP | niet uitgevoerd | ||
| ZW-LHM-E-02 | Bestandsgrootte | niet uitgevoerd | ||
| ZW-LHM-E-03 | Aanwezigheid bestanden | niet uitgevoerd | ||
| ZW-LHM-E-04 | Controle log | niet uitgevoerd | ||
| LSMLT-Z0 | ZW-LSMLT-T-01 | Uitvoeren workflow | | |
| ZW-LSMLT-T-03 | Controle SOBEK versies | niet uitgevoerd | ||
| ZW-LSMLT-I-01 | SOBEK invoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-I-02 | Waterstanden en Afvoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-R-01 | Waterstand Vredesbrug | niet uitgevoerd | ||
| ZW-LSMLT-R-02 | Afvoeren grote rivieren | | | |
| ZW-LSMLT-E-01 | Wegschrijven naar OpenDAP | niet uitgevoerd | ||
| ZW-LSMLT-E-02 | Bestandsgrootte | niet uitgevoerd | ||
| ZW-LSMLT-E-03 | Export workflow | niet uitgevoerd | ||
| NDB | ZW-NDB-T-01 | Uitvoeren workflow | | |
| ZW-NDB-R-02 | Chlorideconcentratie Krimpen aan den IJssel | | | |
| ZW-NDB-R-03 | Chlorideconcentratie Bernisse | | | |
| ZW-NDB-R-04 | Chlorideconcentratie Bergambacht | | | |
| LHM | ZW-LHM-T-01 | Uitvoeren Workflow | | |
| ZW-LHM-T-02 | Rekentijd | | | |
| ZW-LHM-R-41 | HG3 resultaten | niet uitgevoerd | ||
| ZW-LHM-R-45 | cum. verdampingsreductie testdata | niet uitgevoerd | ||
| ZW-LHM-R-46 | DEM_WMTOTAL testdata | niet uitgevoerd | ||
| ZW-LHM-R-47 | Afvoer | niet uitgevoerd | ||
| ZW-LHM-R-44 | Peilverloop IJsselmeer | | | |
| ZW-LHM-R-01 | DM zomer en winterpeil | niet uitgevoerd | ||
| ZW-LHM-R-22 | Debiet Waal | | | |
| ZW-LHM-R-23 | Peilverloop IJsselmeer | niet uitgevoerd | ||
| ZW-LHM-R-24 | WABES_capaciteit KWA-15 | | | |
| ZW-LHM-R-25 | WABES-Roode Vaart | | | |
| ZW-LHM-R-26 | Aggregatie 17 gebieden | | | |
| ZW-LHM-E-01 | Wegschrijven naar OpenDAP | | | |
| ZW-LHM-E-02 | Bestandsgrootte | | | |
| ZW-LHM-E-03 | Aanwezigheid bestanden | | | |
| ZW-LHM-E-04 | Controle log | | | |
| LSMLT | ZW-LSMLT-T-01 | Uitvoeren workflow | | |
| ZW-LSMLT-T-03 | Controle SOBEK versies | niet uitgevoerd | ||
| ZW-LSMLT-I-01 | SOBEK invoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-I-02 | Waterstanden en Afvoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-R-01 | Waterstand Vredesbrug | niet uitgevoerd | ||
| ZW-LSMLT-R-02 | Afvoeren grote rivieren | | | |
| ZW-LSMLT-E-02 | Wegschrijven naar OpenDAP | | | |
| ZW-LSMLT-E-03 | Bestandsgrootte | | | |
| ZW-LSMLT-E-01 | Export workflow | | | |
| LTMLT | ZW-LTMLT-T-01 | Uitvoeren workflow | | |
| ZW-LTMLT-T-02 | Aanpassen T0 | niet uitgevoerd | ||
| ZW-LTMLT-R-01 | Watertemperatuur Roosteren | | | |
| ZW-LTMLT-R-02 | Watertemperatuur randen | | | |
Naast de standaardtesten worden de volgende release-specifieke testen uitgevoerd. Deze testen worden in het "standaard" format uitgewerkt. Indien in de toekomst wijzigingen doorgevoerd worden die op de betreffende functionaliteit impact heeft kan deze test eenvoudig worden hergebruikt.
Voor de rekenperformance:
Voor de locatie datasets:
Voor referentie 2017:
Voor Deltascenario's:
Tabel TR.05: Overzicht van release-specifieke testen
| Modelschematisatie | Testen | Doel van test | Ref2017 2003 | DrukParijs 2003 |
|---|---|---|---|---|
| LHM | ZW-LHM-r2.1-1 | Check rekentijd parallel rekenen | | |
| ZW-LHM-r2.1-2 | Modelresultaten onderling vergelijken | | | |
| LHM | ZW-LHM-r2.1-3 | Toevoegen van een locatie | | |
| ZW-LHM-r2.1-4 | Verwijderen van een locatie | | | |
| LSM Light | ZW-LSMLT-r2.1-5 | Check maartregel Noordervaart | | |
Op de WIKI zijn de resultaten van testberekeningen voor de FAT release 2.1 op een geselecteerd aantal locaties meegeleverd op verzoek van WVL. Deze zijn te downloaden vanaf deze link:
De testen zijn allemaal succesvol afgerond. Alleen de test over de bestandsgrootte van de export van het LSMLT model is gefaald. hiervoor staat nog een JIRA-Issue open (). Dit issue moet worden opgelost voor de officiele release.
Omdat er nieuwe (Referentie 2017) schematisaties zijn, nieuwe datasets en ook de software gedeeltelijk vernieuwd (parallel rekenen voor LHM). Door het ontbreken van een eenduidige resultaat en documentatie waarmee de aanpassingen voor de Deltascenario's konden worden vergeleken was bij uitvoering van de testen uiteindelijk vaak de inzet van een expert nodig om de resultaten te verifieren. Veel testen hebben daarmee het testoordeel "succesvol na overleg met een inhoudelijk expert".
Momenteel staat er -naast het bovengenoemde issue- nog 1 issue open, welke betrekking heeft op de database viewer (). Dit issue is afkomstig uit de zogenoemde "vrije test". Het issue is op de productbacklog opgenomen (wensenlijst voor toekomstige releases).
Op basis van de uitgevoerde tests concluderen we dat de FAT succesvol is doorlopen op de T-omgeving bij Deltares. De bekende issues hebben geen impact op het doorrekenen van de basisprognoses en de eindresultaten die berekend worden.
Op verzoek van WVL zullen na de FAT nog een paar last-minute wijzigingen worden doorgevoerd. Dit betreft:
Het doorvoeren van bovengenoemde wijzigingen heeft alleen betrekking op het onderdeel LHM. Gezien het tijdpad en het late moment van verzoek tot wijziging is in overleg met de opdrachtgever besloten om deze wijzigingen apart te controleren of de wijzigingen correct zijn doorgevoerd. Deze zijn beschreven in bijlage 7.
Laatstgenoemde wijziging vraagt ook een update van Agricom. Een geactualiseerde versie van AGRICOM is nog niet beschikbaar, daarom is Agricom vanaf release 2.0 vooralsnog geen onderdeel meer van de NWM-Zoetwater applicatie.