Table of Contents
Table of Contents
| Versie | Datum | Auteur | Paraaf | Review | Paraaf | Goedkeuring | Paraaf |
|---|---|---|---|---|---|---|---|
| 1 | Carine Wesselius | Bennie Minnema | Harm Duel |
Inleiding
Een nieuwe release van de NWM-applicatie doorloopt de stappen van het OTAP-proces (Ontwikkeling, Test, Acceptatie en Productie). De FAT (Functionele AcceptatieTest) is een belangrijke stap in dit ontwikkelproces en markeert de overgang van OT naar AP-omgeving in een formele oplevering van een bepaalde release aan WVL. De FAT is een stap in een breder proces van kwaliteitsborging om ervoor te zorgen dat uiteindelijk resultaten van berekeningen als open data gepubliceerd kunnen worden. De stappen bestaan op hoofdlijnen uit:
1 Controle invoer: check op volledigheid en consistentie bij uitlevering van nieuwe datasets
2 Functionele acceptatietesten (FAT) bij oplevering: check op functionaliteit en plausibiliteit aan de hand van standaard testprotocollen
3 Testen bij installatie: controle op installatie (doorlopen workflows op alle rekenservers)
4 Gebruikers acceptatietesten: controle voor start berekeningen check op de workflow technisch en zijn resultaten plausibiliteit
5 Vinger-aan-de-pols tijdens berekeningen: monitoring en controles op steekproef tijdens het rekenproces (doel vroegtijdig signaleren van hickups en resultaten o.b.v. expert judgement i.s.m. project)
6 Controle van de uitkomsten: technische toets op volledigheid (datavalidatie)
In deze rapportage staan de testbevindingen die tijdens de FAT zijn uitgevoerd. Op basis van de FAT wordt door Rijkswaterstaat-WVL besloten om wel/niet over te gaan tot installatie van de applicatie op de acceptatieomgeving waar Rijkswaterstaat de GAT (Gebruikers AcceptatieTest) uitvoert. Na goedkeuring van de GAT kan de omgeving aan gebruikers worden vrijgegeven. In deze rapportage staan de testbevindingen voor release 2.1 (CONCEPTVERSIE 11 APRIL 2018). In de (test)sprint van 26 maart t/m 9 april 2018 zijn hiervoor testen uitgevoerd. Hierbij worden wijzigingen in het NWM getest. De wijzigingen staan hieronder beschreven onder 'doel en impact van release 2.1'. Op 9 april is release 2.1 opgeleverd inclusief deze testrapportage.
...
| Modelschematisatie | Testen | Beschrijving test | Ref2017 2003 | DrukParijs 2003 |
|---|---|---|---|---|
| LHM-Z0 | ZW-LHM-T-01 | Uitvoeren Workflow |  | |
| ZW-LHM-T-02 | Rekentijd | | | |
| ZW-LHM-R-41 | HG3 resultaten | niet uitgevoerd | ||
| ZW-LHM-R-45 | cum. verdampingsreductie testdata | niet uitgevoerd | ||
| ZW-LHM-R-46 | DEM_WMTOTAL testdata | niet uitgevoerd | ||
| ZW-LHM-R-47 | Afboer | niet uitgevoerd | ||
| ZW-LHM-R-44 | Peilverloop IJsselmeer | | | |
| ZW-LHM-R-01 | DM zomer en winterpeil | niet uitgevoerd | ||
| ZW-LHM-R-22 | Debiet Waal |  | | |
| ZW-LHM-R-23 | Peilverloop IJsselmeer | niet uitgevoerd | ||
| ZW-LHM-R-24 | WABES_capaciteit KWA-15 | |
| |
| ZW-LHM-R-25 | WABES-Roode Vaart |
| | |
| ZW-LHM-R-26 | Aggregatie 17 gebieden | | | |
| ZW-LHM-E-01 | Wegschrijven naar OpenDAP | niet uitgevoerd | ||
| ZW-LHM-E-02 | Bestandsgrootte | niet uitgevoerd | ||
| ZW-LHM-E-03 | Aanwezigheid bestanden | niet uitgevoerd | ||
| ZW-LHM-E-04 | Controle log | niet uitgevoerd | ||
| LSMLT-Z0 | ZW-LSMLT-T-01 | Uitvoeren workflow | | |
| ZW-LSMLT-T-03 | Controle SOBEK versies | niet uitgevoerd | ||
| ZW-LSMLT-I-01 | SOBEK invoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-I-02 | Waterstanden en Afvoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-R-01 | Waterstand Vredesbrug | niet uitgevoerd | ||
| ZW-LSMLT-R-02 | Afvoeren grote rivieren | | | |
| ZW-LSMLT-E-01 | Wegschrijven naar OpenDAP | niet uitgevoerd | ||
| ZW-LSMLT-E-02 | Bestandsgrootte | niet uitgevoerd | ||
| ZW-LSMLT-E-03 | Export workflow | niet uitgevoerd | ||
| NDB | ZW-NDB-T-01 | Uitvoeren workflow | | |
| ZW-NDB-R-02 | Chlorideconcentratie Krimpen aan den IJssel | | | |
| ZW-NDB-R-03 | Chlorideconcentratie Bernisse | | | |
| ZW-NDB-R-04 | Chlorideconcentratie Bergambacht | | | |
| LHM | ZW-LHM-T-01 | Uitvoeren Workflow | | |
| ZW-LHM-T-02 | Rekentijd | | | |
| ZW-LHM-R-41 | HG3 resultaten | niet uitgevoerd | ||
| ZW-LHM-R-45 | cum. verdampingsreductie testdata | niet uitgevoerd | ||
| ZW-LHM-R-46 | DEM_WMTOTAL testdata | niet uitgevoerd | ||
| ZW-LHM-R-47 | Afvoer | niet uitgevoerd | ||
| ZW-LHM-R-44 | Peilverloop IJsselmeer | | | |
| ZW-LHM-R-01 | DM zomer en winterpeil | niet uitgevoerd | ||
| ZW-LHM-R-22 | Debiet Waal | | | |
| ZW-LHM-R-23 | Peilverloop IJsselmeer | niet uitgevoerd | ||
| ZW-LHM-R-24 | WABES_capaciteit KWA-15 | | | |
| ZW-LHM-R-25 | WABES-Roode Vaart | | | |
| ZW-LHM-R-26 | Aggregatie 17 gebieden | | | |
| ZW-LHM-E-01 | Wegschrijven naar OpenDAP | | | |
| ZW-LHM-E-02 | Bestandsgrootte | |  | |
| ZW-LHM-E-03 | Aanwezigheid bestanden | | | |
| ZW-LHM-E-04 | Controle log | | | |
| LSMLT | ZW-LSMLT-T-01 | Uitvoeren workflow | | |
| ZW-LSMLT-T-03 | Controle SOBEK versies | niet uitgevoerd | ||
| ZW-LSMLT-I-01 | SOBEK invoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-I-02 | Waterstanden en Afvoer 2003 | niet uitgevoerd | ||
| ZW-LSMLT-R-01 | Waterstand Vredesbrug | niet uitgevoerd | ||
| ZW-LSMLT-R-02 | Afvoeren grote rivieren | | | |
| ZW-LSMLT-E-0102 | Wegschrijven naar OpenDAP | | | |
| ZW-LSMLT-E-0203 | Bestandsgrootte | | | |
| ZW-LSMLT-E-0301 | Export workflow | | | |
| LTMLT | ZW-LTMLT-T-01 | Uitvoeren workflow | | |
| ZW-LTMLT-T-02 | Aanpassen T0 | niet uitgevoerd | ||
| ZW-LTMLT-R-01 | Watertemperatuur Roosteren | | | |
| ZW-LTMLT-R-02 | Watertemperatuur randen | | | |
...
Overzicht van opgeleverde data
In Op de WIKI zijn de resultaten van testberekeningen voor de FAT release 2.1 worden de volgende producten opgeleverd; zie ook de release notes:
...
op een geselecteerd aantal locaties meegeleverd op verzoek van WVL. Deze zijn te downloaden vanaf deze link:
...
Conclusie
De testen zijn allemaal succesvol afgerond. Alleen de test over de bestandsgrootte van de export van het LSMLT model is gefaald. hiervoor staat nog een JIRA-Issue open (
). Dit issue moet worden opgelost voor de officiele release.Jira server Deltares Issue Tracker serverId 20635570-6a34-3a69-a785-26a57a470c5b key NWM-995
Door de aanpassingen die aan de NWM-applicatie zijn gedaan is er veel Omdat er nieuwe (Referentie 2017) schematisaties zijn, nieuwe datasets en ook de software gedeeltelijk vernieuwd (parallel rekenen voor LHM). Door het ontbreken van een eenduidige resultaat en documentatie waarmee de aanpassingen voor de Deltascenario's konden worden vergeleken was bij uitvoering van de testen uiteindelijk vaak de inzet van een expert geweest nodig om de resultaten te verifieren. Veel testen hebben daarmee het testoordeel "succesvol na overleg met een inhoudelijk expert".
(veel aanpassingen en geen docu)
Momenteel staat er -naast het bovengenoemde issue- nog 1 issue open, welke betrekking heeft op de database viewer (
). Deze wordt in de backlog opgenomen.Dit issue is afkomstig uit de zogenoemde "vrije test". Het issue is op de productbacklog opgenomen (wensenlijst voor toekomstige releases).Jira server Deltares Issue Tracker serverId 20635570-6a34-3a69-a785-26a57a470c5b key NWM-994
Op basis van de uitgevoerde tests concluderen we dat de FAT succesvol is doorlopen op de T-omgeving bij Deltares. De bekende issues hebben geen impact op het doorrekenen van de basisprognoses en de eindresultaten die berekend worden.
Op verzoek van WVL worden zullen na de FAT nog een paar last-minute wijzigingen worden doorgevoerd. Dit betreft:
- het mogelijk maken van het genereren van extra uitvoer tbv Agricom berekeningen (buiten NWM applicatie om) en
- vervanging van onderdelen in het onderdeel MetaSWAP (LHM), ivm nieuwe inzichten ten aanzien van gewasgroei.
Het doorvoeren van bovengenoemde wijzigingen heeft alleen betrekking op het onderdeel LHM. Gezien het tijdpad en het late moment van verzoek tot wijziging is in overleg met de opdrachtgever besloten om deze wijzigingen apart te controleren of de wijzigingen correct zijn doorgevoerd. Deze zijn beschreven in bijlage 7.
Laatstgenoemde wijziging Laatstgenoemde wijziging vraagt ook een update van Agricom, deze is in release 2.0 niet meegenomen. Agricom is (voorlopig) . Een geactualiseerde versie van AGRICOM is nog niet beschikbaar, daarom is Agricom vanaf release 2.0 daarom vooralsnog geen onderdeel meer van de NWM-applicatie. De update van Agricom wordt na de FAT van release 2.1.0.0 doorgevoerdZoetwater applicatie.