Resolved issues nav GAT release 1.0

In release 1.1 zijn oplossingen opgenomen voor  de volgende gesignaleerde bugs.

Voor de volgende issues die gemeld zijn door WVL tijdens de testbevinding GAT release 1.0 is nog geen oplossing beschikbaar:

FEWS-14047 - Getting issue details... STATUS

Onderstaand per resolved issue een terugkoppeling van de oplossing per issue.  

 Samenvatting

Records in Geonetwork zijn te vinden, maar de bestanden zelf kunnen niet gedownload worden.

Analyse

Bij overdracht installatie ontbrak een van de twee war-files die nodig zijn bij een update van het Archief (deltares-archive-server.war file ontbrak).

Acties voor oplossing

De deltares-archive-server.war (welke ook op de T gebruikt wordt) is beschikbaar gemaakt via de ftp in ReleasesNWM/Fix_19feb2016/installs/Archief/
Instructies aan SSC Campus voor correcte update archief op de A/P-omgeving:

• tomcat moet gestopt worden
• deltares-archive-server folder legen (in de webapps dir)
• de nieuwe war file neerzetten in webapps dir
• tomcat herstarten (deze pakt dan de nieuwe war file uit).
• controle in Archive server of het versie nr nu van 28Oct is:
• controle of downloadknop werkt

Bij controle Deltares bleek dat de inlog via token in eerste instantie niet goed te werken.  Dit is door SSC Campus opgelost. De oorzaak is niet bekend.  Onderstaand screenshot geeft bewijs dat het mogelijk is om een netcdf file uit het archief te downloaden naar eigen PC.  

Samenvatting

In de database staan voor enkele Zoetwater workflows de verlooptijd van berekeningen op een jaar. Voor rekenintensieve stappen zijn deze met release 1.0 op 900 dagen gezet ipv de standaard expirytime van 90 dagen voor stappen die niet bewaard hoeven te blijven. Voor grote databestanden (met name grids) wordt ivm de robuustheid van het system een verlooptijd aangehouden van enkele dagen.

Analyse

Bij controle bleek dat de verlooptijd van ZW workflows al op 900 dagen staat. Voorbeeld uit 'WorkflowDescriptors_Zoetwater.xml':
< workflowDescriptor id="ZW_LHM_REF2015S0" autoApprove="true" forecast="true">
<runExpiryTime unit="day" multiplier="900"/>

Oorzaak van het issue ligt in het gebruikte batchscript. De gebruiker kan dit via de batchrun zelf bepalen. 
exp = etree.SubElement(tpr, 'runExpiryTime')
exp.set('unit', 'day')
exp.set('multiplier', '365')

Acties voor oplossing

Om fouten te voorkomen is

• de handleiding aangepast
• op SVN (~\trunk\Deltamodel_SA\BatchRunsViaGUI) nieuwe batch files toegevoegd, oude verwijderd
• Testruns met nieuwe batchfiles op T-omgeving uitgevoerd (zie screenshot)
• nieuwe batch files op FTP gezet tbv installatie door SSC Campus op de A/P

Samenvatting

add-on F5 wordt niet langer trusted door bepaalde internetbrowsers (o.a. IE, Firefox). Toegang tot het systeem als gebruiker kan hierdoor niet gegarandeerd worden. Dit bemoeilijkt ook het testen van de oplossing.

Analyse

Issue door SSC campus doorgespeeld bij de F5 beheerders. Hieruit bleek dat deze met een verbouwing bezig is en dat zijn backup niet aanwezig was. Uit de loggings blijkt dat er wel succesvolle logins zijn geweest. Het systeem werkt nog niet soepel, maar op 27 januari 2016 heeft Sibren Loos succesvol ingelogd als gebruiker (NMDC Client).

Acties voor oplossing

Issue is gemeld bij SSC Campus en met WVL besproken tijdens 3-wekelijks overleg 27-01-2016 en kan worden gesloten omdat inlog succesvol is en er geen concrete acties nodig zijn voor aanpassing in de applicatie.

 Samenvatting:

Er is maar 1 jaar zichtbaar van Zoetwater forecasts in de Grid Display, terwijl er bij de Timeseries Display wel meerdere jaren zichtbaar zijn.

Analyse

De Grid Display is geconfigureerd om data van Zoetwater te laten zien met "read complete forecast" option. Aangezien er bij Zoetwater altijd (maximaal) 1 jaar doorgerekend wordt per workflow (meerdere jaren kunnen worden doorgerekend d.m.v. batch run die workflows van 1 jaar achter elkaar runt), is er in de Grid Display alleen het jaar van de laatst goedgekeurde workflow te zien. Een ander jaar kan zichtbaar gemaakt worden door een andere workflow goed te keuren, maar met de huidige configuratie is het niet mogelijk om meerdere jaren tegelijk te bekijken.

Acties voor oplossing

Grid Display configuratie van Zoetwater veranderd naar 

<relativeViewPeriod unit="day" start="-12810" end="-3650"/>
<readWriteMode>read only</readWriteMode>

Hierdoor wordt alle beschikbare data getoont die behoort aan de laatst goedgekeurde workflow (1 jaar te zien als er een losse workflow van 1 jaar uitgevoerd is, meerdere jaren te zien als er een batch run van meerdere jaren uitgevoerd is). De Grid Display laat zowel de input voor LHM (randvoorwaarden) en output (resultaten) zien. Na testen bleek dat het niet mogelijk was om deze configuratie te hebben voor de input (import meteo data, oftewel dagelijkse neerslag en verdamping); dit leidde tot crashes van de LHM workflow door "out of memory" errors. Daarom deze teruggezet naar "read complete forecast". De resultaten (Metaswap en Modflow output), waar de originele melding van deze issue ook over ging, zijn nu dus wel goed zichtbaar in de Grid Display.

Samenvatting

1) Er is een state update run gedaan (IJVDModelUpdate), deze is geslaagd.

2) Voor de forecast run (IJVDModelWind0) worden op basis van regular expressies de bijbehorende states opgezocht. Deze workflow is gestart op meerdere FSSen.

3) In deze stap komt de volgende melding: “Error during read warm state blob”

4) Bij het opnieuw starten van de workflow op 1 FSS wordt de desbetreffende state wel gevonden en slaagt de forecast run.

Analyse

Het probleem ontstaat wanneer meerdere states tegelijkertijd worden gexporteerd. PostgreSql 8.4 wordt gebruikt. Hiervan is bekend dat dit VIJF KEER zoveel geheugen gebruikt dan PostGreSql 9 voor het verzenden van taken. Vanaf 2015.02 wordt ivm geheugenproblemen deze versie dit niet meer ondersteund. 

Acties voor oplossing

Oplossing geimplementeerd in 2015.01 door voor PostgreSql maar 1 state tegelijkertijd te exporteren. Op de T-omgeving getest of de IJVD-workflow correct werkt.

Vervolgens zijn op de A/P omgeving meerdere Waqua-berekeningen voor Rijn, Maas and IJVD zonder wind te draaien met korte runtimes. Alle berekeningen succesvol (zie screenshot)

 Samenvatting

Bij parallel starten van een workflow worden 2 deeltaken tegelijk naar 1 FSS gestuurd

Analyse

Issue heeft relatie met FEWS-14191 waarbij de communicatie tussen de verschillende componenten op het backend niet goed werkte.

Acties voor oplossing

De volgende stappen zijn uitgevoerd:

• In the RunTaskManagerClass is een aanpassing gedaan voor de MC-proxy.
• Upgrade van de software voor de Master Controller op de T-omgeving.
• Meerdere parallel tests uitgevoerd op de T-omgeving waarmee een aanzienlijk zware belasting op het systeem is uitgevoerd. Hierbij zijn meerdere combinaties getest van parallele taken (1 taak verdeeld over 3 FSS-en en 2 taken over 2 FSS-en die op pending blijven staan. Dit is gedaan voor zowel Rijn, Maas als IJVD met korte berekeningen. Alle taken zijn zonder foutmeldingen voltooid. De tests tonen aan de mapping of sub-tasks naar FSS’s ook bij parallele taken correct werkt. Tijdens de tests zijn geen dubbele taken gesignaleerd.
• Upgrade van de software voor de Master Controller op de A/P-omgeving.
• Tests in combinatie met issue FEWS-14227 (IJVD error 5 - parallel uitvoeren  van IJVD sommen) succesvol uitgevoerd op de A/P omgeving.

Samenvatting

Melding door Ton Botterhuis gemeld:

ERROR  2015-12-10 14:32:34.0    Config.Error       java.lang.Exception: Xml file RegionConfigurations/VE_Maas/TopologyGroup_Veiligheid_Maas.xml NLKDMC00:000000000 is not valid cvc-complex-type.2.4.a: Invalid content was found starting with element 'timeZero'. One of 'Unknown Macro'

' is expected. line number = 7 column number = 54     NLKDMC00:000000489

Analyse

Melding teruggevonden in collected logfiles op de AP omgeving. Er was geen duidelijke oorzaak of handeling vooraf te vinden die het veroorzaakt zou kunnen hebben. Waarschijnlijk gebeurde het nadat de betreffende Topology node geselecteerd was.

Acties voor oplossing

Alle nodes van de Topology voor Maas geopend en geselecteerd. Dit gaf geen log meldingen.

Monitoring nieuwe vergelijkbare meldingen in de collected log files over de 2 voorgaande weken en afgelopen dagen. Er komen geen nieuwe vergelijkbare WARN of ERROR messages voor.

Samenvatting

Melding door Ton Botterhuis: Bij het uitvoeren van de workflow 'VE_RMMSobekUpdate_WS2085S0' worden in de log de volgende meldingen weggeschreven. Vraag is of deze meldingen kunnen worden genegeerd.

LogMelding: --------------------------------- WARN 10-12-2015 14:01:17 GA.Execution.Model.Warn In adapter model: LocalName TimeSeries specified did not match with current local name at D:\fews\fss lkdmc00\FSS02\FewsShell\FewsKD\Modules\Sobek_RE\RMM\Input\run_info.xml  localname:Run, line:2, column:227, offset:265 at file: D:\fews\fss lkdmc00\FSS02\FewsShell\FewsKD\Modules\Sobek_RE\RMM\Input\run_info.xml at line: 13 NLKDMC00:000000440

WARN 10-12-2015 14:01:17 GA.Execution.Model.Warn In adapter model: LocalName TimeSeries specified did not match with current local name at D:\fews\fss lkdmc00\FSS02\FewsShell\FewsKD\Modules\Sobek_RE\RMM\Input\sbk_state.xml  localname:State, line:2, column:231, offset:269 at file: D:\fews\fss lkdmc00\FSS02\FewsShell\FewsKD\Modules\Sobek_RE\RMM\Input\sbk_state.xml at line: 13 NLKDMC00:000000440

Analyse

Issue is niet blokkerend, model run van Sobek-RE zelf gaat goed. Echter, het zou goed zijn om de WARN meldingen te voorkomen.

Het wordt veroorzaakt door het feit dat de Sobek-RE adapter zo geconfigureerd is dat deze alleen tijdseries verwacht in de 'Input' folder. In deze folder wordt echter ook gezocht naar een bestand dat de states opslaat, en omdat dit geen tijdseries zijn geeft de adapter een waarschuwing.

Acties voor oplossing

De configuratie van FEWS zo aangepast dat de states nu in een aparte folder ('sbk_state') worden opgeslagen en opgehaald worden voor input en output van Sobek. Ook de configuratie van de adapter zo aangepast dat deze de states ook altijd in die folder zoekt (en niet in 'Input'). Succesvol getest op de T-omgeving.

Samenvatting

Melding door Ton Botterhuis over een warning.

In het menu-item ‘Management modelruns’ krijgt alleen de import van VIJD de indicatie ‘goedgekeurd’ (zie onderstaande figuur). Het lijkt me prettiger als alle import workflows op een gelijke wijze worden afgehandeld.

----------------------------------------

WARN

10-12-2015 13:52:12

TaskRun.Warn

Forecast task VE_MaasImport_RD2050S0 with ID NLKDMC00:000000438 cannot be approved, since task did not create any simulated time series, states and/or reports.

NLKDMC00:000000438

WARN

10-12-2015 14:01:16

TaskRun.Warn

Forecast task VE_RijnImport_WS2085S0 with ID NLKDMC00:000000441 cannot be approved, since task did not create any simulated time series, states and/or reports.

NLKDMC00:000000441

----------------------------------------

Analyse

In de workflow descriptors voor import workflows die alleen EH timeseries wegschrijven is net als voor alle andere workflows de auto-aprove optie aan gezet. Dit is ingebouwd in het script waarmee nieuwe workflows kunnen worden aangemaakt.

Acties voor oplossing

• De config en het script voor het aanmaken van de workflow-, modulconfig-, workflow descriptor files etc. (write_topology.py) is aangepast zodat de "auto approve" optie voor de import van VE_MaasImport*, VE_RijnImport* and VE_RMMImport* uit staat.
• DIt is NIET gedaan voor IJVD omdat hier meer stappen zitten workflow dan alleen standaard import van EH timeseries. Deze kan daardoor wel goedgekeurd worden.
• Config aanpassing heeft het probleem opgelost. Zie screenshot van voor aanpassing ('ImportWorkflow_Warn' - Linker figuur) en na aanpassing ('ImportWorkflow_NoWarn' - Rechter figuur), waar geen WARN message meer te zien is.

Samenvatting

IFD postprocessing workflow heeft als de status ‘succesvol geeindigd’, omdat er in de database al een eerdere som aanwezig is. Voor de eenduidigheid zou het voor gebruiker prettig zijn dat de workflows die nog moeten worden uitgevoerd (postprocessing Hydra Zoet en Exporteren resultaten), ook een grijs bolletje hebben (nl. status indicatie: nog niet uitgevoerd of mislukt). Echter de postprocessing workflow heeft als de status ‘succesvol geeindigd’. Dit komt waarschijnlijk, omdat er in de database al een eerdere som aanwezig is.

Analyse

De interactive panel toont een vinkje voor de laatste run. Nu blijft deze op succesvol staan, ook al wordt een voorgaande taak opnieuw gedraaid. Dit heeft als reden dat binnen het NWM afwijkende T0 wordt gebruikt ten opzichte van de systeem tijd. Verbetering:

Acties voor oplossing

In FEWS 2015.02 en hoger zijn verbeteringen van de vinkjes doorgevoerd voor berekeningen waarvan de T0 afwijkt van de systeemtijd. Als een voorgaande berekening opnieuw wordt gedraaid wordt het vinkje van een opvolgende (eerder succesvol gedraaide) berekening aangepast van groen naar geel. De interactive panel toont een vinkje voor de laatste run, dit geldt ook bij een gefaalde run.

Huidige werking gecontroleerd in de gebruikershandleiding (WIKI pagina: Workflows starten: Standaard#workflow_start_standaard_1: "Een groen vinkje betekent dat de laatste berekening succesvol gedraaid heeft, ongeacht de actuele status van de voorgaande workflows en of de voorgaande taak voor een andere periode is uitgevoerd.")

Samenvatting

De optie 'tijdreeks bekijken' toont geen uitvoer, terwijl via de databaseviewer wel blijkt dat resultaten aanwezig zijn.

Analyse 

Issue tgv uitrol clients met het verkeerde sync profiel (_dda). Bij de uitrol van installatie naar de local client machines is dit niet goed uitgevoerd.

Acties voor oplossing

De volgende acties zijn uitgevoerd door SSC Campus:

• 'C:\Fews\NWM_OC\NWM' het  bestand 'clientConfig_dda.xml' hernoemen naar 'clientConfig.xml'.
• Bestaande 'clientConfig.xml' bestand verwijderen.
• Synchronisatie profiel aanpassen zodat gebruik wordt gemaakt van Direct Database Acces

Samenvatting

Issue geconstateerd tijdens robuustheidstest (nov 2015):

a) Het window dat gebruikers hebben is aanzienlijk kleiner dan het totale beeldscherm.

b) Visuele interface reageert soms nog traag, bemoeilijkt analyse en gebruik.

Analyse

Bij opstarten DM Client kan de gebruiker aangeven welke schermresolutie hij wil open. Het standaardprofiel geeft een kleine schermresolutie. Dit moet door de gebruiker aangepast worden.

Issue traagheid kon niet worden gereproduceerd. Dit kan aan veel systeemcomponenten liggen (bijv tijdelijke belastiging door zware IO belastiging)

Acties voor oplossing

Stappen schermresolutie toegevoegd aan gebruikershandleiding

Issue traagheid lijkt opgelost door overstap op DirectDatabaseAcces het gebruikersprofiel bij uitrol van clients.

Samenvatting

Bij het starten van de workflow voor import Rijn en Maas kwam foutmelding dat de files niet gevonden kunnen worden. De Waqua-berekening kon vervolgens niet starten.

Analyse

Bij release 0.1 zijn de aangeleverde files niet op de juiste locatie geupdate. Hierdoor hadden berekeningen niet de juist invoerwaarden en crashte de berekening 

Acties voor oplossing

• Files zijn opnieuw op de ftp geplaatst met installatie instructies
• Files zijn door SSC Campus bij release 1.0 op de OpenDAP gezet.
• Na deze actie opnieuw getest en workflow kon succesvol worden gestart.

Samenvatting

Wanneer een LHM workflow uitgevoerd wordt met een jaar dat buiten de beschikbare reeks ligt (bijvoorbeeld het jaar 1392), dan loopt deze vast en blijft op running staan in FEWS totdat de timeout van de workflow bereikt wordt of deze door de gebruiker of admin 'gekilled' wordt.

Analyse

Hier is weinig aan te doen op het moment. LHM sluit wel goed af als deze vanuit FEWS 'gekilled' wordt. De voorbeeld batch files van LHM zorgen er ook al voor dat men normaal gesproken binnen de beschikbare jaren blijft.

Acties voor oplossing

Geen. De oorzaak voor dit issue is een gebruikersfout.