...
Since version 2015.02 FEWS makes it possible to configure so-called 'flagSource columns' for each validation step, in which the flagSource of the specific validation step will be recorded. From these flagSource columns the user can deduct which individual validation steps have been performed and to what result. Even when a defined validation step has been executed successfully and no quality flag has been changed, a default flagSource "OK" will be set for the respective flagSource column. The flagSource columns therefor provide details on all the validation steps.
Functionality
Introduction FlagSourceColumns within Delft-FEWS framework
FlagSource columns can be defined in a dedicated flagSourceColumns regional configuration file, see FlagSourceColumns in the Configuration guide. These are stored for each timestep for all timeseries that have been validated in the FEWS database. The The following principles apply and options are available:
FlagSourceColumns are optional
...
The order in which the flagSourceColumns are configured should reflect the sequence of the respective validation steps in the validation process.
This order is also used in the timeseriesDisplay - tableview, when the 'Validation steps' are visualized.
flagSources contained in the flagSource Columns
The flagSourceColumns can only contain the existing flagSources. Also see D Quality flags.
De codes van de gebruikte flagSources wijken niet af van de reeds bestaande flagSources:These flagSources will automatically be set to the flagSource Column when a flag is changed in the respective validation step
Primary Validation | FlagSource |
soft min. | SN |
hard min. | HN |
soft max. | SX |
hard max. | HX |
rate of rise | RO |
rate of fall | RO |
same reading | SR |
temporary shift | TS |
De codes van de gebruikte flagSources wijken niet af van de reeds bestaande flagSources:
Secondary Validation | FlagSource |
spatialHomogeneityCheck | SH |
seriesComparisonCheck | SC |
minReliableValuesCheck | RV |
minReliableOrDoubtfulValuesCheck | RDV |
minNumberOfValuesCheck | NV |
minNonMissingValuesCheck | NM |
mannKendallCheck | KT |
flagsComparisonCheck | FC |
flagPersistencyCheck | FP |
To support transformation and visual validation steps, custom flagSources can be configured in the customFlagSources configuration file, see 27 CustomFlagSources.Voor transformatie- en visuele validatiestappen zullen enkele custom flagSources geconfigureerd moeten worden in CustomFlagSources.xml. Bijvoorbeeld:
Tranformation/Manual | Custom FlagSource |
default validation (success) | OK |
| Interpolation small gap | SG |
| Interpolation large gap | LG |
Transformatie/Manueel
Interpolation small gap SG
Interpolation large gap LG
Voor transformatie- en visuele validatiestappen zullen enkele custom flagSources geconfigureerd moeten worden in CustomFlagSources.xml. Bijvoorbeeld:
Transformatie/Manueel
Interpolation small gap SG
Interpolation large gap LG
Copying of flagSource columns to other timeseries
This is not possible with the current implementation.
Validation Status as a condition
By defining a 'visibilityControllingFlagSourceColumnId' element in the timeSeriesSet, the existence of a flagSource Column for a particular timeseries (step) can be used as a condition for a transformation. When the configured flagSourceColumn is not existing for a particular timeseries step, the value will be perceived as 'Missing' for the transformation. All values that did not pass this validation step are removed on read. They are set to missing for equidistant timeseries and removed for non-equidistant timeseries.
Assign a FlagSource Column per module run
It is possible to add an element defaultFlagSource and a FlagSourceColumnId in a workflow, at the module activity level of the validation step. This will dictate which flagSourceColumn (FlagSourceColumnId) will be used to write the flagSources to and what flagSource will be written in case no flag is changed (defaultFlagSource).FlagSourceColumns
Beschikbaar maken van het concept validatiestatus in Delft-FEWS door FlagsourceColumns te ontwikkelen die ingezet kunnen worden voor de monitoring van validatiestappen
II. Validatiestatus als conditie
De informatie in de FlagSource kolommen (validatiestappen) moet kunnen worden gebruikt als conditie voor het uitvoeren van een bepaalde module of workflow
III. Toekennen van validatiestatus per module
De FlagsourceColumn (validatiestap) moet op workflow/transformatie niveau, toegekend kunnen worden aan een tijdreeks
IV. Interface onwikkelingen Validatiestatus
A. De FlagsourceColumns zijn zichtbaar in de tijdserietabel als extra kolommen
B. De betekenis/vertaling van een FlagsourceColumn moet geconfigureerd kunnen worden
C. De voortgang is met een (configureerbare) kleur zichtbaar in de grafiek
D. De default periode selectie (start/eindtijd van de tijdreeksen) in een validatiedisplay moet configureerbaar zijn
V. Validatiestatus Import/Export
De validatiestatus moet geimporteerd/geëxporteerd kunnen worden naar CSV/XML formaat en moet ondersteund worden in de PI Webservice
VI. Validatie via GUI
De gebruiker moet handmatig kunnen valideren (FlagsourceColumns zetten of aanpassen) voor een of meerdere validatiestappen.
...