Als startpunt voor Optima-HWQ is een overzicht gemaakt van de beschikbare literatuur over de verwerking van continue waterkwaliteitsmetingen. Het volledige technische overzicht is beschikbaar via deze link. Hieronder volgt een samenvatting van de bevindingen; 3 algemene indrukken, 1 algemene waarschuwing en 2 resterende ontwikkelkansen.
Algemene indruk 1
Technieken voor automatische anomaliedetectie, smoothing en ruiscorrectie zijn ruim beschikbaar, maar nog niet veel toegepast op waterkwaliteit, waarschijnlijk omdat waterkwaliteitssensoren nog maar beperkt zijn toegepast.
Algemene indruk 2
De meeste sensortoepassingen voor waterkwaliteit zijn afkomstig van wetenschappelijke groepen die hun eigen scripts gebruiken om achteraf hun gegevens te corrigeren en hun procedures voor gegevensverwerking niet rapporteren.
Algemene indruk 3
Toch staan we niet alleen, we kunnen leren van enkele frontrunners en we kunnen profiteren van ontwikkelingen op andere vakgebieden.
Algemene waarschuwing
Datavalidatie en -correctie voor sensordata van waterkwaliteit is zeer complex; foutieve metingen zijn moeilijk te onderscheiden van echte variaties in de concentraties.
Resterende ontwikkelingskans 1
Toepassing van Random Forest voor het opsporen van uitschieters en het opvullen van gaten.
Resterende ontwikkelingskans 2
Sensorgegevens combineren met conventionele bemonsteringsgegevens
Gebruikte literatuur
- Breiman, L. (2001) Random Forests. Machine Learning, 45, 5-32.
http://dx.doi.org/10.1023/A:1010933404324 - Curceac, S. Hawkins, J., Harris, P., 2021.Advanced Quality Control Report 1: Missing value
imputation of the 15-minute soil moisture data.
https://rpubs.com/North_Wyke_Farm_Platform/765406 - Hawkins, 2021. User guide to fine resolution (15 minute) data. Version 1.10.
http://resources.rothamsted.ac.uk/sites/default/files/groups/North_Wyke_Farm_Platform/FP_UG.Doc_.002_15MinData_ver1.10.pdf - Josse J. and F. Husson. 2016. missMDA: A Package for Handling Missing Values in
Multivariate Data Analysis. Journal of Statistical Software, 70(1), 1-31. - Schmidt, L., Schaefer, D., Geller, J., Lünenschloss, P., Palm, B. , Rinke, K., and Bumberger,
J. System for Automated Quality Control (Saqc) to Enable Traceable and Reproducible Data
Streams in Environmental Science. SSRN Electronic Journal.
http://dx.doi.org/10.2139/ssrn.4173698. - Spackman Jones, A., T.L. Jones, J. S. Horsburgh, 2022. Toward automating post processing
of aquatic sensor data. Environmental Modelling and Software 151. - Talagala, P. D., Hyndman, R. J., Leigh, C., Mengersen, K., & Smith-Miles, K. (2019). A
feature-based procedure for detecting technical outliers in water-quality data from in situ
sensors. Water Resources Research, 55, 8547– 8568.
https://doi.org/10.1029/2019WR024906 - Zacharias, S., Bogena, H., Samaniego, L., Mauder, M., Fuß, R., Pütz, T., Frenzel, M.,
Schwank, M., Baessler, C., Butterbach-Bahl, K., et al., 2011. A network of terrestrial
environmental observatories in germany. Vadose zone journal 10, 955–973.
doi:10.2136/vzj2010.0139. - Zhang, Y. F., Thorburn, P. J., Xiang, W., & Fitch, P. (2019). SSIM—A deep learning approach
for recovering missing time series sensor data. IEEE Internet of Things Journal, 6(4), 6618-
6628. - Zhang, Y. & P.J. Thorburn, 2021. A dual-head attention model for time series data imputation,
Comput. Electron. Agric. 189, http://dx.doi.org/10.1016/j.compag.2021.106377. - Zhang, Y. & P. J. Thorburn, 2022. Handling missing data in near real-time environmental
monitoring: A system and a review of selected methods. Future Generation Computer
Systems 128. - Vilas, M. P., P. J. Thorburn, S. Fielke, T. Webster, M. Mooij, J. S. Biggs, Y.F. Zhang, A.
Adham, A. Davis, B. Dungan, R. Butler, P. Fitch, 2020. 1622WQ: A web-based application to
increase farmer awareness of the impact of agriculture on water quality. Environmental
Modelling & Software 132. https://doi.org/10.1016/j.envsoft.2020.104816
