Op dinsdag 10 oktober is er door ons (AQUON, waterschap Aa en Maas, MicroLAN en Deltares) een workshop georganiseerd om de ervaringen en resultaten van het gezamenlijke project Optima-HWQ te delen. Er was een mooie opkomst van mensen uit verschillende organisaties zoals waterbeheerders, sensor leveranciers, laboratoria en adviesbureaus.

De bijeenkomst werd geopend door Erik Kraaij, werkzaam bij het Informatiehuis Water (IHW). Hij vertelde wat het IHW zoal doet met waterkwaliteitsdata, de inzameling hiervan, standaardisatie en de Kaderrichtlijn Water (KRW) toetsingen.

Vervolgens werden de aanwezigen betrokken in een Mentimeter-enquête om hun kennisniveau en de mate van gebruik van sensoren in hun werk te peilen. Hieruit bleek dat het gezelschap evenredig verdeeld was tussen de verschillende belanghebbenden en dat het kennisniveau ongeveer 50/50 verdeeld was tussen veel en weinig ervaring. Kortom, een gevarieerde groepssamenstelling. Verder kwam er uit de Mentimeter dat sensoren voornamelijk worden gebruikt voor handhaving, gezamenlijke besluitvorming en visualisatie van beleidseffecten. Maar ook de algemene uitdagingen werden benoemd, zoals gegevensverzameling & verwerking, opslag, beveiliging en standaardisatie.


Na de introductie en de eerste vragen in de Mentimeter stonden er een aantal presentaties op het programma.

De eerste presentatie werd gegeven door Eppe Nieuwenhuis, werkzaam bij AQUON. Hij deelde inzichten over data-gestuurd waterkwaliteitsbeheer en benadrukte de cruciale factoren die de kwaliteit van sensormonitoring beïnvloeden, zoals de formulering van goede onderzoeksvragen, de keuze van sensoren en robuust databeheer. Hij wees erop dat normering en accreditatie voor waterkwaliteitssensoren er nog niet zijn, iets wat er voor de huidige metingen in laboratoria wel  beschikbaar en ook noodzakelijk is.  

Een belangrijke vraag die opkwam was, wie verantwoordelijk zou moeten zijn voor het databeheer: laboratoria of waterschappen. In de praktijk zijn beide partijen betrokken, en veel leveranciers hebben hun eigen dataplatforms. AQUON streeft ernaar om in de toekomst gevalideerde sensordata aan waterschappen te leveren, vergelijkbaar met zoals dat nu gaat met steekmonsters.

Vervolgens was Joachim aan de beurt met zijn presentatie. Hij vertelde dat er binnen het project Optima-HWQ gewerkt wordt aan het optimaliseren van routines voor hoogfrequente waterkwaliteitsdata. Belangrijke onderdelen hierbinnen zijn:

  • Het near real-time detecteren van afwijkingen voor betere online visualisaties en adequaat sensoronderhoud.
  • Het achteraf optimaliseren van de meetreeksen.

Internationaal is er nog niet veel gepubliceerd over anomalie detectie binnen het waterkwaliteitsdomein. Veel kennis is los beschikbaar bij individuele onderzoekers of onderzoeksgroepen. Met een literatuur onderzoek en interviews is deze kennis binnen dit project verzameldom een duidelijker beeld te geven van wat er mogelijk is. Benadrukt werd het belang van het starten met eenvoudige controles en om geleidelijk op te bouwen naar complexere analyses. Verder was een duidelijke boodschap dat steekmonsters belangrijk blijven als controlemiddel voor de absolute waarden. Als laatste werden er voorbeelden  gedeeld van kant-en-klare pakketten om deze anomalie detecties uit te voeren,al blijven aanpassingen aan de data nodig, zoals gegevensvoorbewerking en instellingen voor outlier-detectie methode.

 

Kevin Ouwerkerk van Deltares onthulde de resultaten van Optima-HWQ, waarbij hij uitlegde dat de scripts voor data-optimalisatie varieerden in input en complexiteit, afhankelijk van het doel. Deze scripts waren ontworpen voor zowel achteraf als realtime controle van gegevens en hadden een verschillende effectiviteit op basis van de meettechnieken en de aard van de gegevens. Ook hier werd benadrukt om zo simpel mogelijk te beginnen met bijvoorbeeld harde grenzen, waar voor automatisering ook gebruik kan worden gemaakt van de limieten die de fabrikant van de sensoren op geeft. Een ander belangrijk punt is het goed bijhouden of loggen van de momenten waarop onderhoud gepleegd is, zodat deze perioden er makkelijk uit gefilterd kunnen worden. Het is namelijk altijd beter om de data vooraf al zo schoon mogelijk te maken dan dit achteraf met een set algoritmen te doen.

Ook werden er meer geavanceerde methoden besproken. Een voorbeeld is zogenaamde feature-based approach, waarmee verschillende eigenschappen van de tijdserie worden bepaald, zoals een afgeleide of een log transformatie. Deze eigenschappen of transformaties worden dan in een isolation forest algoritme gestopt die aan de hand van de verschillende eigenschappen of transformaties de anomalieën beter kan onderscheiden. Andere algorimten zijn ook geprobeerd zoals Local Outlier Factor (LOF) of K-nearest neighbours (Knn), maar de isolation forest werkte het best zonder instellingen te veranderen.     

Verder werd er een methode gepresenteerd om sensor gegevens te corrigeren met lab metingen, iets wat in de literatuur nog niet was gevonden. Hiervoor waren de onderhoudsmomenten en de precieze tijden van de lab metingen erg van belang. Als laatst kwam aan bod hoe gaten in een meetreeks opgevuld konden worden aan de hand van een random forest model. Hiervoor werden andere parameters gebruikt de gelijktijdig met de doelparameter werden gemeten.

     

Joep Appels en Robin Gather verzorgden de laatste presentatie. In het eerste deel, verteld door Robin, werden de technieken die tijdens de Optima-HWQ projecten waren verzameld vergeleken met het commercieel beschikbare platform van Ayekka. Hier kwamen een aantal verschillen uit. Zo kon de software van Ayekka alleen individuele uitschieters labelen en herkent deze pieken minder. De technieken binnen Optima-HWQ waren wel instaat meerdere uitschieters te detecteren maar labelde niet altijd de hele periode waarin de pieken voorkwamen.  Verder was ook de lab correctie methode die binnen Optima-HWQ werd voorgesteld getest.. Uit de resultaten bleek dat het lastig is als de concentraties snel veranderen, omdat lab metingen als snel kunnen verschillen door een niet nauwkeurig genoteerd moment van meten. 

Een andere belangrijke constatering was dat bij de software van Ayyeka de gebruikte methoden en algoritmen niet openbaar zijn en er dus niet duidelijk is wat de achterliggende berekeningen zijn.

Het tweede deel van de presentatie werd ingeleid door Joep, waarbij werd ingegaan op een case study in Breda. Deze case study maakte goed duidelijk wat de kracht is van het combineren van sensorgegevens voor E. coli met rioolpompgegevens en neerslagmetingen om de effecten van regenval op overstorten en waterkwaliteit te voorspellen. Deze geïntegreerde aanpak stelde waterbeheerders in staat om proactief te handelen en te anticiperen op mogelijke problemen.


 

Na de laatste presentatie was er ruimte voor pauze en om rond te lopen door de zaal. In de zaal stonden meerdere schermen met voorbeelden van live data die binnenkwam gegenereerd door waterkwaliteit sensoren. Ook stond er een grote bak water waar een aantal sensoren in stonden te meten. Tijdens het meten werden er verschillende ‘verstoringen’ veroorzaakt in het water die dan live te volgen waren op computerschermen.

 



Afsluitend was er nog een gezamenlijke terugkoppeling met de Mentimeter waar nog twee vragen werden gesteld en werden samengevat in een wordcloud:

Wat was je persoonlijke hoogte punt van deze bijeenkomst?

   

Wat zou(den) de volgende stap(pen) moeten zijn om het werken met waterkwaliteit sensoren te faciliteren?

Ook volgde nog een spel waar een aantal stellingen werden voorgelegd en iedereen werd gevraagd om aan de linker of rechter kant van de zaal te gaan staan, afhankelijk van hoe erg iedereen het eens wat met de stellingen. Deze spelvorm was een goede manier om discussies opgang te brengen die verder uitpraat konden worden tijdens de aansluitende borrel.

 


Al met al bood de bijeenkomst een goed inzicht in de uitdagingen en mogelijkheden van hoogfrequente data in relatie tot waterkwaliteit, met de nadruk op samenwerking en de noodzaak van gegevenskwaliteitsbeheer om de waterkwaliteit te verbeteren.



Bestanden en presentaties:



  • No labels

Disclaimer