Harmen Kampinga is senior 3D specialist en combineert DATA, GIS, ET, 3D en Clearly is zijn dagelijkse werkzaamheden. Hij is een Certified FME® specialist met oog voor detail.
Vanuit Future Insight leggen we in een drieluik uit hoe we met de krachtige combinatie van Clearly en FME onze klanten helpen met grip krijgen op deze projecten.
Bas schreef in het eerste deel over het gebruik van Clearly in Bouwteams. Vervolgens ging Rick dieper in op hoe we met Clearly projecten een stuk soepeler kunnen laten verlopen. Die processen worden gevoed met data. In dit deel laat ik zien hoe wij FME inzetten om juist die data slim integreren om zo onze aanpak beter, betrouwbaarder en sneller te kunnen maken.
FME?
Waarom moeilijk doen als het makkelijk kan? Dat is precies de reden om FME van Safe Software te gebruiken. FME staat voor‘Feature Manipulation Engine’ en is kortgezegd een platform dat sterk is in het snel verwerken van data en ruimtelijke data in het bijzonder. Het is voor ons dé tool om alle soorten data effectief en efficiënt te verwerken en op de kaart te zetten. Bovendien helpt het ons een constante kwaliteit te garanderen in onze projecten.
Rick gaf in zijn vorige blog al aan dat bij een gemiddeld infra project ontzettend veel informatie beschikbaar is. Vaak is belangrijke informatie over het project versnipperd over talloze documenten en systemen en vaak ook in pdf’s. Hierdoor gaat veel van de oorspronkelijke herleidbaarheid van informatie verloren. Al deze informatie samenbrengen, koppelen aan de kaart en inzichtelijk maken voor Opdrachtgever en opdrachtnemer is wat we doen met Clearly. Voorheen werd veel van deze informatie handmatig verwerkt, tijdrovend en intensief.
Dat moest anders kunnen. En daarom gingen we in 2017 ons eerste proces in FME gebruiken. Dat beviel heel goed en sindsdien richtten we steeds meer processen op die manier in. Daarmee weten we de doorlooptijd van het verwerken van data aanzienlijk te verkorten.
Databronnen
We gebruiken diverse databronnen in onze projecten. Daarin onderscheiden we grofweg twee typen data:
open data, zoals ruimtelijke plannen, kadastrale gegevens, boringen en sonderingen;
projectdata, zoals begrenzingen, KLIC data, bouwlocaties en bouwwegen.
De open data bronnen kennen een grote diversiteit aan formaten en mogelijkheden. Voorbeelden zijn de Basis Registratie Topografie (BRT) en de Basisregistratie Grootschalige Topografie (BRT) van het kadaster. Hiervoor gebruiken we FME om de datasets geschikt te maken voor gebruik in onze projecten. Zo knippen we het projectgebied uit deze datasets en selecteren we alleen de relevante attributen. Vervolgens vullen we de dataset aan met metadata zodat altijd duidelijk is wat de bron en actualiteit van de data is.
Databronnen
Een voorbeeld van de combinatie van diverse open data bronnen, zoals Ruimtelijke Plannen, Kadastrale gegevens en 3D BAG.
In projectdata zien we de echte uitdagingen. Zoals Rick ook al aangaf in zijn blog, gebeurt het maar al te vaak dat we in een aanbesteding de data als een ZIP vol met PDF bestanden krijgen doorgestuurd. Denk aan een ontwerp, sonderingen of de projectlocatie. Met doorvragen tot we de bronbestanden krijgen, komen we soms een heel eind maar even zo vaak ook niet. Bronbestanden zijn niet aanwezig. De reden? De data is niet herleidbaar of een overheid wil ze niet beschikbaar stellen dan wel heeft ze niet paraat staan in de uitvraag / tender. Gemiste kansen die we maar al te vaak zien….
Nu zorgen wij er voor dat, hoe dan ook, er van de ‘data’ die iets bruikbaars gemaakt wordt. We verwerken PDF bestanden met onder andere FME tot leesbare datasets of splitsen een rapport uit in kleinere PDF bestanden. Dit wil nog wel eens gebeuren met (oude) sonderingsgegevens die ooit in een rapportage (PDF) zijn opgeleverd. Met de juiste stappen kunnen we hier een puntenbestand van maken. Elke sondering krijgt vervolgens de relevante data plus een verwijzing naar een tekening uit het betreffende document. Een flinke klus zonder FME, maar met een goede workspace een ‘fluitje van een cent’.
Naast de open data en projectdata werken we ook veel met analyseresultaten. Dan gaat het om specifieke vragen binnen het project. Met FME combineren we dan bijvoorbeeld een KLIC dataset met de aan te leggen bouwwegen. Op die manier krijg je in een project vroegtijdig inzicht in raakvlakken en mogelijke knelpunten.
Voor bovengenoemde datatypen hebben we diverse zogenaamde FME workspaces gemaakt die elk één of meerdere datasets verwerken of er een analyse op uitvoeren. Zo’n workspace is een virtuele scripting omgeving met diverse geconfigureerde stappen die elkaar opvolgen (zie ook een afbeelding verderop). Het resultaat daarvan wordt vervolgens klaargemaakt voor gebruik in Clearly. Hiervoor hebben we ook een workspace gemaakt. Deze workspace haalt uit alle data de relevante onderdelen voor Clearly en indien nodig past hij ook meteen de data aan. Op die manier kunnen we snel en betrouwbaar data inladen in Clearly.
Op zoek naar de juiste ‘KLIC’
Een mooi voorbeeld van diverse datasets en vragen die in een project samenkomen is het gebruik van de KLIC data. Deze dataset met kabels en leidingen (K&L) wordt verkregen door een KLIC-melding te doen bij het kadaster. Recent heeft het kadaster een behoorlijke verbetering doorgevoerd die het bevragen van de data een stuk makkelijker maakt. Geen PDF’s meer die gedigitaliseerd hoeven te worden naar geometrie, maar geografische bestanden (in GML formaat) die alle geometrie bevatten.
De (eenvoudige) workspace die we nu geleidelijk aan het opbouwen zijn, leest alle GML bestanden uit van zo’n KLIC melding en verwerkt deze tot Clearly-specifieke data.
Onderstaande afbeelding laat een deel van die workspace zien.
Binnen de KLIC vinden we diverse typen K&L met in een aantal gevallen hun eigen attributen. Om die reden hebben we per type K&L een proces opgezet. In elk proces worden geometrie en attributen geselecteerd en bijgewerkt tot een Clearly-ready dataset. Heel specifiek wordt er nog de NullAttributeMapper transformer ingezet. Deze transformer biedt functionaliteit die checkt of lege velden daadwerkelijk leeg zijn en dan wel van een bepaald datatype.
In de praktijk zien we vaak dat niet alle datasets goed ingevuld zijn en daardoor ook niet uitgelezen kunnen worden. Daarmee wordt maar weer eens duidelijk hoe belangrijk het is om data aan de bron goed te hebben en te houden.
Uiteindelijk wordt de dataset, nu nog in het Shapefile formaat, gecontroleerd door onze Clearly workspace. We kijken onder andere naar:
de validiteit van de geometrie;
de vereenvoudiging van de geometrie indien gewenst;
een aantal basis attributen voor Clearly: zijn ze aanwezig of moeten ze nog aangemaakt worden;
en zetten we de dataset om naar de juiste projectie
Het geheel is dan uiteindelijk Clearly-proof.
…practice what you preach
Naast deze KLIC workspace hebben we meer van dit soort processen ingericht. Al deze processen helpen om effectief en efficiënt te werken in onze Clearly projecten. Met FME borgen we tegelijk de kwaliteit en consistentie van de data die we leveren.
In de toekomst zien we meer mogelijkheden om data met FME te verwerken. Diverse services en diensten worden bijvoorbeeld met FME Server mogelijk. Ook intern kunnen nog een aantal handmatige processen vervangen worden door de inzet van FME.
Al met al staan we als Future Insight voor een slimme aanpak van (infrastructurele) projecten. We geloven dat we hier met Clearly een flinke bijdrage aan kunnen leveren. Tegelijk doen we dit dus ook intern met de inzet van FME: “…practice what you preach”. Slimmer en beter werken zit in ons bloed. Voel je de ‘klic’?
Meer weten?
Wil je meer weten? Dennis Wieringa vertelt je er graag meer over.