Mijn werk

Momenteel ben ik Hadoop-specialist / data-ingenieur, maar dat is niet altijd het geval geweest. Simpelweg omdat Hadoop en Big Data nog niet bestonden toen ik in 1997 mijn carrière begon.

Hoe het ooit begon
In die tijd ben ik begonnen als Oracle database beheerder en 20 jaar lang was ik een Oracle database specialist. Ik heb me gespecialiseerd in de performance van databases. Deze performance problemen waren voor mij meestal zeer interessante puzzels en bij het oplossen ervan kan ik eerlijk zeggen dat ik erin geslaagd ben om klanten en werkgevers veel geld te besparen.

Je kunt wel eens toevallig tegen een aantal scripts van mij aangelopen bent om Oracle performance problemen te analyseren. Ik heb er een paar gemaakt die ik tot in de puntjes heb geperfectioneerd, omdat ik ze zelf zoveel heb gebruikt. Tot en met Oracle 11g in ieder geval.

Security was een ander aspect waarin ik geïnteresseerd was (en nog steeds ben). Hoe meer ik leerde over beveiliging en hoe systemen gehackt worden, hoe meer ik me zorgen maakte over de gapende gaten in onze verdediging. Ik leerde dat het niet helpt om alleen de technische oplossing voor het dichten van de gaten te kennen, als niemand gelooft dat er een probleem is. Ik raakte geïnteresseerd in het verhogen van het beveiligingsbewustzijn. Dit resulteerde in twee specifieke initiatieven van mij: een "Hack your own database"-cursus voor Transfer Solutions in 2011 en een "How to sell security"-sessie voor de UKOUG in Manchester in 2014 en de Harmony 2015-conferentie in Talinn, Estland, in 2015.

In 2015, toen ik bij Rabobank Nederland werkte, veranderde mijn carrière. Na 18 jaar technisch werk werd ik een "product verantwoordelijke", een soort tech lead. Het was meer een managementfunctie. Minder puzzels, meer mail en vergaderingen. Het bleek echt niet mijn kop thee te zijn. Na 2 jaar dit te hebben gedaan, had ik iets nieuws nodig.


Mijn oude Oracle blog is er overigens nog steeds als bewijs van mijn werk met Oracle databases.


View from the Rabobank towers in Utrecht


Een nieuw begin
Ik wilde terug naar de technische wereld. Met mijn Oracle-expertise zou het niet moeilijk zijn om als DBA aan de slag te gaan, maar ik wilde bij de beste en coolste bedrijven werken. Bij een van de coolste, vonden ze dat mijn profiel was nogal eenzijdig was. Alleen Oracle? Wat nog meer? Ik zei dat ik met Big Data wilde werken. Zij zeiden: "Wat heb je al zelf gedaan in Big Data?" Dat zette me aan het denken.

Ik had al een aantal cursussen gedaan, zoals Cryptografie I bij Coursera. Ik besloot om daar een aantal Big Data-cursussen te volgen. Onmiddellijk vond ik Hadoop geweldig. Het voelde zoals vroeger toen alles nieuw was. En er was zoveel van te ontdekken. Ik besloot dat dit nieuwe werkveld voor mij geweldig zou zijn.

Het doen van deze cursussen voelde bevrijdend. Ik had de volledige controle over wat ik leerde, en waar mijn carrière heen zou gaan. Het voelde geweldig! Na de eerste Hadoop-cursussen (die je achteraf alleen maar aan Big Data laten snuffelen) besloot ik dat ik Python wilde leren. Ik volgde twee geweldige Python cursussen gevolgd van de Rice University op Coursera. Onmiddellijk werd ik Python fan. Daarna besloot ik om Machine Learning te studeren van de Stanford University (er is een vernieuwde versie tegenwoordig op deeplearning.ai). Dit was een van de moeilijkste cursussen, maar ik slaagde erin om mijn certificaat te krijgen. En vanaf dat moment ben ik eigenlijk nooit gestopt met leren. Of het nu deep learning was, MongoDB, ElasticSearch of R Studio, ik bleef doorgaan.

Maar zou ik er ook echt in slagen om in dit nieuwe terrein aan werk te komen? Immers, voor het eerst in jaren was ik nu "onervaren", naast het feit dat ik 20 jaar met data had gewerkt. Sommige bedrijven wilden wel dat ik voor hen zou werken, maar dan moest ik ook het "oude spul" doen, dus Oracle, en misschien daarnaast Big Data. Maar ik besloot dat ik echt wilde beginnen als data engineer, zeg maar de persoon die de gegevens beschikbaar stelt zodat data scientists ze gemakkelijk en snel kunnen verwerken.

Uiteindelijk was er maar één bedrijf dat me dat zag doen, Open Circle Solutions in Eindhoven. Dat was geweldig. En daar ben ik in maart 2017 aan het werk gegaan. Helaas zagen klanten het aanvankelijk niet zo zitten. Het probleem werd dus in principe verlegd. En nu zat ik 8 maanden "op de bank".

Omdat ik tijd had, begon ik Youtube-video's te maken over de dingen die ik geleerd heb, zoals Hadoop High Availability and Security en hoe je met dataframes in Python kunt werken, ElasticSearch kunt gebruiken en zelfs hoe je met Python een raket kunt landen in het Kerbal Space Program.


Je kunt hier nog meer van vinden op mijn nieuwe data blog (Engels) en op mijn Youtube kanaal.

Uiteindelijk kon ik met Hadoop aan het werk bij Port of Rotterdam, waar ik nu werk aan de security en de data governance van het data lake. En dat is waar ik nu ben. In mei 2018 werd ik voltijds medewerker van het havenbedrijf.

View from the office in Rotterdam







Valid XHTML 1.0 Strict Valid CSS