Nederlandse Spoorwegen
Data Ingestion Engineer
Vandaag toegevoegd
Sommige details van deze opdracht zijn niet publiek beschikbaar.
Word gratis lidOver de opdracht
Een strategisch speerpunt is om meer datagedreven te werken. De afdeling Data Innovatie & Analyse (DIA) ondersteunt dit met data platforms, analytics en het ontwikkelen van betrouwbare data- en AI-producten. Als Data Ingestion Engineer werk je binnen team Lakehouse, één van de platformteams binnen DIA. Het team bouwt en beheert een grootschalig data-ingestieplatform dat datateams in staat stelt zich te richten op het leveren van waardevolle data-, informatie- en AI-producten.
In deze rol ben je medeverantwoordelijk voor het volledige ontwikkel- en beheerproces van het platform. Je ligt daarbij de nadruk op automatisering en kwaliteit. Je slaat de brug tussen software engineering en data engineering om het platform productiewaardig te maken. Met je Python-vaardigheden en ervaring met data-ingestie ondersteun je het bouwen van een gestandaardiseerde “achterkant” die niet alleen data verplaatst, maar ook valideert en als betrouwbaar product aanbiedt.
Werkzaamheden
Je ontwikkelt met Python de core services van het data-ingestieplatform, waaronder generieke componenten voor patronen zoals API en FTP en het implementeren van data push-principes (zoals endpoints voor bronnen). Je draagt zorg voor logica rondom validatie, versioning en metadata-management, zodat er een betrouwbare bron- en zilverlaag beschikbaar is in een analytics-omgeving in plaats van enkel ruwe bestanden. Daarnaast werk je met relationele databases voor efficiënte opslag van dataconfiguraties. Je zet containers in om pipelines te draaien en ontwerpt en bouwt API’s waarmee het platform wordt gebruikt en uitgebreid.
Werkomgeving
Je werkt in een autonoom scrumteam met zes developers, een UX-designer, een scrum master en een product owner. De werkomgeving is hybride: je werkt vanuit het hoofdkantoor of vanuit huis. Er is in principe één vaste kantoordag, met flexibiliteit om vaker naar Utrecht of elders in het land te reizen. Binnen het team ligt de nadruk op continue verbetering, eigenaarschap en actieve kennisdeling binnen en buiten het team.
Eisen
- Minimaal HBO werk- en denkniveau
- Minimaal 3 jaar ervaring in een soortgelijke rol
- Ervaring met het bouwen van robuuste, schaalbare en onderhoudbare services in Python
- Uitstekende beheersing (mondeling en schriftelijk) van de Nederlandse taal
- Hands-on ervaring met Azure (Function Apps, Container Apps, ADLS Gen2) en schaalbare microservice-architecturen
- Ervaring met Infrastructure as Code, bijvoorbeeld Terraform of Bicep
- Ervaring met Databricks of Snowflake en bekendheid met OTF
Wensen
- Bij voorkeur werkervaring bij een soortgelijke organisatie met minimaal 5000 werkplekken
- Het is een pre als je ervaring hebt met Databricks of Snowflake en bekend bent met OTF