Nederlandse Spoorwegen
Data Streaming Engineer
Vandaag toegevoegd
Sommige details van deze opdracht zijn niet publiek beschikbaar.
Word gratis lidOver de opdracht
De functie van Data Streaming Engineer richt zich op het ontwikkelen en operationeel houden van realtime dataoplossingen binnen een innovatieve data-omgeving. In deze rol lever je een directe bijdrage aan de reiservaring en aan een efficiënte dagelijkse treindienst door streaming data te vertalen naar bruikbare inzichten en prognoses.
Rol en context
Je werkt bij een Nederlandse spoororganisatie in het cluster Reizigersstromen, binnen team FLUX, een Advanced Analytics-team. FLUX ontwikkelt onder andere een realisatiemodel dat achteraf aantallen reizigers per trein nauwkeurig in kaart brengt. Deze uitkomsten vormen de basis voor onder meer KPI-berekeningen, rapportages, inzichten in reizigersstromen, drukte op stations en commerciële analyses.
Daarnaast wordt gestart met FLOW: een nieuwe applicatie die realtime datastromen combineert met machine learning om reizigersprognoses te maken voor de operatie op dezelfde dag. Daarbij draait het om het ontwerpen en realiseren van een platform dat continu gevoed wordt door uiteenlopende bronnen en dat voorspellende informatie levert voor operationele sturing en monitoring.
Werkzaamheden
Je levert als Data Streaming Engineer een bijdrage aan het opzetten en uitbreiden van streaming pipelines en event-driven componenten binnen een moderne cloudomgeving. Je werkt aan het verwerken van onder andere check-in/check-uit transacties, ticketverkoop, updates van dienstregelingen en conducteurscontroles. Met deze data worden realtime inzichten en prognoses gerealiseerd die helpen bij operationele sturing, monitoring van drukte en het verbeteren van reizigersinformatie.
Je ontwerp- en engineeringfocus ligt op schaalbare streaming architecturen en betrouwbare cloudcomponenten. Je houdt je bezig met het ontwerpen, bouwen en beheren van streaming pipelines voor realtime prognoses binnen FLOW. Daarnaast richt je event-driven onderdelen in en koppel je machine learning toe aan de streaming datastromen zodat prognosemodellen continu kunnen werken met actuele informatie.
Verder werk je aan deploymentstrategieën voor streaming applicaties, waarbij aandacht is voor betrouwbaarheid, schaalbaarheid en veilige releases. Je ontwikkelt replay- en herverwerkingsmechanismen waarmee historische streaming events gecontroleerd opnieuw afgespeeld kunnen worden bij incidenten, voor testen of voor modelverbeteringen. Ook neem je verantwoordelijkheid voor streaming operations zoals monitoring, alerting en observability, zodat een stabiele productieomgeving geborgd blijft.
Je analyseert datastromen en operationele metrieken om knelpunten in pipelines en modellen snel zichtbaar te maken. Je werkt daarbij samen met data scientists, data engineers, IT en andere stakeholders om realtime use-cases van idee naar productie te brengen. De rol wordt uitgevoerd binnen een multidisciplinair, innovatief team en past bij een sterke achtergrond in data engineering, streaming engineering of machine learning engineering.
Als standplaats geldt Utrecht en je werkt binnen scrumteams agile samen aan dataproducten die snel en betrouwbaar inzicht leveren aan (interne) gebruikers.
Eisen
- Je hebt ruime ervaring met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen
- Je brengt expertise op het gebied van streaming over binnen het team en zorgt voor een solide technisch fundament waarop FLOW kan groeien
- Je hebt ervaring met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks
- Je hebt kennis van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git
- Je hebt ervaring met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen
- Je hebt ervaring met deploymentstrategieën voor data- of streamingapplicaties en denkt bewust na over releases, rollback, betrouwbaarheid en schaalbaarheid
- Je hebt kennis van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen
- Je schrijft schone, goed geteste code in Python en PySpark en bent kritisch op details, edge cases en operationele robuustheid
- Je hebt een uitstekende beheersing (zowel mondeling als schriftelijk) van de Nederlandse taal
- Deze opdracht is alleen geschikt voor kandidaten die in loondienst zijn en waarvoor loonbelasting en premies volks- en werknemersverzekeringen (WW, WAO, WIA en ZW) worden afgedragen.
Wensen
- Het is een pre als je ruime ervaring hebt met het ontwerpen, bouwen en beheren van streaming data-pipelines in productieomgevingen
- Het is een pre als je expertise hebt op het gebied van streaming
- Het is een pre als je ervaring hebt met cloudcomponenten voor streaming en event-driven architecturen, zoals Azure Event Hubs, Azure Functions en Databricks
- Het is een pre als je kennis hebt van Databricks Structured Streaming, PySpark, Azure cloud-infrastructuur, Terraform, CI/CD, Docker en Git
- Het is een pre als je ervaring hebt met machine learning in productie en begrijpt hoe ML-modellen kunnen worden toegepast binnen realtime of near-realtime datastromen
- Het is een pre als je ervaring hebt met deploymentstrategieën voor data- of streamingapplicaties en bewust nadenkt over releases, rollback, betrouwbaarheid en schaalbaarheid
- Het is een pre als je kennis hebt van event replay, fault recovery, monitoring, alerting en operationeel beheer van streaming systemen
- Het is een pre als je schone, goed geteste code schrijft in Python en PySpark en kritisch bent op details, edge cases en operationele robuustheid