RET (SA)
Senior Data Engineer (2 FTE)
Vandaag toegevoegd
Sommige details van deze opdracht zijn niet publiek beschikbaar.
Over de opdracht
Over de opdracht
Het Data Office binnen IT Services ontsluit en verwerkt gegevens uit uiteenlopende bronnen en maakt deze beschikbaar voor analyse. Het team ontwikkelt en beheert het centrale data- en analyticsplatform, dat is gebaseerd op een cloudlakehouse-architectuur met een medallion-structuur. In samenwerking met data-analisten, data stewards en andere stakeholders worden ruwe gegevens omgezet in dataproducten die bijdragen aan bedrijfsdoelstellingen. De Data Community borgt best practices, standaarden en architectuurprincipes, met aandacht voor governance, datakwaliteit, veiligheid en een betrouwbare dataketen.
De organisatie migreert momenteel naar een nieuw cloudanalyseplatform. Op de roadmap staan onder meer performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing. Er wordt gewerkt vanuit metadata-gedreven principes.
De functie
Als Senior Data Engineer draag je bij aan de ontwikkeling van een datagedreven organisatie. Je ontwikkelt dataproducten en bouwt, verbetert en beheert het centrale dataplatform. Je realiseert schaalbare datapipelines en ondersteunt datagedreven processen binnen onder meer assetmanagement, personeelszaken en financiën.
Je ontsluit, verwerkt en modelleert gestructureerde en ongestructureerde gegevensbronnen en implementeert geautomatiseerde controles op datakwaliteit. Je werkt in een agile omgeving samen met data engineers, platform- en solutionarchitecten, data-analisten en stakeholders uit de bedrijfsvoering. Ook lever je een bijdrage aan architectuurkeuzes, kennisdeling en de verdere professionalisering van het Data Office.
Werkzaamheden en resultaten
Je realiseert onderdelen van de platformroadmap en ondersteunt de migratie naar het nieuwe platform, waaronder het omzetten van bestaande pipelines, notebooks en datamodellen. Je ontwikkelt en onderhoudt pipelines en PySpark-notebooks binnen de medallion-architectuur, ontwerpt dimensionele datamodellen en richt oplossingen in voor uiteenlopende databronnen. Daarbij verbeter je prestaties, datakwaliteit, monitoring en kostenbeheersing.
Verder structureer en beheer je SQL-datawarehouses, implementeer je kwaliteitscontroles in ETL- en ELT-processen en ontwikkel je datacleaningprocessen. Je vertaalt behoeften van analisten naar technische specificaties, werkt met geautomatiseerde bouw-, test- en implementatieprocessen en voert code reviews uit. Je documenteert en monitort oplossingen, analyseert complexe technische problemen en deelt kennis met collega-engineers door hen te begeleiden en coachen. De opdracht resulteert in gerealiseerde roadmaponderdelen, gedocumenteerde datapipelines, notebooks, datamodellen en verbeteringen aan het platform.
Organisatiecontext
De opdracht vindt plaats bij een regionale openbaarvervoerorganisatie die bus-, tram- en metrodiensten verzorgt. De organisatie werkt aan vernieuwing van haar dienstverlening; de ontwikkeling van een toekomstbestendig dataplatform ondersteunt de operationele efficiëntie en kwaliteit van het openbaar vervoer.
Eisen
- Meer dan 7 jaar werkervaring als Data Engineer met de ontwikkeling en het beheer van een dataplatform binnen Microsoft Azure.
- Aantoonbare ervaring met Microsoft Fabric en/of Azure Synapse Analytics.
- Ervaring met het implementeren van dataoplossingen in complexe omgevingen met meerdere bronsystemen, afhankelijkheden en stakeholders.
- Ervaring met lakehouse-architecturen en medallion-principes.
- Uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel datamodelleren, SQL-programmering en PySpark-notebooks.
- Ervaring met het standaardiseren en automatiseren van workflows.
- Aantoonbare ervaring met Azure DevOps, Git en CI/CD-principes.
- Ervaring met werken in een agile omgeving.
- Ervaring met het vertalen van epics naar features binnen squads en het aanscherpen van user stories met andere engineers.
- Beschikking over één of meerdere relevante Microsoft Azure-certificeringen binnen data engineering, zoals Azure Data Engineer Associate (DP-203).
- Een zelfstandige en proactieve werkhouding, met het vermogen om snel effectief te functioneren binnen een nieuwe organisatie.