Voor een klant zijn we op zoek naar een Medior Data Engineer

Functieomschrijving

Als Medior Data Engineer kom je terecht in het ICT & Data-Architectuur departement, binnen de dienst Data & Analytics architectuur. Je zult je bezighouden met het ontsluiten en normaliseren van technische data van voertuigen en werkt nauw samen met Data Scientists, Data Analysts en een Product Owner.

Verantwoordelijkheden

• Onderhouden en uitbreiden van het Azure Data Platform, inclusief:
  • Opzetten van integraties met brondata (API calls, IoT Hub integratie, etc.)
  • Opzetten van ETL-pipelines in Python-codebase
  • Refactoring en up-to-date houden van bestaande code
• Verzekeren van datakwaliteit door:
  • Afstemming met leveranciers/externe partners
  • Procesmonitoring en inhoudelijke monitoring
  • Documenteren van processen en beschikbare data
• Support leveren voor bestaande dataproducten, zoals:
  • Realtime dashboards in Power BI
  • Historische rapporten in Streamlit

Vereiste kwalificaties en ervaring

• Hogere opleiding (Master) met technische/engineering achtergrond of gelijkwaardig door ervaring met ICT-technologie
• Minimaal 3 jaar aantoonbare ervaring als Data Engineer
• Minimaal 3 jaar ervaring in het opzetten van ETL-pipelines
• Minimaal 3 jaar ervaring met Python
• Ervaring met Azure Batch & Airflow voor batch-verwerking (pré)
• Ervaring met Azure Functions & Azure Event Hub voor realtime-verwerking (pré)
• Ervaring met GIT-Streamlit (pré)
• Ervaring met PySpark - CI/CD (pré)
• Ervaring met verwerking van real-time gegevens (pré)

Taalvereisten

Nederlandstalig op Europees CEFR-niveau C2

Gewenste vaardigheden

• Vermogen om zelfstandig en in teamverband te werken
• Sterke analytische vaardigheden en probleemoplossend vermogen
• Goede communicatieve vaardigheden