Bekijk alle vacatures
Data Engineer
Brussel, BrusselVoor 1 van onze klanten zijn we op zoek naar een Data Engineer.
Rolbeschrijving
Een Data Engineer is een ontwikkelaar die instaat voor het implementeren van nieuwe of gewijzigde functionaliteit op het data platform en het bouwen van data pipelines op dit data platform.
De Data Engineer werkt hiervoor samen met andere data engineers, een functioneel analist, solution architect, technisch architect en QA engineer. Samen vormen zij een agile team.
De Data Engineer beroept zich, voor het bouwen van functionaliteit en data pipelines, op zijn/haar technische kennis en vaardigheden van oa. Confluent Data Platform, Python, airflow, NIFI, …
Een typische dag van een data engineer zal hoofdzakelijk bestaan uit programmeren en opleveren van werkende code. Daarnaast zal de data engineer overleggen met collega's, oplossingen valideren, code van collega's reviewen, operationele issues opvolgen, documentatie schrijven, user stories evalueren en inschatten.
Technische vaardigheden en kennis
Communicatie- en praktische vaardigheden
Agile en Scrum
Rolbeschrijving
Een Data Engineer is een ontwikkelaar die instaat voor het implementeren van nieuwe of gewijzigde functionaliteit op het data platform en het bouwen van data pipelines op dit data platform.
De Data Engineer werkt hiervoor samen met andere data engineers, een functioneel analist, solution architect, technisch architect en QA engineer. Samen vormen zij een agile team.
De Data Engineer beroept zich, voor het bouwen van functionaliteit en data pipelines, op zijn/haar technische kennis en vaardigheden van oa. Confluent Data Platform, Python, airflow, NIFI, …
Een typische dag van een data engineer zal hoofdzakelijk bestaan uit programmeren en opleveren van werkende code. Daarnaast zal de data engineer overleggen met collega's, oplossingen valideren, code van collega's reviewen, operationele issues opvolgen, documentatie schrijven, user stories evalueren en inschatten.
Technische vaardigheden en kennis
- Dit verwachten we
- kennis van Python
- kennis van NIFI (of andere ELT tool)
- kennis van Airflow (of een gelijkaardige orchestratie tool)
- kennis van een API builder (FastAPI, Flask, …)
- Dit is een plus voor ons
- kennis van Spark en PySpark
- kennis van Cloudera Data Platform. (on premise geïnstalleerd)
- kennis van Spark Streaming
- kennis van Kafka en Kafka streams
- kennis van JDK talen (java, scala, groovy, ...)
- kennis van javascript (angular, d3, …)
- kennis van event verwerking en JSON
- kennis van Apache AVRO & Parquet
- kennis van Apache Iceberg
- kennis van Apache Impala
- kennis van Vault Speed
- kennis van SingleStore
- (conceptuele) kennis van data warehousing
- (conceptuele) kennis van data vault
- (conceptuele) kennis van lakehouse architectuur
- Is Nederlandstalig (voertaal is Nederlands en documentatie is in het Nederlands)
- Kan de stijl en toon van communicatie aanpassen aan het publiek
- Kan documentatie over richtlijnen en best practices doornemen en deze kennis verwerken in eigen ontwikkelingen
- Kan zelfstandig een ticket opnemen en uitwerken tot werkende code
- Heeft aantoonbare ervaring met het schrijven van datapipelines en/of het bouwen van functionaliteit voor een data platform
- Bezit de oprechtheid en moedigheid die eigen zijn aan een open feedbackcultuur.
Agile en Scrum
- Heeft een agile mindset en kent de agile principes
- Kent de scrum werking en heeft hier ervaring in