Bekijk alle vacatures
Data Architect
<meta /><meta content="width=device-width, initial-scale=1.0" />
Pour un client à Bruxelles, nous recherchons un Data Architect Medior.
Description du poste
Contexte :
Dans le cadre du programme DEP (Data Exchange Platform), nous construisons une plateforme de données on-premise. La plateforme doit répondre à des exigences strictes de sécurité, de gouvernance et de souveraineté des données. Vous rejoindrez la Sierra Team et travaillerez aux côtés d'un Data Architect, d'un Solution Architect et d'un BI developer.
Vos missions principales :
- Ingestion & pipelines de données : Concevoir et déployer des pipelines d'ingestion depuis des sources hétérogènes : fichiers, APIs, bases relationnelles. Implémenter des pipelines pour l'ingestion incrémentale et en streaming. Assurer la fiabilité, l'idempotence et la traçabilité de chaque pipeline.
- Transformation & couche sémantique : Développer les modèles de transformation sur les couches Bronze, Silver et Gold (Architecture medallion). Implémenter les bonnes pratiques d'historisations de données (ex: SCD2, upsert, append only,...). Développer les exports vers Delta Lake.
- Transactions ACID & Time Travel : Gérer et maintenir les tables Delta Lake. Garantir la cohérence transactionnelle des données dans un environnement multi-domaines.
- Orchestration : Implémenter et maintenir les assets à orchestrer. Monitorer les runs, gérer les erreurs et automatiser les alertes.
- Gouvernance & lignage : Pousser les métadonnées techniques et business vers la plateforme de data. Maintenir le lignage de bout en bout. Contribuer à la rédaction des DUA, SLA et documents de gouvernance associés.
- Exposition des données : Développer des endpoints pour exposer la couche Gold aux Dashboards BI. Collaborer avec les équipes reporting pour l'alimentation des dashboards BI.
Profil recherché :
Compétences techniques requises :
- Maîtrise de Python et SQL.
- Expérience confirmée avec dbt-core (modèles, snapshots, macros, tests, profils).
- Bonne connaissance de DuckDB comme moteur de requête analytique embarqué.
- Expérience avec Delta Lake (transactions ACID, time travel, OPTIMIZE/VACUUM, ...).
- Connaissance des bases relationnelles : MSSQL, PostgreSQL (SQL avancé, CDC).
- Expérience avec un orchestrateur de données : Dagster, Airflow ou équivalent.
- À l'aise sur Linux/OpenShift et PowerShell (environnement de développement Windows).
- Familiarité avec les outils de gouvernance : DataHub, OpenMetadata ou équivalent.
- Expérience dans le développement BI.
Compétences appréciées :
- Expérience Kafka/Debezium pour la capture de données en temps réel.
- Connaissance de Spark (Spark SQL, Thrift Server, Beeline).
- Expérience avec Power BI Report Server (PBIRS) ou Apache Superset.
- Sensibilité à la sécurité des données dans des environnements à accès restreint.
- Connaissance des concepts Lakehouse (architecture Medallion), DWH et Datalake.
Savoir-être :
- Rigueur et autonomie dans la gestion de pipelines complexes multi-domaines.
- Capacité à documenter les décisions techniques et à vulgariser pour des interlocuteurs non-techniques.
- Esprit d'équipe.
- Curiosité et esprit orienté solution.
Ce que nous offrons :
- Une mission stable qui s'inscrit dans la durée.
- Un projet à fort impact dans un environnement sécurisé et techniquement stimulant.
- Un stack moderne et open-source : DLT, dbt, DuckDB, Delta Lake, Dagster, ...
- Une équipe expérimentée et bienveillante, orientée qualité et bonnes pratiques.
- Des opportunités de montée en compétences sur la gouvernance, l'orchestration et le lakehouse.
Informations supplémentaires :
- Nationalité belge requise.
- Lieu de travail : Bruxelles, avec un régime de travail de 2 jours sur site par semaine et 3 jours de télétravail.
- Durée : Début dès que possible jusqu'au 31/12/2026 avec possibilité de prolongation en 2027.
- Langues requises : Néerlandais et Français.