Data Engineer

Il y a 2 mois

Luxembourg, Ville de Luxembourg iKe. Temps plein

Dans le cadre de la modernisation d'une solution de reporting réglementaire au sein d'un acteur international du conseil et de l'audit, nous recherchons un·e Ingénieur·e Data Sénior·e pour contribuer à un projet stratégique de digital factory dédié aux données réglementaires des fonds d'investissement.

Vous interviendrez sur la refonte de traitements de données et de logiques de calcul historiquement portés par SQL, vers des composants Python / PySpark modulaires, testables et maintenables, au sein d'un environnement exigeant en matière de traçabilité, de qualité et de conformité réglementaire.


Missions principales :

  • Modernisation & ingénierie des pipelines
  • Analyser les logiques SQL existantes (procédures stockées, flux de données, dépendances) afin d'en assurer la migration et la refonte
  • Concevoir et développer des composants Python / PySpark réutilisables couvrant l'ingestion, la transformation, la préparation au calcul et la génération des sorties
  • Construire et maintenir des pipelines batch fiables, avec une conception intégrant identifiants de run, snapshots des entrées et traçabilité opérationnelle
  • Qualité, tests & performance
  • Mettre en œuvre des contrôles de qualité, de réconciliation et de parité entre sorties historiques (SQL) et nouvelles sorties (Python / PySpark)
  • Développer des tests unitaires, d'intégration et de non-régression pour les traitements de données
  • Optimiser les traitements PySpark et SQL (partitionnement, parallélisation, requêtes) pour la performance et la scalabilité
  • Architecture, collaboration & conformité
  • Contribuer à la conception de modèles de données (lakehouse, medallion, entrepôt de données) en lien avec les architectes et équipes techniques
  • Documenter modèles de données, logiques de transformation et décisions techniques ; participer aux revues de code
  • Garantir des pratiques de traitement sécurisées (contrôle d'accès, gestion des secrets) conformes aux exigences d'auditabilité et de gouvernance d'un environnement régulé


Profil recherché :

  • Compétences générales :
  • Minimum 5 ans d'expérience en tant qu'Ingénieur·e Data, Analytics Engineer ou Software Engineer orienté données
  • Capacité à analyser des logiques SQL complexes et à en anticiper les implications de migration
  • Forte autonomie, rigueur et sens de la responsabilité dans un environnement structuré et réglementé
  • Bonnes capacités de communication avec des interlocuteurs techniques et non-techniques
  • Compétences techniques requises :
  • Solide expérience pratique en Python pour l'ingénierie et le traitement de données
  • Solide expérience en PySpark / Apache Spark pour le traitement distribué et l'optimisation de traitements à grande échelle
  • Excellente maîtrise SQL (requêtes complexes, jointures, fonctions de fenêtrage, optimisation, modélisation)
  • Expérience avec les bases de données relationnelles, idéalement SQL Server
  • Expérience dans la conception de pipelines batch fiables (ingestion, transformation, validation, restitution)
  • Expérience en contrôles qualité, réconciliation et tests automatisés de pipelines de données
  • Maîtrise des pratiques de versioning, CI/CD et revues de code pour du code de production
  • Compétences complémentaires (atout) :
  • Expérience Microsoft Fabric (Notebooks, Lakehouse, Warehouse, OneLake, Pipelines)
  • Connaissances Azure (Data Factory, Synapse, Azure SQL)
  • Expérience Delta Lake / architecture lakehouse, Databricks, dbt, Airflow
  • Terraform / Bicep (Infrastructure as Code)
  • Expérience dans les services financiers, la gestion d'actifs ou le reporting réglementaire


Ce que nous vous offrons :

  • Un CDI avec une rémunération ajustée à votre profil (fourchette : 5 000 € — 7 000 € brut/mois).
  • Un suivi personnalisé : nous nous rencontrons au moins une fois par trimestre pour discuter de vos objectifs et de votre évolution.
  • Un environnement collaboratif et bienveillant, propice à l'apprentissage et à la réussite collective.
  • Des formations continues adaptées à vos besoins.
  • Une liberté d'action et une vision audacieuse, alignées avec nos valeurs d'Excellence, de Transparence et d'Agilité.