Le Tech Lead Data Engineering (H/F) a pour mission d’assurer la collecte, le traitement et le stockage des données dans la Plateforme Data Cloud Azure de manière efficace. Il travaille en étroite collaboration avec les équipes métiers pour comprendre leurs besoins ainsi que les équipes CTO/DSI pour mettre en place l’infrastructure Cloud appropriée. Il anime également l’équipe des Data Engineers pour l’implémentation de pipelines optimaux et l’exposition des données répondant aux besoins des use cases data ainsi que des applications.
Les principales responsabilités sont de :
- Concevoir les frameworks et développer les pipelines pour la collecte, le traitement et le stockage des données dans la Plateforme Data Cloud Azure.
- Animer et piloter une équipe de Data Engineers.
- Coordonner les projets et répartir les tâches au sein de l'équipe.
- Développer les compétences et assurer le mentorat des membres de l'équipe.
- Établir des normes et des processus pour la collecte, le stockage, la transformation et la sécurisation des données.
- Assurer la qualité et la fiabilité des données en mettant en place des mécanismes de contrôle et de surveillance.
- Collaborer avec les parties prenantes (métiers, Data Scientists, Data Analysts, développeurs…) pour comprendre leurs besoins, fournir des solutions de données efficaces et soutenir les initiatives liées aux données.
- Participer à la veille technologique pour rester à jour sur les avancées dans le domaine du Big Data et de l'ingénierie des données....
Profil recherché :
De formation Bac+5 d'une Ecole d’Ingénierie avec une expérience de minimum 6 ans dans la Data Engineering ou dans un poste similaire, dans laquelle vous avez développé les compétences techniques liées aux technologies suivantes :
- Maitrise des technologies Data sur Azure.
- Maîtrise des langages de programmation Python et SQL.
- Expertise dans la conception et le développement de pipelines de données (ELT) et la manipulation des données.
- Connaissance approfondie des outils et des frameworks de Big Data tels que Hadoop, Spark, Kafka.
- Compétences en modélisation de données et en gestion de schémas.
- Maîtrise des principes d'optimisation des performances et des techniques de résolution de problèmes liés aux bases de données...