Data Engineer Hadoop - Freelance - Freelance

Description du poste Taux journalier (TJM): 480€/jour Contexte Au sein du département IT d'une grande institution financière (DSI Corporate), la DSI T&O et BPA a pour vocation de fournir aux services Technologies & Opérations (pôles Global Business Management and Transformation (GBMT), WorkPlace, CIO Office Groupe) et Banque de Proximité et Assurance (BPA), l’ensemble des applications nécessaires à leur fonctionnement. Missions Nous recherchons un profil Hadoop / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en œuvre techniquement les évolutions du datalake CIO Office. Passionné par le développement et le traitement des données, capable de s’adapter à un environnement dynamique et en constante évolution, le candidat doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes. Les tâches suivantes seront confiées au consultant : • Mettre en œuvre de nouvelles ingestions de données, data prep/transformation • Maintenir et faire évoluer nos outils de gestion des pipelines de données (Pyspark + shell scripting) • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Compétences métier Développe, construit des infrastructures de données d'un point de vue système et sécurité. • S'assure de la collecte, du stockage et de l'exploitation des flux de données répondant aux enjeux de l'entreprise. • Est garant de l'accès qualitatif des sources de données qui viennent alimenter des espaces de stockage afin d'en faciliter l'exploitation par les Data Scientist et Data Analyst. • Définit également la structure des métadonnées. • Industrialise les modèles de Machine Learning. • Maintient et participe au suivi du RUN des applications/modèles développés. • Cartographie et documente les sources de données. • Assure la maintenance des différentes applications déployées en production et des infrastructures associées. • Conçoit les solutions permettant le traitement de volumes importants de flux de données. • Structure les bases de données (sémantique, format, etc.). • Contribue à la gestion des référentiels de données. • Capte et stocke les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise. • Assure la supervision et l'intégration des données de diverses natures qui proviennent de sources multiples. Vérifie la qualité des données et s'assure de leur sécurité. • Assiste les Data Scientists dans l'optimisation des performances techniques des modèles de Machine Learning. • Industrialise les modèles de Machine Learning conçus par les Data Scientists. • Reste en alerte sur les technologies liées au traitement de la manipulation de la donnée et identifie les solutions utilisables. • Propose des évolutions pour les infrastructures et solutions de données en place. Conditions de travail • Expérience : 3 à 6 ans • Démarrage : 28/09 • Dead line : 22/09 • Localisation : Charenton-Le-Pont • Durée mission : 5 mois renouvelable • TJM : 480€ Profil recherché • Excellente maîtrise de la plateforme Hadoop , ainsi que du développement en Python/PySpark et Hive • Bonne connaissance de SQL , GIT , Jenkins , Jira , et du shell scripting sous Unix/Linux • Maîtrise de l'anglais , tant à l'écrit qu'à l'oral • Expérience dans des environnements agiles , en particulier avec la méthodologie SCRUM • Connaissances et expériences avec des outils et technologies tels que Indexima , Alteryx , Altair , GCP/Big Query , ainsi que des bibliothèques Python orientées API • Capacité à rédiger des spécifications techniques claires et précises • Dynamisme , excellent relationnel et capacité à travailler en équipe • Force de proposition et curiosité technique pour explorer de nouvelles solutions et technologies