La mission consiste à transformer les jobs Talend :

• Remplacement des composants Hbase vers des composants Talend BigQuery
• Remplacement des composants hive vers des composants Talend BigQuery
• Remplacement des composants tFile qui pointent sur des fichiers présents sur le stockage MaprFS par des composants Talend cloud Storage (génération en local des fichiers et push vers GCS)
• Adaptation des traitements Spark exécutés sur Hadoop pour migration sur dataproc
• Adaptations des contextes, optimisations dans certains cas
• Revoir la conception de certains jobs complexes pour les adapter à la cible et à ses contraintes
• Transformation de scripts Shell (appels hive, Hbase, Spark) en jobs Talend Environnement technique
• Hadoop Mapr 5.0
• Hbase
• Hive 0.13 tables externes, internes, parquet
• MaprFS avec montage NFS (vu par Talend comme un répertoire)
• Google
• BigQuery tables externes et internes
• Cloud Storage
• Dataproc
• Talend Real
• time Big Data Platform v7.3 (uniquement des jobs ETL pas de job Big Data en MapReduce)
• Jira
• Shell linux, SQL, Spark

Environnement fonctionnel

Pour la réussite de cette mission, le candidat doit avoir une expérience de 5 ans dans une mission similaire sur un poste de développeur. Dans un environnement complexe (nombreuses tables, jobs complexes, forte volumétrie). Il travaillera en étroite collaboration avec l'équipe BI architecture, l'équipe de production et l'équipe projet déjà en place. Il doit être autonome, proactif, capable de communiquer avec l'ensemble des interlocuteurs. Idéalement, il doit être sensibilisé aux problématiques de charge liées aux fortes volumétries de données.