Datarockstars Jobs

Un Data engineer Hadoop/GCP/Pyspark sur Charenton-Le-Pont. / Freelance

About the employer
  • Almatek
  • France

Job description

Almatek recherche pour l'un de ses clients, d'Un Data engineer Hadoop/GCP/Pyspark sur Charenton-Le-Pont. Si vous êtes intéressé et disponible, merci d'adresser votre candidature à kahina.laroui(AT)almatek.fr Nous recherchons un profil Hadoop / GCP / PySpark qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en oeuvre techniquement les évolutions du datalake CIO Office, et son passage progressif de Hadoop (Cloudera) vers GCP.


Les tâches suivantes seront confiés au consultant :

  • Mettre en oeuvre de nouvelles ingestions de données, data preparation/transformation
  • Maintenir et faire évoluer nos outils de gestion des pipeline de données (Pyspark + shell scripting)
  • Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme Participer à la mise en oeuvre d'APIs afin d'exposer nos données
  • Participer à la migration progressive vers GCP

Les compétences requises sont les suivantes :

  • Maîtrise de la plateforme Hadoop, du développement Python/PySpark, et de Hive Anglais courant (écrit et parlé) pour les échanges Porto, où se trouvent un part importante des interlocuteurs IT
  • Connaissance et pratique des méthodes agiles (SCRUM en particulier)
  • Des connaissances d'Indexima, de GCP/Big Query, ainsi que des librairies Python orientées API seraient un plus appréciable
  • Capacité de rédaction de spécifications techniques Dynamisme et excellent relationnel Force de proposition