Développeur Data Python SQL Shell Spark

Contexte Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d’expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L’objectif de la mission est de réaliser et maintenir les développements nécessaires à l’alimentation de la plateforme Hadoop, à la mise en place d’extractions et à l’accompagnement des utilisateurs.

Missions

Prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l’alimentation du Datalake, les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter).

Avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date).

Mettre en place des extractions à partir de ces données.

Assurer le support niveau 2.

Faire appliquer les consignes aux utilisateurs.

Garantir la tenue des délais de livraison dans un contexte de production à fortes attentes.

Contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité.

Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gouvernance de la Donnée.

Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s’intégrer et à partager son savoir faire, à documenter ses actions et à accompagner.

Attendus

Développement des traitements d’alimentation, forte capacité à structurer l’activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets.

Développement d’extractions avec SQL (expert) et scripting Shell avancé pour l’automatisation.

Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe.

Optimisation des traitements de la plateforme et ceux des utilisateurs.

Livrables attendus

Code source documenté.

Plan de tests / fiches de test.

Bilan.

Bordereau de livraison.

Manuel d’installation.

Dossier d’exploitation.

JIRA documentée.

Environnement technique – technologique

Cloudera Hadoop

Hive, impala

Python

SQL

Shell

Spark

VBA

GIT

Jupyter

Linux

JIRA

Profil & Compétences

Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d’étude, qualifieur et « clients ».

La connaissance de Power BI et de SAS sont des plus.

Obligatoires : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA.

Un plus : Jupyter.

Compétences techniques

Connaissance Cloudera Hadoop, Hive, Impala.

Développement Python.

Requêtage SQL.

Développement Shell.

Développement Spark (Scala).

Utilisation de GIT.

Agilité (méthodes Kanban et/ou Scrum).

Compétence liée à l’environnement : Connaissance de l’écosystème de la protection sociale.

Bénin Digital est une Entreprise de Services du Numérique (ESN) spécialisée dans la digitalisation des processus métiers et accompagne les clients issus des secteurs de l’industrie, de la Banque & assurance, de l’industrie, de la Grande distribution & e-commerce et des Médias & communication. Nous interagissons avec nos clients et consultants autour de compétences « tech » pour l’essentiel et les accompagnons aussi avec des talents Data, Produit, Design et Marketing Digital. Bénin Digital accompagne ses clients dans la chaine de valeur de leurs activités en leur mettant à disposition son expertise à travers des consultants hautement qualifiés pour des projets et des missions diversifiées en Afrique et en Europe.

#J-18808-Ljbffr