Expert Elasticsearch (ELK) and Data Intégration

DIGITAL MANAGEMENT, Société de renommée internationale, spécialisée dans le Business développement et le Marketing Digital, présente dans 18 pays et opérant dans plus de 30 secteurs, recherche des talents du numérique d’aujourd’hui et de demain.

Notre job en quelques mots : proposer à nos clients des solutions uniques et innovantes dans le but d’optimiser leurs performances, améliorer leur rendement, accroître leur visibilité et rester pionniers sur leur secteur en dédiant des spécialistes en ingénierie travaillant de pair avec des marketeurs et directeurs artistiques pour chaque corps de métier.  Vous avez soif d’aventures, de nouveaux challenges, d’innovations technologiques, Mais vous voulez aussi trouver une famille ? DM est faite pour vous. Rejoignez vite l’aventure digitale. Notre modèle exclusif est basé sur la proximité, l’écoute, l’épanouissement, le développement de votre carrière, le tout agrémenté de beaucoup de fun et d'esprit collectif. 

Dans le cadre du lancement d’un projet Big Data, nous sommes à la recherche d'un Expert Elasticsearch (ELK) and Data Intégration.

Vos missions :

• Définir et mettre en place les clusters et configurations ELK au fur et à mesure de la montée en charge des plates-formes et s'assurer de leur performance et de leur bonne supervision.
• Fournir des moyens d’indexation permettant une ingestion rapide et sécurisée des données depuis la couche de traitement (Transformation).
• Optimiser les configurations ES pour avoir un temps de réponse optimal pendant les recherches.
• Produire une documentation progressive de l'architecture mise en œuvre.
• Travailler avec les différents corps de métier qui interagissent avec les projets Big Data-ELK.
• Produire et maintenir les tableaux de bord pour faciliter les prises de décisions administratives.
• Mettre en place des outils de monitoring des applications métiers (Web / Batch / Ordonnanceur).

Missions détaillées :

• Participer à la réalisation de projets décisionnels et au développement des processus d’intégration de notre Data Lake (Architecture On Premise).
• Accompagner les Directions Métiers et les Directions des Systèmes d’Information dans l’expression de leurs besoins en termes :
• D’architecture fonctionnelle et technique de Data Integration
• De conception de flux de données et modélisation des traitements
• De stratégie Data Intégration & migration de bases de données
• De Schéma Directeur ETL & Data Hub, Benchmark de solutions ETL
• Apporter votre expertise en méthodes & ingénierie de développement
• Opérer la modélisation conceptuelle, logique et physique des données au moyen de solution AGL.
• Opérer la modélisation organisationnelle des traitements au moyen de solution AGL.
• Définir et produire les dossiers de conception fonctionnelle et technique des flux de données et des traitements.
• Définir et produire les scripts de traitements de données structurées ou NOSQL: Data Prep, Data Quality 
• Management, Calculs et traitements de données en mode batch et/ou real-time, interfaces exports/imports …
• Mettre en œuvre les traitements de données et garantir :
• La cohérence d’ensemble des développements ETL
• La performance de l’ensemble de la chaîne des traitements ETL
• Définir et produire les processus d’exploitation IT des traitements ETL : supervision, scheduling, sécurité, gestion des log …
• Concevoir les protocoles de tests. 
• Organiser et réaliser les plans de tests.
• Réaliser des tests unitaires et de recettes.
• Rédiger des manuels utilisateurs et former les utilisateurs.
• Optimiser les process et proposer des méthodologies adaptées (veille sur les données, outils…).
• Contribuer à l’administration technique de la plateforme ETL (Installation, configuration, performance, sécurité etc …).
• Vous maîtrisez les notions de méta-données et contribuez à la mise en place de Méta-Dictionnaire d’Entreprise.

• Diplômé d’un cursus Informatique, vous justifiez d’une première expérience de plus de 3 ans dans les activités de Data Intégration, d’ingénierie ETL, et de développement.
• Vous maîtrisez les principales solutions de transformation de données (Spark, Pandas, Flink, Storm etc.)
• Vous avez conçu, développé et déployé en production des traitements de différentes natures : Processus d’export, Processus d’import, Migration/reprise d’historique sur des données volumineuses (de l’ordre du Tera ou PetaBytes)
• Vous avez une expérience de stratégie opérationnelle Data Intégration & migration de bases de données
• Vous maîtrisez les problématiques de la BIG Data dans un contexte multi-technologie de stockage disposant d’une ou plusieurs des solutions suivantes : ElasticSearch, Cassandra, MongoD, AmazonS3, * PostgreSQL, MySQL, HDFS …
• La connaissance d’une solution de Dataviz (Kibana, Graphana ... ) est indispensable.
• Vous avez, de préférence, une première expérience des méthodes agiles & Devops.
• Vous avez une bonne connaissance de l’anglais.
• Vous êtes bon team player ou team leader.

Vos compétences :

• Maîtrise de la suite ELK (ElasticSearch Logstash Kibana)
• Expertise dans l’optimisation des ressources des clusters de données dans une architecture multi-technologique.
• Connaissance des outils de traitement de données (Data-Processing)
• Maîtrise au moins de l’un de ces langages de programmation (Python, Java, Scala)
• Bonne connaissance des Systèmes d’exploitation Unix.