Développeur Big Data

Entreprise :

WeLinK est un cabinet de Conseil & Consulting IT fondé en 2011, spécialisé dans le Placement/Head Hunting de freelances IT.

WeLink est actuellement le N°1 des missions freelances au Maroc, et dispose de références solides au Maroc : CAPGEMINI, ATOS, IBM, SOFRECOM, CGI, GFI, Omnidata, SOPRA BANKING, HPS, UMANIS, SQLI, BDSI, WAFA ASSURANCE, DXC, ATTIJARI BANK, CFG BANK, MAJOREL, WEBHELP…
Ainsi que diverses références à l'international.

Depuis sa création, WELINK a pu intervenir sur plus de 600 Missions long termes (> 6 Mois). Quant à notre équipe actuelle, elle dépasse 150 Consultants Freelances IT en mission.

Poste

Dans le cadre d'un projet Big Data stratégique, nous recherchons un Développeur Big Data expérimenté pour rejoindre une équipe dynamique. Vous serez responsable de la conception, du développement et de la mise en œuvre de solutions Big Data, en utilisant des technologies de pointe telles que Python, PySpark, Scala et Hive.

Responsabilités :

• Concevoir et développer des pipelines de données Big Data performants en utilisant PySpark et Scala.
• Manipuler de grandes quantités de données et effectuer des transformations de données complexes à l'aide de Spark et Hive.
• Collaborer avec les équipes produit et technique pour comprendre les besoins métier et traduire ces exigences en solutions Big Data.
• Optimiser les performances des processus de traitement des données sur des clusters distribués.
• Implémenter des solutions de stockage et de gestion de données dans Hive, en assurant leur accessibilité et leur intégrité.
• Assurer la qualité du code et des processus par l'automatisation des tests et la mise en place de bonnes pratiques de développement.
• Documenter les processus et partager les connaissances techniques avec l'équipe.

Profil

• Diplômé(e) d’un Bac+5 en école d'ingénieur ou équivalent universitaire avec une spécialisation en informatique, ou justifiant d'une expérience significative équivalente
• Expérience de plus de 5 ans en Big Data

Compétences techniques requises:

• Maîtrise des langages de programmation Python et Scala pour le traitement des données.
• Expérience avec PySpark pour le traitement des données massives et l'orchestration des jobs Spark.
• Solide compréhension de Hive pour le stockage et la gestion des données dans des environnements distribués.
• Expérience avec des systèmes de gestion de données distribués et des clusters (par exemple, Hadoop, Spark).
• Compétences en gestion de la performance et optimisation des tâches Big Data.
• Connaissance des bonnes pratiques en matière de traitement de données et de modélisation de données.
• Maîtrise des concepts d'ETL (Extract, Transform, Load) et des architectures Big Data.

Aptitudes / Qualités personnelles requises :

• Bon relationnel et excellente communication (interaction directe avec les métiers).
• Rigueur et organisation.
• Forte capacité d’adaptation et réactivité dans un environnement de travail dynamique.
• Autonomie et esprit d’équipe.