Posts in Livrable

Packaging, Test Et Livraison Pour Hadoop : Mode D'emploi

left-small Hadoop et son écosystème est un monde complexe où beaucoup de nos paradigmes de développeur Java / JavaEE (EE4J?) sont chamboulés.

D'une part les technologies utilisées diffèrent mais, en plus, d'autres questions telles que l'architecture, les tests (unitaires, intégrations, …), la gestion des logs (debug, audit, pki, …), les procédures de livraison, la gestion de la configuration de l'application, etc. viennent s'y ajouter.

Cet article va montrer comment il est possible de concilier simplement les tests d'intégration mais aussi le déploiement afin de tendre vers la philosophie de continuous deployment.

Une solution sera proposée et, même si elle est discutable et peut paraitre naïve, elle montrera comment il peut être simple de concilier ces deux points.

Concernant les technologies utilisées, la solution proposée utilisera :

  • Spark 2.2.0
  • Oozie
  • Knox
  • ElasticSearch 5.6.3
  • Hive
  • Scala 2.11 pour le langage mais Java pourrait également être utilisé
  • Maven 3.5.0 pour la partie de build

Bien sûr, il est facilement possible d'ajouter d'autres technologies comme HBase, Sqoop, Hive (avec exécution de hql) ou autre.

A noter qu'il sera utilisé les composants Hortonworks (HDP 2.6.2) et c'est pourquoi toute la partie exécution des jobs se fera au travers d'Oozie qui est, le plus souvent quand on utilise une distribution du marché, la solution par défaut.

Ainsi il sera traité les points suivants :

  • Description du cas d'usage et implémentation
  • Anatomie d'un livrable
  • Mise en oeuvre

in Hadoop, Livrable, Test Read on →