Formation Hadoop, installation et administration

Présentation

SRSH01
4 jours ( 28 heures )
Présentation

Apprendre à installer, configurer un cluster Hadoop.

Objectifs du cours

Ce cours vous permettra d'installer, configurer et administrer un cluster Hadoop. Vous apprendrez également à l'optimiser et le maintenir dans le temps.

Pré-requis

Maîtrise de l'administration Linux

Programme

 

Présentation du Framework Apache Hadoop

Enjeux du Big Data et apports du framework Hadoop.

Présentation de l'architecture Hadoop.

Description des principaux composants de la plateforme Hadoop.

Présentation des distributions principales du marché et des outils complémentaires (Cloudera, MapR, Dataiku...).

Avantages/inconvénients de la plateforme.

Préparations et configuration du cluster Hadoop

Principes de fonctionnement de Hadoop Distributed File System (HDFS).

Principes de fonctionnement de MapReduce.

Design "type" du cluster.

Critères de choix du matériel.

Installation d'une plateforme Hadoop

Type de déploiement.

Installation d'Hadoop.

Installation d'autres composants (Hive, Pig, HBase, Flume...).

Gestion d'un cluster Hadoop

Gestion des noeuds du cluster Hadoop.

Les TaskTracker, JobTracker pour MapReduce.

Gestion des tâches via les schedulers.

Gestion des logs.

Utiliser un manager.

 

GESTION DES DONNÉES DANS HDFS

Import de données externes (fichiers, bases de données relationnelles) vers HDFS.

Manipulation des fichiers HDFS.



CONFIGURATION AVANCÉE

Gestion des autorisations et de la sécurité.

Reprise sur échec d'un name node (MRV1).

NameNode high availability (MRV2/YARN).



MONITORING ET OPTIMISATION TUNING

Monitoring (Ambari, Ganglia...).

Benchmarking/profiling d'un cluster.

Les outils Apache GridMix, Vaaidya.

Choisir la taille des blocs.

Autres options de tuning (utilisation de la compression, configuration mémoire...).


Partager cette formation

 

Contactez-nous

contactez logware

Vous êtes intéressé par cette formation ou souhaitez simplement obtenir des informations complémentaires ?

+33 1 53 94 71 20

Écrivez-nous on vous rappelle

  1. Nom*
    Merci de saisir un nom valide
  2. Prénom*
    Merci de saisir un prénom valide
  3. E-mail*
    Merci de saisir une adresse email valide
  4. Téléphone*
    Numéro de téléphone invalide
  5. Entreprise
    Donnée invalide

Parce que nous comprenons la nécessité d'obtenir un enseignement qui permettra à votre équipe d'atteindre vos objectifs, nous restons flexibles et sommes capables d'adapter nos programmes de formation à vos besoins.

> En savoir plus