0. 0.

Description
Note : Ce cours est construit sur le cours Real World Vagrant - Automate a Cloudera Manager Build - Toyin Akin.

Déployez un cluster Hadoop (Zookeeper, HDFS, YARN, Spark) avec Python ! instruisez Cloudera Manager pour faire le travail ! hands on. Ici, nous utilisons Python pour instruire un Cloudera Manager déjà installé pour déployer vos services Hadoop.

L'API Cloudera Manager fournit la configuration et la gestion du cycle de vie des services, des informations de santé des services et des métriques, et vous permet de configurer Cloudera Manager lui-même. l'API est servie sur le même hôte et le même port que la console d'administration Cloudera Manager, et ne nécessite pas de processus supplémentaire ou de configuration supplémentaire. l'API supporte l'authentification HTTP de base, acceptant les mêmes utilisateurs et les mêmes informations d'identification que la console d'administration Cloudera Manager.

.

Voici quelques-unes des choses cool que vous pouvez faire avec Cloudera Manager via l'API :

Cloudera Manager supporte HDFS, MapReduce, YARN, ZooKeeper, HBase, Hive, Hive, Oozie, Hue, Hue, Flume, Impala, Solr, Sqoop, Spark et Accumulo.
Configurez les différents services Hadoop et obtenez la validation de la configuration.
Prendre des mesures administratives sur les services et les rôles, comme le démarrage, l'arrêt, le redémarrage, le basculement, etc. Sont également disponibles les flux de travail plus avancés, tels que la mise en place d'une haute disponibilité et le démantèlement.
Surveillez vos services et vos hôtes, grâce à des contrôles et mesures intelligents de l'état de santé des services.
Surveiller les tâches des utilisateurs et autres activités du cluster.
Récupérer les données métriques des séries temporelles.
Recherche d'événements dans le système Hadoop.
Administrer le Cloudera Manager lui-même.
Télécharger la description complète du déploiement de votre cluster Hadoop dans un fichier json.

De plus, avec les licences appropriées, l'API vous le permet :

Effectuer le redémarrage du laminage et la mise à niveau du laminage.
Audit des activités et des accès des utilisateurs dans Hadoop.
Effectuer des sauvegardes et des réplications entre centres de données pour HDFS et Hive.
Récupérer le rapport d'utilisation du HDFS par utilisateur et le rapport d'utilisation des ressources MapReduce par utilisateur.

.
Je présente ici un programme d'études sur l'état actuel de mes cours Cloudera.

Mes cours Hadoop sont basés sur Vagrant afin que vous puissiez vous entraîner et détruire votre environnement virtuel avant d'appliquer l'installation sur des serveurs/VM réels.

.

Pour ceux qui connaissent peu ou pas du tout l'éco-système Hadoop.
Udemy course : Big Data Intro for IT Administrators, Devs and Consultants.

.

Je m'entraînerais d'abord avec Vagrant pour que vous puissiez créer un environnement virtuel sur votre bureau local, vous ne voulez pas corrompre vos serveurs physiques si vous ne comprenez pas les étapes ou si vous faites une erreur.
Udemy course : Real World Vagrant For Distributed Computing

.

Je voudrais alors, sur les serveurs virtuels, déployer Cloudera Manager plus agents. agents sont les gars qui vont s'asseoir sur tous les nuds esclaves prêts à déployer vos services Hadoop.
Udemy course : Real World Vagrant - Automate a Cloudera Manager Build Build

.

Ensuite, déployez les services Hadoop sur votre cluster (via le Cloudera Manager installé à l'étape précédente), nous examinons la logique de placement des services maître et esclave.
Cours Udemy : Real World Hadoop - Déployer Hadoop avec Cloudera Manager.

.

Si vous voulez jouer avec les commandes HDFS (Hands on distributed file manipulation).
Udemy course : Real World Hadoop - Hands on Enterprise Distributed Storage.

.

Vous pouvez également automatiser le déploiement des services Hadoop via Python (en utilisant l'API Cloudera Manager Python), mais c'est une étape avancée et je m'assurerais donc que vous comprenez comment déployer manuellement les services Hadoop en premier.
Udemy course : Real World Hadoop - Automatisation de l'installation de Hadoop avec Python !

.

Une fois que vous avez un cluster en cours d'exécution, comment passer à un nouveau cluster hadoop (tant pour Cloudera Manager que pour les services Hadoop).
Udemy course : Real World Hadoop - Upgrade Cloudera et Hadoop hands on

CLIQUEZ ICI pour accéder à ce cours