- Objectifs pédagogiques
- Sections du cours
- Avis
Le Big Data : des zettaoctets de données à analyser pour en extraire de la valeur !!
Mais pour y arriver, il faut des experts et des technologies
Hadoop est la technologie phare depuis plusieurs années, ou plutôt un éco-système qui regroupe non seulement MapReduce, Yarn et HDFS mais aussi de manière plus vaste Spark, des bases NoSQL et des outils de traitements temps réel des données
Comment démarrer, comment progresser avec Hadoop ?
Avec cette formation, vos compétences s’améliorent chapitre après chapitre, les objectifs sont clairement définis
Je vous accompagne dès l’installation d’Hadoop sur votre PC ou Mac
Le concepts de base vous sont expliqués progressivement puis vous vous exercez immédiatement en suivant les vidéos de démonstration
Des quiz à chaque fin de chapitre vous permettent de valider vos connaissances, et les très nombreuses ressources fournies vous permettent d’aller plus loin sur l’outil de votre choix
La formation va vous permettre d’acquérir des compétences claires et très recherchées
Si vous souhaitez faire les 3h d’exercices, n’oubliez pas qu’Hadoop réclame une configuration PC/Mac avec 16Gb de RAM pour que cela soit confortable
N’hésitez pas à pratiquer régulièrement pour devenir un expert dans ces technologies
La formation met aussi l’accent sur le support des technologies Hadoop dans le cloud computing avec AWS et Azure
-
1
Bienvenue dans le Big Data avec HadoopEn ressources vous trouverez:
- Le rapport 2011 de McKinsey - Big Data : la nouvelle frontière pour l’innovation, la compétition et la productivité
- Le rapport 2015 de l'Institut Montaigne - Big Data et objets connectés
-
2
Quiz de départ : choisissez la meilleure réponse -
3
La roue des compétences
-
11
Compétence 2 : je peux expliquer ce qu'est Hadoop
-
12
A la rencontre d'Hadoop
-
13
L'écosystème Hadoop : un foisonnement de logiciels
-
14
Que peut-on faire avec Hadoop ?
-
15
Comment se procurer Hadoop ?
-
16
PRATIQUE - Une installation d'Hadoop avec Oracle VM
En ressources vous trouverez 2 documents sur la Virtual Box d'Oracle VM
-
17
L'administration graphique d'Hadoop avec Ambari
En ressources vous trouverez des documents explicatifs sur Ambari
-
18
PRATIQUE - Ambari
-
19
Quiz : choisissez la meilleure réponse
-
20
Compétence 3 : je comprends le fonctionnement interne d'Hadoop
-
21
HDFS : le système de gestion distribué des fichiers Hadoop
En ressources vous trouverez une documentation sur le design de HDFS
-
22
PRATIQUE - Charger des fichiers dans HDFS
En ressources vous trouverez la liste des commandes HDFS
-
23
MapReduce : pour traiter en parallèle les volumes importants de données
En ressources vous trouverez 2 documents complémentaires sur MapReduce
-
24
PRATIQUE MapReduce - Compter le nombre de naissances par prénom
-
25
YARN : la planification des traitements et la gestion des ressources d'Hadoop
En ressources vous trouverez un document pour aller plus loin sur YARN
-
26
PRATIQUE - YARN
-
27
Quiz : choisissez la meilleure réponse
-
28
Compétence 4 : je sais choisir quelle base de données utiliser avec Hadoop
-
29
Comment sont vos données ? Structurées ou non ?
En ressources vous trouverez le document d'origine sur les règles de Codd
-
30
Hive : entrepôt de données
En ressources vous trouverez des documents complémentaires sur Hive
-
31
PRATIQUE : Hive
-
32
MySQL : base de données relationnelle
En ressources vous trouverez le guide complet de MySQL v5
-
33
PRATIQUE : MySQL
-
34
Sqoop : transférer les données relationnelles avec Hadoop
-
35
PRATIQUE : Sqoop
-
36
Le NoSQL : cas d'usages
-
37
HBase : base de données non relationnelle et distribuée
En ressources vous trouverez des documents complémentaires sur HBase
-
38
PRATIQUE - HBase
-
39
Cassandra : aucun point de défaillance possible
En ressources vous trouverez un guide détaillé de Cassandra
-
40
PRATIQUE - Cassandra
-
41
MongoDB : la base de données orientée document
En ressources vous trouverez un document complémentaire sur MongoDB
-
42
PRATIQUE - MongoDB
-
43
Quiz : choisissez la meilleure réponse
-
44
Compétence 5 : j'ai une connaissance générale du fonctionnement de la programmat
-
45
Pig : créer vos programmes MapReduce
En ressources vous trouverez un document de recherche sur Pig
-
46
PRATIQUE - Pig
-
47
Spark : le logiciel phare d'Hadoop
En ressources vous trouverez 2 documents complémentaires sur Spark
-
48
Quiz : choisissez la meilleure réponse
-
49
Compétence 6 : je comprends la force d'Hadoop dans le traitement temps réel
-
50
Hadoop et les données en temps réel
-
51
Kafka : manipuler les flux de données
En ressources vous trouverez une documentation de référence sur Kafka
-
52
PRATIQUE - Kafka
-
53
Flume : pour agréger en temps réel les logs de vos serveurs Web
En ressources vous trouverez le guide utilisateur de Flume
-
54
SparkStreaming : pour valoriser vos données en temps réel
En ressources vous trouverez un document de recherche sur SparkStreaming
-
55
PRATIQUE - SparkStreaming
-
56
Storm : les événements en temps réel
En ressources vous trouverez un document récapitulatif de Storm
-
57
Flink : traitement distribué en pipeline
En ressources vous trouverez 2 documents complémentaires pour Flink
-
58
Comparaison SparkStreaming, Storm et Flink
-
59
Quiz : choisissez la meilleure réponse
-
60
Compétence 7 : je sais à quoi servent les principaux outils de gestion d'Hadoop
-
61
Pourquoi autant d'outils différents ?
-
62
YARN en détail
En ressources vous trouverez un document de recherche sur YARN
-
63
Mesos : la gestion de clusters
En ressources vous trouverez un document de recherche sur Mesos et le 1er chapitre d'un livre dédié à Mesos
-
64
Tez : pour remplacer MapReduce
En ressources vous trouverez un document de recherche sur Tez
-
65
PRATIQUE - Tez
-
66
Oozie : planifier les jobs Hadoop
-
67
Zookeeper : pour gérer les configurations
En ressources vous trouverez 3 documents complémentaires sur ZooKeeper
-
68
Zeppelin : mettre en forme et visualiser vos données
En ressources vous trouverez un guide résumé de Zeppelin
-
69
PRATIQUE - Zeppelin
-
70
Quiz : choisissez la meilleure réponse
-
71
Compétence 8 : je peux recommander d'utiliser le Cloud pour faire de l'Hadoop
-
72
Pourquoi aller vers le Cloud ?
-
73
L'offre HDInsight de Microsoft Azure
En ressources vous trouverez la documentation complète de HDInsight
-
74
PRATIQUE - HDInsight
-
75
L'offre AWS
En ressources vous trouverez une documentation de référence sur EMR
-
76
PRATIQUE - AWS
-
77
L'offre de Google
-
78
PRATIQUE - Google
-
79
Quiz : choisissez la meilleure réponse
