Master Big Data - Apache Spark/Hadoop/Sqoop/Hive/Flume
- Objectifs pédagogiques
- Sections du cours
- Avis
In this course, you will start by learning what is hadoop distributed file system and most common hadoop commands required to work with Hadoop File system.
Then you will be introduced to Sqoop Import
-
Understand lifecycle of sqoop command.
-
Use sqoop import command to migrate data from Mysql to HDFS.
-
Use sqoop import command to migrate data from Mysql to Hive.
-
Use various file formats, compressions, file delimeter,where clause and queries while importing the data.
-
Understand split-by and boundary queries.
-
Use incremental mode to migrate the data from Mysql to HDFS.
Further, you will learn Sqoop Export to migrate data.
-
What is sqoop export
-
Using sqoop export, migrate data from HDFS to Mysql.
-
Using sqoop export, migrate data from Hive to Mysql.
Further, you will learn about Apache Flume
-
Understand Flume Architecture.
-
Using flume, Ingest data from Twitter and save to HDFS.
-
Using flume, Ingest data from netcat and save to HDFS.
-
Using flume, Ingest data from exec and show on console.
-
Describe flume interceptors and see examples of using interceptors.
-
Flume multiple agents
-
Flume Consolidation.
In the next section, we will learn about Apache Hive
-
Hive Intro
-
External & Managed Tables
-
Working with Different Files – Parquet,Avro
-
Compressions
-
Hive Analysis
-
Hive String Functions
-
Hive Date Functions
-
Partitioning
-
Bucketing
Finally You will learn about Apache Spark
-
Spark Intro
-
Cluster Overview
-
RDD
-
DAG/Stages/Tasks
-
Actions & Transformations
-
Transformation & Action Examples
-
Spark Data frames
-
Spark Data frames – working with diff File Formats & Compression
-
Dataframes API’s
-
Spark SQL
-
Dataframe Examples
-
Spark with Cassandra Integration
-
9Sqoop IntroductionLeçon vidéo
-
10Managing Target DirectoriesLeçon vidéo
-
11Working with Parquet File FormatLeçon vidéo
-
12Working with Avro File FormatLeçon vidéo
-
13Working with Different CompressionsLeçon vidéo
-
14Conditional ImportsLeçon vidéo
-
15Split-by and Boundary QueriesLeçon vidéo
-
16Field delimetersLeçon vidéo
-
17Incremental AppendsLeçon vidéo
-
18Sqoop-Hive Cluster FixLeçon de texte
-
19Sqoop Hive ImportLeçon vidéo
-
20Sqoop List Tables/DatabaseLeçon vidéo
-
21Sqoop Assignment1Leçon de texte
-
22Sqoop Assignment2Leçon de texte
-
23Sqoop Import Practice1Leçon vidéo
-
24Sqoop Import Practice2Leçon vidéo
-
29Flume Introduction & ArchitectureLeçon vidéo
-
30Exec Source and Logger SinkLeçon vidéo
-
31Moving data from Twitter to HDFSLeçon vidéo
-
32Moving data from NetCat to HDFSLeçon vidéo
-
33Flume InterceptorsLeçon vidéo
-
34Flume Interceptor ExampleLeçon vidéo
-
35Flume Multi-Agent FlowLeçon vidéo
-
36Flume ConsolidationLeçon vidéo
-
37Hive IntroductionLeçon vidéo
-
38Hive DatabaseLeçon vidéo
-
39Hive Managed TablesLeçon vidéo
-
40Hive External TablesLeçon vidéo
-
41Hive InsertsLeçon vidéo
-
42Hive AnalyticsLeçon vidéo
-
43Working with ParquetLeçon vidéo
-
44Compressing ParquetLeçon vidéo
-
45Working with Fixed File FormatLeçon vidéo
-
46Alter CommandLeçon vidéo
-
47Hive String FunctionsLeçon vidéo
-
48Hive Date FunctionsLeçon vidéo
-
49Hive PartitioningLeçon vidéo
-
50Hive BucketingLeçon vidéo
-
56Map/FlatMap TransformationLeçon vidéo
-
57Filter/IntersectionLeçon vidéo
-
58Union/Distinct TransformationLeçon vidéo
-
59GroupByKey/ Group people based on Birthday monthsLeçon vidéo
-
60ReduceByKey / Total Number of students in each SubjectLeçon vidéo
-
61SortByKey / Sort students based on their rollnoLeçon vidéo
-
62MapPartition / MapPartitionWithIndexLeçon vidéo
-
63Change number of PartitionsLeçon vidéo
-
64Join / join email address based on customer nameLeçon vidéo
-
65Spark ActionsLeçon vidéo
-
72Dataframe IntroLeçon vidéo
-
73Dafaframe from Json FilesLeçon vidéo
-
74Dataframe from Parquet FilesLeçon vidéo
-
75Dataframe from CSV FilesLeçon vidéo
-
76Dataframe from Avro FileLeçon vidéo
-
77Working with XMLLeçon vidéo
-
78Working with ColumnsLeçon vidéo
-
79Working with StringLeçon vidéo
-
80Working with DatesLeçon vidéo
-
81Dataframe Filter APILeçon vidéo
-
82DataFrame API Part1Leçon vidéo
-
83DataFrame API Part2Leçon vidéo
-
84Spark SQLLeçon vidéo
-
85Working with Hive Tables in SparkLeçon vidéo
