課程亮點
師資:*講師團(tuán)隊,豐富行業(yè)經(jīng)驗和企業(yè)培訓(xùn)經(jīng)驗
特色:小班培訓(xùn),精品課程,面授+直播+錄播,上課方式多樣
培訓(xùn):免費重聽
適用對象
不限
學(xué)習(xí)目標(biāo)
了解大數(shù)據(jù)業(yè)內(nèi)*新發(fā)展趨勢,深入掌握Hadoop的原理,Hadoop生態(tài)系統(tǒng)
課程內(nèi)容
大數(shù)據(jù)背景與思維
1. 什么是大數(shù)據(jù)
2. 大數(shù)據(jù)技術(shù)的產(chǎn)生背景
3. 大數(shù)據(jù)應(yīng)用場景
4. 大數(shù)據(jù)思維
5. 大數(shù)據(jù)產(chǎn)業(yè)鏈
6. 大數(shù)據(jù)是如何變革各行業(yè)的技術(shù)架構(gòu)、商業(yè)模式和組織方式
7. 大數(shù)據(jù)必備的技術(shù)基礎(chǔ)
*天
互聯(lián)網(wǎng)電信大數(shù)據(jù)應(yīng)用案例深度解析
大數(shù)據(jù)在通信及互聯(lián)網(wǎng)行業(yè)的應(yīng)用案例解析-以下幾個案例將貫穿整個培訓(xùn)內(nèi)容, 作為每個章節(jié)的案例分析細(xì)化到每個大數(shù)據(jù)的知識點
互聯(lián)網(wǎng)企業(yè)遇到大數(shù)據(jù)的問題
案例分享:海量數(shù)據(jù)通信行業(yè)解決方案
案例分享:基于通信網(wǎng)元實時數(shù)據(jù)的海量數(shù)據(jù)解決方案
案例分享:*電信用戶畫像分析系統(tǒng)的大數(shù)據(jù)變現(xiàn)案例分析
案例分享:淘寶大數(shù)據(jù)分析案例分析
*天
海量數(shù)據(jù)處理系統(tǒng)
的架構(gòu)設(shè)計
這個部分主要講解海量數(shù)據(jù)處理的架構(gòu)設(shè)計,針對海量數(shù)據(jù)的問題設(shè)計海量數(shù)據(jù)的架構(gòu)解決方案。
海量數(shù)據(jù)處理的系統(tǒng)場景
大數(shù)據(jù)時代的數(shù)據(jù)架構(gòu)解決方案
海量數(shù)據(jù)處理的架構(gòu)匯總
8種海量數(shù)據(jù)處理的架構(gòu)設(shè)計比較
分布式系統(tǒng)架構(gòu)的海量數(shù)據(jù)處理設(shè)計
海量數(shù)據(jù)處理設(shè)計
典型案例分析:結(jié)合一個500強實時數(shù)據(jù)系統(tǒng)的實例案例進(jìn)行分析,詳細(xì)分析海量數(shù)據(jù)處理的架構(gòu)設(shè)計
第二天
案例及動手實驗
HDFS實戰(zhàn)-Java API使用
PB 級大數(shù)據(jù)存儲系統(tǒng)的項目案例分析
HDFS部署、配置與性能調(diào)優(yōu)實戰(zhàn)
典型案例分析:通過HDFS API完成一個復(fù)雜數(shù)據(jù)系統(tǒng)的操作過程
Hadoop MapReduce深入解析
使用 Hadoop MapReduce Streaming 編程
MapReduce流程
基本MapReduceAPI 概念
MapReduce的優(yōu)化
MapReduce的任務(wù)調(diào)度
MapReduce編程實戰(zhàn)
滿足解決實際數(shù)據(jù)分析問題的高級Hadoop API
第三天
Hive架構(gòu)及實踐案例沙盤演練
Hive系統(tǒng)部署與搭建
Hive工作機制
基于Hive的大數(shù)據(jù)加載過程
Hive程序編寫性能建議
MapJoin
數(shù)據(jù)傾斜
Join順序
UDF編寫注意事項
快速獲取結(jié)果TopN
通過Explain觀察Hive行為
動手實驗:完成Hive的搭建與配置
典型案例分析:基于Hive的大型電信通話記錄分析示例,詳細(xì)分析Hive的架構(gòu)應(yīng)用、性能調(diào)優(yōu)及其使用場景與整體系統(tǒng)架構(gòu)的結(jié)合
第四天
Spark架構(gòu)及實踐
案例沙盤演練
1.2 Spark的重要擴(kuò)展
1.2.1 Spark SQL和Dataframe
1.2.2 Spark Streaming
1.2.3 Spark MLlib和ML
1.2.4 GraphX
1.2.5 SparkR
2.3 運行Spark應(yīng)用程序
2.3.1 Local模式運行Spark應(yīng)用程序
2.3.2 Standalone模式運行Spark應(yīng)用程序
2.3.3 YARN模式運行Spark
2.3.4 應(yīng)用程序提交和參數(shù)傳遞
3 Spark程序開發(fā)
3.1 使用Spark Shell編寫程序
3.1.1 啟動Spark Shell
3.1.2 加載text文件
3.1.3 簡單RDD操作
3.1.4 簡單RDD操作應(yīng)用
3.1.5 RDD緩存
3.2 構(gòu)建Spark的開發(fā)環(huán)境
3.2.1 準(zhǔn)備環(huán)境
3.2.2 構(gòu)建Spark的Eclipse開發(fā)環(huán)境
3.2.3 構(gòu)建Spark的IntelliJ IDEA開發(fā)環(huán)境
3.3 獨立應(yīng)用程序編程
3.3.1 創(chuàng)建SparkContext對象
3.3.2 編寫簡單應(yīng)用程序
3.3.3 編譯并提交應(yīng)用程序
第五天
Spark Streaming應(yīng)用開發(fā)
Spark Streaming Java實例開發(fā)、運行
Spark Streaming Java實例的運行過程分析
Spark Streaming內(nèi)部數(shù)據(jù)傳輸過程分析
Spark Streaming應(yīng)用開發(fā)總結(jié)(API回顧,典型應(yīng)用模式總結(jié))
Spark Streaming消息可靠性保證機制介紹
Spark Streaming實時大數(shù)據(jù)算法解析案例
Spark Streaming實時大數(shù)據(jù)報警案例
Spark Streaming實時大數(shù)據(jù)的調(diào)整與改進(jìn)
