會(huì)議時(shí)間:2017-06-27 至 2017-06-30
會(huì)議地點(diǎn):上海 上海長(zhǎng)陽(yáng)谷?
課時(shí):28h/4天
課程介紹
Hadoop 及生態(tài)系統(tǒng)介紹
? ?傳統(tǒng)大規(guī)模系統(tǒng)的問(wèn)題
? ?Hadoop !
? ?Hadoop 生態(tài)系統(tǒng)
Hadoop 體系結(jié)構(gòu)及 HDFS
? ?機(jī)群環(huán)境下的分布式處理
? ?存儲(chǔ):HDFS 體系結(jié)構(gòu)
? ?存儲(chǔ):使用 HDFS
? ?資源管理:YARN 體系結(jié)構(gòu)
? ?資源管理:使用 YARN
使用 Apache Sqoop 導(dǎo)入關(guān)系數(shù)據(jù)
? ?Sqoop 簡(jiǎn)介
? ?數(shù)據(jù)的基本導(dǎo)入導(dǎo)出
? ?減少傳輸?shù)臄?shù)據(jù)量
? ?改善 Sqoop 性能
? ?Sqoop 2
Impala 及 Hive 介紹
? ?簡(jiǎn)介
? ?為什么使用 Impala 及 Hive
? ?Hive 和傳統(tǒng)數(shù)據(jù)庫(kù)的比較
? ?Hive 應(yīng)用場(chǎng)景
使用 Impala 及 Hive 管理數(shù)據(jù)及建模
? ?數(shù)據(jù)存儲(chǔ)
? ?創(chuàng)建數(shù)據(jù)庫(kù)及表
? ?表數(shù)據(jù)導(dǎo)入
? ?HCatalog
? ?Impala 元數(shù)據(jù)緩存
數(shù)據(jù)格式
? ?選擇文件格式
? 支持不同文件格式的工具
? Avro 數(shù)據(jù)格式定義模式
? 在 Hive 及 Sqoop 里使用 Avro
? Avro 格式數(shù)據(jù)模式變更
? 壓縮 數(shù)據(jù)分區(qū)
? 分區(qū)概述
? Impala 及 Hive 里的數(shù)據(jù)分區(qū)
Apache Flume 實(shí)時(shí)數(shù)據(jù)采集
? ?什么是 Apache Flume
? ?Flume 基本體系結(jié)構(gòu)
? ?Flume 源
? ?Flume 槽
? ? Flume 通道
? ?Flume 配置
Spark 基礎(chǔ)
? ?什么是 Apache Spark
? ?使用 Spark Shell
? ?RDDs( 可恢復(fù)的分布式數(shù)據(jù)集)
? ?Spark 里的函數(shù)式編程 Spark RDD
? ?RDD
? ?鍵值對(duì) RDD
? ?MapReduce
? ?其他鍵值對(duì) RDD 操作
編寫和部署 Spark 應(yīng)用
? ?Spark 應(yīng)用對(duì)比 Spark Shell
? ?創(chuàng)建 SparkContext
? ?創(chuàng)建 Spark 應(yīng)用(Scala 和 Java)
? ?運(yùn)行 Spark 應(yīng)用
? ?Spark 應(yīng)用 WebUI
? ?配置 Spark 屬性
? ?運(yùn)行日志
Spark 的并行處理
? ?回顧:機(jī)群環(huán)境里的 Spark
? ?RDD 分區(qū)
? ?基于文件 RDD 的分區(qū)
? ?HDFS 和本地化數(shù)據(jù)
? ?執(zhí)行并行操作
? ?執(zhí)行階段及任務(wù)
Spark 緩存和持久化
? ?RDD 演變
? ?緩存
? ?分布式持久化
Spark 數(shù)據(jù)處理的常見(jiàn)模式
? ?常見(jiàn) Spark 應(yīng)用案例
? ?迭代式算法
? ?圖處理及分析
? ?機(jī)器學(xué)習(xí)
? ?例子:K-Means 預(yù)覽:Spark SQL
? ?Spark SQL 和 SQL Context
? ?創(chuàng)建 DataFrames
? ?變更及查詢 DataFrames
? ?保存 DataFrames
? ?Spark SQL 對(duì)比 Impala
參會(huì)指南
參會(huì)費(fèi):¥7360
大會(huì)報(bào)名地址:https://www.huodongjia.com/event-951795901.html
————————————————————————————————
活動(dòng)家,一站式會(huì)議查詢與報(bào)名平臺(tái),參會(huì)更放心!
官網(wǎng):https://www.huodongjia.com/
門票/贊助事宜聯(lián)系:028-69761252
簡(jiǎn)介:活動(dòng)家是亞洲領(lǐng)先會(huì)議活動(dòng)、培訓(xùn)認(rèn)證、商務(wù)考察的查詢、報(bào)名、票務(wù)營(yíng)銷平臺(tái),致力于為用戶提供有價(jià)值、有意義的商務(wù)會(huì)議活動(dòng),以及為主辦方提供會(huì)議免費(fèi)發(fā)布、活動(dòng)推廣營(yíng)銷,講師嘉賓邀約等服務(wù),是你參會(huì)、辦會(huì)的好助手。
9月6日 08:00
8月23日 08:00
8月22日 08:00
8月20日 08:00