大數據核心技術全掌握課程視頻教程下載。本套課程講授分布式系統構架、分布式編程、分布式流處理、分布式數據存儲管理、內存計算支持等內容，覆蓋大數據處理平臺的主要核心技術，突出技術深度和實戰性。

課程章節

第一講 大數據和ODPS
主講人：武永衛
主講人：程永
QUIZ

第二講 分布式存儲
大綱
初步認識大數據對分布式存儲系統的需求
理解大數據對分布式存儲系統的需求
具體說明大數據對分布式存儲系統的需求
大規模分布式存儲的挑戰
小概率事件-Raid卡故障
分布式存儲系統舉例
分布式存儲系統重要功能設計要點剖析
鏈式寫正常流程
寫流程的另一種常見方式：主從模式
鏈式寫異常流程
寫異常處理的另一種方法-Seal and New
讀正常流程
讀流程優化-BackupRead
IO QoS
數據正確性：checksum
數據可靠性-Replication
數據均衡-Rebalance
垃圾回收-Garbage collection
Erasure coding
Erasure coding（3,2）寫入和讀取過程
元數據管理的高可用性和可擴展性
元數據管理的高可用性
Paxos概要
Raft
元數據管理的可擴展性
不同存儲介質的特性
盤古混合存儲
QUIZ

第三講 資源管理與任務調度
阿里云飛天分布式調度
任務調度
資源調度
容錯機制
規模挑戰
安全域性能隔離
分布式調度的發展方向
QUIZ

第四講 分布式編程模型的設計與演化
數據格式和抽象
分布式編程模型
MapReuduce編程模型
關系型數據編程模型
分布式圖計算模型
分布式編程未來展望
QUIZ

實踐1：通過兩階段提交協議完成數據上傳
分布式事務
分布式一致性算法
兩階段提交與三階段提交
實踐--介紹
HW1：通過兩階段提交協議完成數據上傳

第五講 離線分布式關系型計算
關系型計算基本原理_1
關系型計算基本原理_2
分布式環境中的連接計算和聚合計算
其他計算和物理優化
QUIZ

第六講 全局數據管理與調度
提綱
課程背景介紹
前序知識
分布式節點距離計算法則
數據分布策略
分布式計算調度
數據就近原則計算如何容錯
ODPS跨集群數據依賴
QUIZ

實踐2：編寫MR完成Group By+Join操作
主講人：謝德軍
HW2：編寫MR完成Group By+Join操作

第七講 流式計算的系統設計與實現
增量計算和流式計算
與批量計算的區別
業界典型系統技術概要分析
核心技術
消息機制
有狀態計算、并行DAG、搶占式調度和資源隔離、Failover機制
StreamSQL
QUIZ

第八講 內存計算
軟硬件趨勢、分布式計算簡史與內存計算
分布式計算
內存計算
統一的計算框架
業界經典系統技術分析-spark&flink
QUIZ

第九講 大規模數據的分布式機器學習平臺
主講人：褚葳
QUIZ

實踐3：實現MapReduce編程運行時庫
分布式環境下的新問題
工程實現范例
課程設計相關問題
HW3:實現MapReduce編程運行時庫