以下是【leiling】分享的內容全文:
大數據核心技術全掌握課程視頻教程下載。本套課程講授分布式系統構架、分布式編程、分布式流處理、分布式數據存儲管理、內存計算支持等內容,覆蓋大數據處理平臺的主要核心技術,突出技術深度和實戰性。
課程章節
第一講 大數據和ODPS
主講人:武永衛
主講人:程永
QUIZ
第二講 分布式存儲
大綱
初步認識大數據對分布式存儲系統的需求
理解大數據對分布式存儲系統的需求
具體說明大數據對分布式存儲系統的需求
大規模分布式存儲的挑戰
小概率事件-Raid卡故障
分布式存儲系統舉例
分布式存儲系統重要功能設計要點剖析
鏈式寫正常流程
寫流程的另一種常見方式:主從模式
鏈式寫異常流程
寫異常處理的另一種方法-Seal and New
讀正常流程
讀流程優化-BackupRead
IO QoS
數據正確性:checksum
數據可靠性-Replication
數據均衡-Rebalance
垃圾回收-Garbage collection
Erasure coding
Erasure coding(3,2)寫入和讀取過程
元數據管理的高可用性和可擴展性
元數據管理的高可用性
Paxos概要
Raft
元數據管理的可擴展性
不同存儲介質的特性
盤古混合存儲
QUIZ
第三講 資源管理與任務調度
阿里云飛天分布式調度
任務調度
資源調度
容錯機制
規模挑戰
安全域性能隔離
分布式調度的發展方向
QUIZ
第四講 分布式編程模型的設計與演化
數據格式和抽象
分布式編程模型
MapReuduce編程模型
關系型數據編程模型
分布式圖計算模型
分布式編程未來展望
QUIZ
實踐1:通過兩階段提交協議完成數據上傳
分布式事務
分布式一致性算法
兩階段提交與三階段提交
實踐--介紹
HW1:通過兩階段提交協議完成數據上傳
第五講 離線分布式關系型計算
關系型計算基本原理_1
關系型計算基本原理_2
分布式環境中的連接計算和聚合計算
其他計算和物理優化
QUIZ
第六講 全局數據管理與調度
提綱
課程背景介紹
前序知識
分布式節點距離計算法則
數據分布策略
分布式計算調度
數據就近原則計算如何容錯
ODPS跨集群數據依賴
QUIZ
實踐2:編寫MR完成Group By+Join操作
主講人:謝德軍
HW2:編寫MR完成Group By+Join操作
第七講 流式計算的系統設計與實現
增量計算和流式計算
與批量計算的區別
業界典型系統技術概要分析
核心技術
消息機制
有狀態計算、并行DAG、搶占式調度和資源隔離、Failover機制
StreamSQL
QUIZ
第八講 內存計算
軟硬件趨勢、分布式計算簡史與內存計算
分布式計算
內存計算
統一的計算框架
業界經典系統技術分析-spark&flink
QUIZ
第九講 大規模數據的分布式機器學習平臺
主講人:褚葳
QUIZ
實踐3:實現MapReduce編程運行時庫
分布式環境下的新問題
工程實現范例
課程設計相關問題
HW3:實現MapReduce編程運行時庫
1.軟件源碼推廣展示:目的展示軟件相關功能,接收技術學習者測試、測評;
2.教程課程信息展示:展示課程信息,傳授課程各階段內容;
3.設計素材圖片展示:展示素材設計理念、思維方式、傳播設計理念;
4.福利優惠信息展示:分享各類最新的福利信息,各種優惠信息展示;
以上分享目的僅供學習、參考使用,請勿用于其他用途,如果想商業使用或者代理,請自行聯系版權方獲取授權。任何未獲取授權的商業使用與本站無關,請自行承擔相應責任。
本站不存儲任何資源文件,敬請周知!
如果您認為本頁信息內容侵犯了您的相關權益(包含但不限于:著作權、首發權、隱私權等權利),或者您認為自己是此信息的權利人但是此信息不是自己發布的,可以直接版權舉報投訴,我們會根據網站注冊協議、資源分享協議等協議處理,以保護您的合法權益。
本網站采用 BY-NC-SA 協議進行授權 轉載請注明原文鏈接:大數據核心技術全掌握視頻教程

侵權舉報/版權申訴



