以下是【會員:墨子於】分享的內容全文:
本課程從實時數據產生和流向的各個環節出發,通過集成主流的分布式日志收集框架Flume、分布式消息隊列Kafka、分布式列式數據庫HBase、及當前最火爆的Spark Streaming打造實時流處理項目實戰,讓你掌握實時處理的整套處理流程,達到大數據中級研發工程師的水平!
第1章 課程介紹
課程介紹
第2章 初識實時流處理
本章節將從一個業務場景分析出發引出實時流處理的產生背景,對比離線處理和實時處理的區別,了解常用的實時流處理框架有哪些,實時流處理在企業級應用中各個環節的架構以及技術選型
第3章 分布式日志收集框架Flume
本章節將從通過一個業務場景出發引出Flume的產生背景,將講解Flume的架構及核心組件,Flume環境部署以及Flume Agent開發實戰讓大家學會如何使用Flume來進行日志的采集
第4章 分布式發布訂閱消息系統Kafka
本章節將講解Kafka的架構以及核心概念,Kafka環境的部署及腳本的使用,Kafka API編程,并通過Kafka容錯性測試讓大家體會到Kakfa的高可用性,并將Flume和Kafka整合起來開發一個功能
第5章 實戰環境搭建
工欲善其事必先利其器,本章將講解Hadoop、ZooKeeper、HBase、Spark的安裝,以及如何使用IDEA整合Maven/Spark/HBase/Hadoop來搭建我們的開發環境
第6章 Spark Streaming入門
本章節將講解Spark Streaming是什么,了解Spark Streaming的應用場景及發展史,并從詞頻統計案例入手帶大家了解Spark Streaming的工作原理
第7章 Spark Streaming核心概念與編程
本章節將講解Spark Streaming中的核心概念、常用操作,通過Spark Streaming如何操作socket以及HDFS上的數據讓大家進一步了解Spark Streaming的編程
第8章 Spark Streaming進階與案例實戰
本章節將講解Spark Streaming如何處理帶狀態的數據,通過案例讓大家知道Spark Streaming如何寫數據到MySQL,Spark Streaming如何整合Spark SQL進行操作
第9章 Spark Streaming整合Flume
本章節將講解Spark Streaming整合Flume的兩種方式,講解如何在本地進行開發測試,如何在服務器上進行測試
第10章 Spark Streaming整合Kafka
本章節將講解Spark Streaming整合Kafka的兩種方式,講解如何在本地進行開發測試,如何在服務器上進行測試
第11章 Spark Streaming整合Flume&Kafka打造通用流處理基礎
本章節將通過實戰案例徹底打通Spark Streaming和Flume以及Kafka的綜合使用,為后續項目實戰打下堅實的基礎
第12章 Spark Streaming項目實戰
本章節將通過一個完整的項目實戰讓大家學會大數據實時流處理的各個環境的整合,如何根據業務需要來設計HBase的rowkey
第13章 可視化實戰
本章節將通過兩種方式來實現實時流處理結果的可視化操作,一是使用Spring Boot整合Echarts實現,二是使用更加炫酷的阿里云產品DataV來實現
第14章 Java拓展
本章節作為擴展內容,將帶領大家使用Java來開始Spark應用程序,使得大家對于使用Scala以及Java來開發Spark應用程序都有很好的認識
1.軟件源碼推廣展示:目的展示軟件相關功能,接收技術學習者測試、測評;
2.教程課程信息展示:展示課程信息,傳授課程各階段內容;
3.設計素材圖片展示:展示素材設計理念、思維方式、傳播設計理念;
4.福利優惠信息展示:分享各類最新的福利信息,各種優惠信息展示;
以上分享目的僅供學習、參考使用,請勿用于其他用途,如果想商業使用或者代理,請自行聯系版權方獲取授權。任何未獲取授權的商業使用與本站無關,請自行承擔相應責任。
本站不存儲任何資源文件,敬請周知!
如果您認為本頁信息內容侵犯了您的相關權益(包含但不限于:著作權、首發權、隱私權等權利),或者您認為自己是此信息的權利人但是此信息不是自己發布的,可以直接版權舉報投訴,我們會根據網站注冊協議、資源分享協議等協議處理,以保護您的合法權益。
本網站采用 BY-NC-SA 協議進行授權 轉載請注明原文鏈接:Spark Streaming學習實時流處理項目實戰

侵權舉報/版權申訴



