Spark Streaming实时流处理项目实战 Flume+Kafka+Spark Streaming打造通用流处理平台

wenjing

课程名称: Spark Streaming实时流处理项目实战 Flume+Kafka+Spark Streaming打造通用流处理平台

免费试看:   

下载地址：

游客， 下载地址需要支付 62下载币 才能浏览支付

课程简介:   

本课程从实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战，让你掌握实时处理的整套处理流程，达到大数据中级研发工程师的水平！

课程目录：  

1-1 -导学
1-2 -授课习惯和学习建议
1-3 -OOTB环境使用演示
1-4 -Linux环境及软件版本介绍
1-5 -Spark版本升级
第2章 初识实时流处理
本章节将从一个业务场景分析出发引出实时流处理的产生背景，对比离线处理和实时处理的区别，了解常用的实时流处理框架有哪些，实时流处理在企业级应用中各个环节的架构以及技术选型


2-1 -课程目录
2-2 -业务现状分析
2-3 -实时流处理产生背景
2-4 -实时流处理概述
2-5 -离线计算和实时计算对比
2-6 -实时流处理框架对比
2-7 -实时流处理架构及技术选型
2-8 -实时流处理在企业中的应用
第3章 分布式日志收集框架Flume
本章节将从通过一个业务场景出发引出Flume的产生背景，将讲解Flume的架构及核心组件，Flume环境部署以及Flume Agent开发实战让大家学会如何使用Flume来进行日志的采集


3-1 -课程目录
3-2 -业务现状分析
3-3 -Flume概述
3-4 -Flume架构及核心组件
3-5 -Flume&JDK环境部署
3-6 -Flume实战案例一
3-7 -Flume实战案例二
3-8 -Flume实战案例三(重点掌握)
第4章 分布式发布订阅消息系统Kafka
本章节将讲解Kafka的架构以及核心概念，Kafka环境的部署及脚本的使用，Kafka API编程，并通过Kafka容错性测试让大家体会到Kakfa的高可用性，并将Flume和Kafka整合起来开发一个功能


4-1 -课程目录
4-2 -Kafka概述
4-3 -Kafka架构及核心概念
4-4 -Kafka单节点单Broker部署之Zookeeper安装
4-5 -Kafka单节点单broker的部署及使用
4-6 -Kafka单节点多broker部署及使用
4-7 -Kafka容错性测试
4-8 -使用IDEA+Maven构建开发环境
4-9 -Kafka Producer JAVA API编程
4-10 -Kafka Consumer Java API编程
4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集
第5章 实战环境搭建
工欲善其事必先利其器，本章将讲解Hadoop、ZooKeeper、HBase、Spark的安装，以及如何使用IDEA整合Maven/Spark/HBase/Hadoop来搭建我们的开发环境


5-1 -课程目录
5-2 -Scala安装
5-3 -Maven安装
5-4 -Hadoop环境搭建
5-5 -HBase安装
5-6 -Spark环境搭建
5-7 -开发环境搭建
第6章 Spark Streaming入门
本章节将讲解Spark Streaming是什么，了解Spark Streaming的应用场景及发展史，并从词频统计案例入手带大家了解Spark Streaming的工作原理


6-1 -课程目录
6-2 -Spark Streaming概述
6-3 -Spark Streaming应用场景
6-4 -Spark Streaming集成Spark生态系统的使用
6-5 -Spark Streaming发展史
6-6 -从词频统计功能着手入门Spark Streaming
6-7 -Spark Streaming工作原理(粗粒度)
试看
6-8 -Spark Streaming工作原理(细粒度)
第7章 Spark Streaming核心概念与编程
本章节将讲解Spark Streaming中的核心概念、常用操作，通过Spark Streaming如何操作socket以及HDFS上的数据让大家进一步了解Spark Streaming的编程


7-1 -课程目录
7-2 -核心概念之StreamingContext
试看
7-3 -核心概念之DStream
7-4 -核心概念之Input DStreams和Receivers
7-5 -核心概念之Transformation和Output Operations
7-6 -案例实战之Spark Streaming处理socket数据
7-7 -案例实战之Spark Streaming处理文件系统数据
第8章 Spark Streaming进阶与案例实战
本章节将讲解Spark Streaming如何处理带状态的数据，通过案例让大家知道Spark Streaming如何写数据到MySQL，Spark Streaming如何整合Spark SQL进行操作


8-1 -课程目录
8-2 -实战之updateStateByKey算子的使用
8-3 -实战之将统计结果写入到MySQL数据库中
8-4 -实战之窗口函数的使用
8-5 -实战之黑名单过滤
8-6 -实战之Spark Streaming整合Spark SQL操作
第9章 Spark Streaming整合Flume
本章节将讲解Spark Streaming整合Flume的两种方式，讲解如何在本地进行开发测试，如何在服务器上进行测试


9-1 -课程目录
9-2 -Push方式整合之概述
9-3 -Push方式整合之Flume Agent配置开发
9-4 -Push方式整合之Spark Streaming应用开发
9-5 -Push方式整合之本地环境联调
9-6 -Push方式整合之服务器环境联调
9-7 -Pull方式整合之概述
9-8 -Pull方式整合之Flume Agent配置开发
9-9 -Pull方式整合之Spark Streaming应用开发
9-10 -Pull方式整合之本地环境联调
9-11 -Pull方式整合之服务器环境联调
第10章 Spark Streaming整合Kafka

第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础

第12章 Spark Streaming项目实战

第13章 可视化实战
本章节将通过两种方式来实现实时流处理结果的可视化操作，一是使用Spring Boot整合Echarts实现，二是使用更加炫酷的阿里云产品DataV来实现

huangwei8ku

我只是路过打酱油的

beng0305

感谢宏胜资源网提供这么好的教程。

zg411160430

真是难得给力的帖子啊。