设为首页收藏本站

宏胜资源网

 找回密码
 立即注册
搜索
热搜: PLC 电子 经济师
查看: 69273|回复: 6

2018年电信大数据项目实战(电信级海量数据处理)视频教程

[复制链接]
发表于 2018-10-1 18:27:55 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
课程名称:  2018年电信大数据项目实战(电信级海量数据处理)视频教程

免费试看:    

下载地址:
游客, 下载地址需要支付 48下载币 才能浏览支付

课程简介:    

2018年电信大数据项目实战(电信级海量数据处理)视频教程

通信运营商每时每刻会产生大量的通信数据,例如通话记录,短信记录,彩信记录,第三方服务资费等等繁多信息。数据量如此巨大,除了要满足用户的实时查询和展示之外,还需要定时定期的对已有数据进行离线的分析处理。例如,当日话单,月度话单,季度话单,年度话单,通话详情,通话记录等等。我们以此为背景,寻找一个切入点,学习其中的方法论。
系统  版本
windows  10  专业版
linux  CentOS 6.8 or CentOS7.2 1611  内核


开发工具:
工具  版本
idea  2017.2.5 旗舰版
maven  3.3.9
JDK  1.8+
尖叫提示:idea2017.2.5 必须使用 maven3.3.9,不要使用 maven3.5,有部分兼容性问题


集群环境:
框架  版本
Hadoop  cdh5.3.6-2.5.0
zookeeper  cdh5.3.6-3.4.5
hbase  cdh5.3.6-0.98
hive  cdh5.3.6-0.13
flume  cdh5.3.6-1.5.0
kafka  2.10-0.8.2.1


硬件环境:
linux01  linux02  linux03
内存  4G  2G  2G
CPU  2 核  1 核  1 核
硬盘  50G  50G  50G

----------------------课程目录------------------------------

1、运营商项目项目架构简介
2、项目开发环境介绍(系统,框架,开发工具等)
3、idea工具基本设置之Maven
4、idea工具基本操作设置
5、idea新建项目
6、生产数据的数据结构
7、构建模拟的数据
8、日志生产代码编写完成
9、日志生产,代码打包,测试
10、idea编码设置
11、kafka的初始化与主题创建
12、实时生产日志,flume采集,到kafka并测试成功
13、producer模块总结
14、新建ct_consumer项目,并构建常用工具类
15、通过kafka API实现消费数据到控制台,并成功测试


1、前情回顾,以及项目整体再次梳理
2、封装HBaseAPI,判断表是否存在
3、封装HBaseAPI,初始化命名空间
4、设计Table的region分区键
5、设计rowkey的分区号
6、HbaseDAO的封装
7、写入实时数据到HBase测试成功
8、协处理器的编写与讲解
9、HBase协处理器测试以及遇到一些问题
10、HBase上一个视频的遗留问题的解决(协处理器中的过滤逻辑错误,jar包运行时需要注意的问题)


1、HBase存储数据源码走读
2、HBase代码以及其他设置优化
3、HBase批量保存数据测试
4、HBase时间戳toBytes的一些问题,以及面试中遇到的乱码问题
5、anlysis阶段需求分析以及表结构探讨
6、Mysql表结构总结
7、Mysql结果表的创建
8、初始化数据分析工程module
9、封装JDBCUtil以及自定义输出Key的维度类型
10、封装ComDimension以及输出的Value类型
11、迷茫知识点之梳理
12、数据分析:Mapper
13、数据分析:Reducer


1、前一天知识梳理总结
2、Runner的Job组装
3、RecordWriter
4、维度转换:缓存键的生成
5、维度转换:封装实现1
5、维度转换:封装实现2
5、维度转换:封装实现3
6、OutputForamt封装
7、2个Bug的修复
8、又1个Bug的修复
9、RecordWriter封装完成
10、3个Bug,运行测试成功,并查验Mysql中的数据分析结果


1、MR源码走读理解OutputFormat
2、构建Web工程
3、构建JAVABean,DAO,SQL查询语句
4、构建Controller中返回的数据
5、运行测试Web项目查看返回结果
6、Web font显示数据
7、项目总结



上一篇:深入浅出 小牛学堂-2018大数据之共享单车实战
下一篇:超人学院大数据第8期高薪就业培训视频教程共50G
发表于 2018-10-2 07:40:18 | 显示全部楼层
好资料,谢谢
发表于 2018-10-2 08:41:29 | 显示全部楼层
么有分,谁能送我点积分啊::>_<::
发表于 2018-11-9 17:52:22 | 显示全部楼层
啥也不说了,感谢楼主分享哇!
发表于 2018-12-23 19:26:24 | 显示全部楼层
下来看看。谢谢
发表于 2018-12-26 01:02:55 | 显示全部楼层
谢谢         
发表于 2019-5-4 23:33:48 | 显示全部楼层
确实是难得好帖啊,顶先
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
VIP购买
在线客服
微信号:hszy8com
QQ:1127517575
宏胜资源【1】群
工作时间:
8:00-22:00
 

QQ|苏公网安备 32011402010784号|小黑屋|宏胜资源网-你身边的学习资料库! ( 鲁ICP备14027891号-1  

GMT+8, 2024-12-23 05:53 , Processed in 0.145330 second(s), 29 queries .

Powered by hszy8.com

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表