尚硅谷Java培训

电商项目(实时处理)

视频介绍

项目为使用Spark Streaming技术开发的大数据实时处理平台,主要用于互联网电商企业对各种用户行为进行复杂的分析,将统计分析的结果以接口或图形化的方式展示出来,辅助产品经理、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务,最终达成用大数据技术帮助公司提升业绩、营业额以及市场占有率的目标。

视频总时长50小时+,附赠各种教辅资料,含笔记、代码、资料、工具等。通过本套项目讲解视频学习,可掌握企业中使用Spark Streaming进行实时计算的完整流程,并掌握整个环节中涉及的各类框架技术,例如高可用的大数据采集框架、高并发的分布式消息队列、基于内存的高吞吐实时计算技术、海量存储、毫秒级查询的数据库等。

内容特点:
1、企业级大数据项目开发流程贯穿每个业务模块的讲解,囊括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节,广泛还原真实大数据项目的开发流程,对实时业务中涉及的双流Join以及Kafka精准一次性消费的问题进行了细致的讲解;

2、使用SpringBoot对用户行为数据进行采集;

3、通过Canal和Maxwell对业务数据库进行采集;

4、将数据采集到分布式消息队列Kafka,并在Kafka中进行分层处理,主要分为ODS、DWD、DWS、ADS层;

5、使用当前最火爆的Spark Streaming搭建高吞吐的数据实时处理模块;

6、选用ElasticSearch和ClickHouse作为最终的实时数据处理结果的存储位置,并从中获取数据进行展示,进一步降低响应时间对数据进行分析;

7、可视化展示使用ElasticSearch+Kibnana、自定义数据接口+可视化项目以及阿里巴巴的DataV进行可视化展示。

适合人群:
有Scala编程基础,项目使用Scala语言进行开发;
了解Spark编程;
熟悉常用的技术框架,如Kafka、HBase等(相关技术教程可通过尚硅谷官网免费获取)。

视频目录 选集

  • 001.尚硅谷_实时电商项目-项目介绍
  • 002.尚硅谷_实时电商项目-离线架构回顾
  • 003.尚硅谷_实时电商项目-实时架构讲解
  • 004.尚硅谷_实时电商项目-项目需求介绍
  • 005.尚硅谷_实时电商项目-模拟生成数据
  • 006.尚硅谷_实时电商项目-SpringBoot介绍
  • 007.尚硅谷_实时电商项目-SpringBoot程序创建
  • 008.尚硅谷_实时电商项目-创建LoggerController接收模拟器生成数据
  • 009.尚硅谷_实时电商项目-利用logback将日志数据落盘
  • 010.尚硅谷_实时电商项目-将日志发送到kafka对应的主题中
  • 011.尚硅谷_实时电商项目-内容回顾
  • 012.尚硅谷_实时电商项目-打包日志处理程序到单台Linux上运行
  • 013.尚硅谷_实时电商项目-负载均衡介绍
  • 014.尚硅谷_实时电商项目-Nginx安装和启动
  • 015.尚硅谷_实时电商项目-Nginx配置文件说明
  • 016.尚硅谷_实时电商项目-Nginx常用应用场景
  • 017.尚硅谷_实时电商项目-整体流程测试
  • 018.尚硅谷_实时电商项目-编写脚本启动Nginx以及日志服务
  • 019.尚硅谷_实时电商项目-日活业务介绍
  • 020.尚硅谷_实时电商项目-上午内容回顾
  • 021.尚硅谷_实时电商项目-ElasticSearch介绍
  • 022.尚硅谷_实时电商项目-RestFul编程风格
  • 023.尚硅谷_实时电商项目-特点
  • 024.尚硅谷_实时电商项目-Lucene、Nutch、ElasticSearch关系
  • 025.尚硅谷_实时电商项目-ElasticSearch安装以及单节点启动测试
  • 026.尚硅谷_实时电商项目-Kibana安装以及测试
  • 027.尚硅谷_实时电商项目-内容回顾
  • 028.尚硅谷_实时电商项目-相关概念介绍
  • 029.尚硅谷_实时电商项目-对索引的操作
  • 030.尚硅谷_实时电商项目-对文档的操作1
  • 031.尚硅谷_实时电商项目-对文档的操作2
  • 032.尚硅谷_实时电商项目-按分词查询
  • 033.尚硅谷_实时电商项目-查询操作1
  • 034.尚硅谷_实时电商项目-查询操作2
  • 035.尚硅谷_实时电商项目-聚合操作
  • 036.尚硅谷_实时电商项目-ik分词器
  • 037.尚硅谷_实时电商项目-自定义词库(本地)
  • 038.尚硅谷_实时电商项目-自定义词库(远程)
  • 039.尚硅谷_实时电商项目-mapping
  • 040.尚硅谷_实时电商项目-内容回顾
  • 041.尚硅谷_实时电商项目-别名
  • 042.尚硅谷_实时电商项目-索引模板
  • 043.尚硅谷_实时电商项目-JestFactory对象的创建
  • 044.尚硅谷_实时电商项目-向ES中插入单条数据方式1
  • 045.尚硅谷_实时电商项目-向ES中插入单条数据方式2
  • 046.尚硅谷_实时电商项目-根据id查询索引中的单条文档
  • 047.尚硅谷_实时电商项目-根据查询条件查询多条文档1
  • 048.尚硅谷_实时电商项目-根据查询条件查询多条文档2
  • 049.尚硅谷_实时电商项目-日活业务介绍
  • 050.尚硅谷_实时电商项目-搭建日活开发环境
  • 051.尚硅谷_实时电商项目-读取配置文件的工具类
  • 052.尚硅谷_实时电商项目-读取Kafka数据的工具类
  • 053.尚硅谷_实时电商项目-获取Redis客户端工具类
  • 054.尚硅谷_实时电商项目-编写SparkStreaming程序消费kafka数据
  • 055.尚硅谷_实时电商项目-内容回顾
  • 056.尚硅谷_实时电商项目-已经登录设备去重思路分析
  • 057.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式1
  • 058.尚硅谷_实时电商项目-通过Redis对已经登录的数据进行去重方式2
  • 059.尚硅谷_实时电商项目-将采集到的数据批量保存到ES中业务实现
  • 060.尚硅谷_实时电商项目-批量保存ES代码的实现
  • 061.尚硅谷_实时电商项目-去重和保存到ES总结
  • 062.尚硅谷_实时电商项目-kafka内容回顾1
  • 063.尚硅谷_实时电商项目-kafka内容回顾2
  • 064.尚硅谷_实时电商项目-kafka内容回顾3
  • 065.尚硅谷_实时电商项目-kafka内容回顾4
  • 066.尚硅谷_实时电商项目-精准一次性消费方案分析
  • 067.尚硅谷_实时电商项目-手动提交偏移量+幂等性处理分析
  • 068.尚硅谷_实时电商项目-从Redis中获取偏移量
  • 069.尚硅谷_实时电商项目-内容回顾
  • 070.尚硅谷_实时电商项目-从指定偏移量读取Kafka数据并获取偏移量位置
  • 071.尚硅谷_实时电商项目-保存偏移量到Redis
  • 072.尚硅谷_实时电商项目-关于去重
  • 073.尚硅谷_实时电商项目-通过kibana进行可视化展示
  • 074.尚硅谷_实时电商项目-发布查询接口架构介绍
  • 075.尚硅谷_实时电商项目-搭建项目架构
  • 076.尚硅谷_实时电商项目-获取当前日活数的Service方法实现
  • 077.尚硅谷_实时电商项目-获取日活Controller处理
  • 078.尚硅谷_实时电商项目-获取分时日活数Service方法实现
  • 079.尚硅谷_实时电商项目-获取分时日活数Controller处理
  • 080.尚硅谷_实时电商项目-前端访问数据接口测试
  • 081.尚硅谷_实时电商项目-内容回顾
  • 082.尚硅谷_实时电商项目-首单业务分析
  • 083.尚硅谷_实时电商项目-canal使用场景
  • 084.尚硅谷_实时电商项目-canal工作原理
  • 085.尚硅谷_实时电商项目-MySQL前期准备工作
  • 086.尚硅谷_实时电商项目-canal配置以及单机测试
  • 087.尚硅谷_实时电商项目-canal高可用.mp4
  • 088.尚硅谷_实时电商项目-上午内容回顾
  • 089.尚硅谷_实时电商项目-使用canal进行分流处理
  • 090.尚硅谷_实时电商项目-封装向Kafka发送数据工具类并对canal分流进行测试
  • 091.尚硅谷_实时电商项目-maxwell的安装以及配置
  • 092.尚硅谷_实时电商项目-编写BaseDBMaxwellApp对数据进行分流
  • 093.尚硅谷_实时电商项目-总结
  • 094.尚硅谷_实时电商项目-内容回顾
  • 095.尚硅谷_实时电商项目-Hbase回顾1
  • 096.尚硅谷_实时电商项目-Hbase回顾2
  • 097.尚硅谷_实时电商项目-Phoenix客户端连接工具
  • 098.尚硅谷_实时电商项目-封装Phoenix查询工具类
  • 099.尚硅谷_实时电商项目-客户端工具问题解决
  • 100.尚硅谷_实时电商项目-从kafka订单主题中读取数据
  • 101.尚硅谷_实时电商项目-判断是否首单方案1
  • 102.尚硅谷_实时电商项目-判断是否首单方案2
  • 103.尚硅谷_实时电商项目-更新Phoenix中用户消费状态
  • 104.尚硅谷_实时电商项目-Phoenix客户端连接工具2
  • 105.尚硅谷_实时电商项目-尚硅谷大数据_实时项目_同批次状态修正
  • 106.尚硅谷_实时电商项目-总结
  • 107.尚硅谷_实时电商项目-内容回顾
  • 108.尚硅谷_实时电商项目-维度表关联分析
  • 109.尚硅谷_实时电商项目-省份维度表的处理1
  • 110.尚硅谷_实时电商项目-省份维度表的处理2
  • 111.尚硅谷_实时电商项目-用户维度表的处理1
  • 112.尚硅谷_实时电商项目-用户维度表的处理2
  • 113.尚硅谷_实时电商项目-上午内容回顾
  • 114.尚硅谷_实时电商项目-和省份维度关联思路
  • 115.尚硅谷_实时电商项目-和省份维度关联方案1
  • 116.尚硅谷_实时电商项目-和省份维度关联方案2
  • 117.尚硅谷_实时电商项目-和用户维度关联
  • 118.尚硅谷_实时电商项目-保存订单数据到ES中
  • 119.尚硅谷_实时电商项目-使用Kibana进行可视化
  • 120.尚硅谷_实时电商项目-总结
  • 121.尚硅谷_实时电商项目-内容回顾
  • 122.尚硅谷_实时电商项目-实付分摊介绍
  • 123.尚硅谷_实时电商项目-从Kafka中读取订单明细数据
  • 124.尚硅谷_实时电商项目-维度表的创建
  • 125.尚硅谷_实时电商项目-维度数据处理代码实现
  • 126.尚硅谷_实时电商项目-订单明细和商品维度关联
  • 127.尚硅谷_实时电商项目-订单明细和维度关联测试
  • 128.尚硅谷_实时电商项目-订单和订单明细数据写回Kafka
  • 129.尚硅谷_实时电商项目-OrderWideApp接收双流数据测试
  • 130.尚硅谷_实时电商项目-双流Join问题解决方案
  • 131.尚硅谷_实时电商项目-双流Join代码实现
  • 132.尚硅谷_实时电商项目-双流合并测试
  • 133.尚硅谷_实时电商项目-实付分摊需求
  • 134.尚硅谷_实时电商项目-实付分摊思路介绍
  • 135.尚硅谷_实时电商项目-实付分摊代码实现
  • 136.尚硅谷_实时电商项目-实付分摊测试
  • 137.尚硅谷_实时电商项目-内容回顾
  • 138.尚硅谷_实时电商项目-ClickHouse介绍
  • 139.尚硅谷_实时电商项目-安装前准备工作
  • 140.尚硅谷_实时电商项目-单机安装
  • 141.尚硅谷_实时电商项目-数据类型
  • 142.尚硅谷_实时电商项目-三个属性讲解
  • 143.尚硅谷_实时电商项目-二级索引
  • 144.尚硅谷_实时电商项目-TTL设置
  • 145.尚硅谷_实时电商项目-ReplacingMergeTree
  • 146.尚硅谷_实时电商项目-SummingMergeTree
  • 147.尚硅谷_实时电商项目-SQL操作
  • 148.尚硅谷_实时电商项目-副本
  • 149.尚硅谷_实时电商项目-分片的读取和写入流程
  • 150.尚硅谷_实时电商项目-分片集群配置
  • 151.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中1
  • 152.尚硅谷_实时电商项目-保存双流Join后的数据到ClickHouse中2
  • 153.尚硅谷_实时电商项目-数据接口架构介绍
  • 154.尚硅谷_实时电商项目-配置文件属性说明
  • 155.尚硅谷_实时电商项目-Mapper接口的创建
  • 156.尚硅谷_实时电商项目-Mapper配置文件说明1
  • 157.尚硅谷_实时电商项目-没有得到分摊数据问题排查
  • 158.尚硅谷_实时电商项目-MyBatis映射文件配置
  • 159.尚硅谷_实时电商项目-上午内容回顾
  • 160.尚硅谷_实时电商项目-Service层处理代码
  • 161.尚硅谷_实时电商项目-Controller层处理代码及测试
  • 162.尚硅谷_实时电商项目-ADS层聚合思路
  • 163.尚硅谷_实时电商项目-数据库表创建以及查询MySQL工具类封装
  • 164.尚硅谷_实时电商项目-从MySQL中获取偏移量的工具类封装
  • 165.尚硅谷_实时电商项目-将数据写回到Kafka
  • 166.尚硅谷_实时电商项目-内容回顾
  • 167.尚硅谷_实时电商项目-从Kafka中读取dws层数据
  • 168.尚硅谷_实时电商项目-scalikejdbc工具介绍
  • 169.尚硅谷_实时电商项目-保存数据到MySQL(精准一次性第二种实现)
  • 170.尚硅谷_实时电商项目-发布数据接口程序介绍
  • 171.尚硅谷_实时电商项目-抽取方法避免踩坑
  • 172.尚硅谷_实时电商项目-发布数据查询接口
  • 173.尚硅谷_实时电商项目-DataV数据展示
  • 174.尚硅谷_实时电商项目-阶段总结