尚硅谷Java培训

实时项目Spark Streaming

视频介绍

Spark Streaming是Spark核心API的一个扩展,可以实现高吞吐量、具备容错机制的实时流数据处理。本套视频教程以Spark Streaming为主线,实时计算的各个组件为支线,围绕着实时的定义、如何实现实时、怎么保证实时等一系列热点话题展开讲解,手把手带你搭建一套完整可用的实时计算项目。

教程涵盖实时计算的各个重要组件:Spark Streaming、Kafka、Redis、ElasticSearch、SpringBoot等,以企业实际生产环境为背景,企业实际需求为例,详细讲解了实时计算的各个环节,从不同角度给出多种解决方案,并确定最优方案。教程内容从0到1,逐行代码逐行注释搭建实时计算项目,广泛提升你的代码功底。

附赠全套教程资料:视频、讲义、源码、笔记、软件包等,通过本套教程的学习,你将会对实时计算有更加深刻的领会,在未来的实时处理领域助你一臂之力。

视频目录 选集

  • 001.尚硅谷_Spark实时项目-简介-项目介绍
  • 002.尚硅谷_Spark实时项目-简介-离线计算
  • 003.尚硅谷_Spark实时项目-简介-实时计算
  • 004.尚硅谷_Spark实时项目-简介-离线架构
  • 005.尚硅谷_Spark实时项目-简介-实时架构
  • 006.尚硅谷_Spark实时项目-简介-项目需求
  • 007.尚硅谷_Spark实时项目-日志数据采集分流-整体架构
  • 008.尚硅谷_Spark实时项目-日志数据采集分流-采集到数据
  • 009.尚硅谷_Spark实时项目-日志数据采集分流-生成数据脚本
  • 010.尚硅谷_Spark实时项目-日志数据采集分流-Kafka脚本
  • 011.尚硅谷_Spark实时项目-日志数据采集分流-准备工程环境
  • 012.尚硅谷_Spark实时项目-日志数据采集分流-Kafka工具类-1
  • 013.尚硅谷_Spark实时项目-日志数据采集分流-Kafka工具类-2
  • 014.尚硅谷_Spark实时项目-日志数据采集分流-配置工具类
  • 015.尚硅谷_Spark实时项目-日志数据采集分流-消费到数据
  • 016.尚硅谷_Spark实时项目-日志数据采集分流-分流-1
  • 017.尚硅谷_Spark实时项目-日志数据采集分流-分流-2
  • 018.尚硅谷_Spark实时项目-日志数据采集分流-分流-3
  • 019.尚硅谷_Spark实时项目-提gitee
  • 020.尚硅谷_Spark实时项目-回顾
  • 021.尚硅谷_Spark实时项目-日志数据采集分流-分流-完成
  • 022.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-分析问题
  • 023.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-事务方案
  • 024.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-后置提交加幂等方案
  • 025.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-Redis工具类
  • 026.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-Offset工具类-1
  • 027.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-Offset工具类-2
  • 028.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-Offset工具类-3
  • 029.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-完成
  • 030.尚硅谷_Spark实时项目-日志数据采集分流-精确一次消费-总结
  • 031.尚硅谷_Spark实时项目-日志数据采集分流-Kafka缓冲区问题-分析问题
  • 032.尚硅谷_Spark实时项目-日志数据采集分流-Kafka缓冲区问题-解决问题
  • 033.尚硅谷_Spark实时项目-业务数据采集分流-架构分析
  • 034.尚硅谷_Spark实时项目-业务数据采集分流-MaxWell工作原理
  • 035.尚硅谷_Spark实时项目-业务数据采集分流-binlog格式
  • 036.尚硅谷_Spark实时项目-业务数据采集分流-安装Maxwell和MySQL
  • 037.尚硅谷_Spark实时项目-业务数据采集分流-采集完成
  • 038.尚硅谷_Spark实时项目-回顾
  • 039.尚硅谷_Spark实时项目-业务数据采集分流-分流-消费到数据
  • 040.尚硅谷_Spark实时项目-业务数据采集分流-分流-事实数据
  • 041.尚硅谷_Spark实时项目-业务数据采集分流-分流-维度数据-1
  • 042.尚硅谷_Spark实时项目-业务数据采集分流-分流-维度数据-2
  • 043.尚硅谷_Spark实时项目-业务数据采集分流-分析问题
  • 044.尚硅谷_Spark实时项目-业务数据采集分流-解决问题-历史维度引导
  • 045.尚硅谷_Spark实时项目-业务数据采集分流-解决问题-Redis连接
  • 046.尚硅谷_Spark实时项目-业务数据采集分流-解决问题-动态表清单-1
  • 047.尚硅谷_Spark实时项目-业务数据采集分流-解决问题-动态表清单-2
  • 048.尚硅谷_Spark实时项目-业务数据采集分流-数据处理顺序性
  • 049.尚硅谷_Spark实时项目-ODS到DWD-总结
  • 050.尚硅谷_Spark实时项目-DWD到DWD-分析
  • 051.尚硅谷_Spark实时项目-日活宽表-任务分析
  • 052.尚硅谷_Spark实时项目-日活宽表-消费到数据
  • 053.尚硅谷_Spark实时项目-日活宽表-去重-分析
  • 054.尚硅谷_Spark实时项目-日活宽表-去重-自我审查
  • 055.尚硅谷_Spark实时项目-回顾
  • 056.尚硅谷_Spark实时项目-日活宽表-去重-第三方审查-1
  • 057.尚硅谷_Spark实时项目-日活宽表-去重-第三方审查-2
  • 058.尚硅谷_Spark实时项目-日活宽表-维度关联-分析
  • 059.尚硅谷_Spark实时项目-日活宽表-维度关联-对象属性拷贝
  • 060.尚硅谷_Spark实时项目-日活宽表-维度关联-关联用户维度信息
  • 061.尚硅谷_Spark实时项目-日活宽表-维度关联-关联地区维度信息
  • 062.尚硅谷_Spark实时项目-日活宽表-维度关联-空指针异常问题
  • 063.尚硅谷_Spark实时项目-订单宽表-分析
  • 064.尚硅谷_Spark实时项目-订单宽表-消费到数据
  • 065.尚硅谷_Spark实时项目-订单宽表-维度关联
  • 066.尚硅谷_Spark实时项目-订单宽表-双流join-内连接
  • 067.尚硅谷_Spark实时项目-订单宽表-双流join-数据延迟问题
  • 068.尚硅谷_Spark实时项目-订单宽表-双流join-数据延迟解决方案
  • 069.尚硅谷_Spark实时项目-回顾
  • 070.尚硅谷_Spark实时项目-订单宽表-双流join-缓存方案-1
  • 071.尚硅谷_Spark实时项目-订单宽表-双流join-缓存方案-2
  • 072.尚硅谷_Spark实时项目-订单宽表-双流join-缓存方案-3
  • 073.尚硅谷_Spark实时项目-ES-简介
  • 074.尚硅谷_Spark实时项目-ES-使用场景
  • 075.尚硅谷_Spark实时项目-ES-常用存储框架比较
  • 076.尚硅谷_Spark实时项目-ES-特点
  • 077.尚硅谷_Spark实时项目-ES-安装-修改操作系统参数
  • 078.尚硅谷_Spark实时项目-ES-安装-安装启动
  • 079.尚硅谷_Spark实时项目-ES-安装-集群启停脚本
  • 080.尚硅谷_Spark实时项目-ES-安装-安装Kibana
  • 081.尚硅谷_Spark实时项目-ES-DSL-名词解释
  • 082.尚硅谷_Spark实时项目-ES-DSL-服务状态查询
  • 083.尚硅谷_Spark实时项目-回顾
  • 084.尚硅谷_Spark实时项目-ES-DSL-ES存储的数据结构
  • 085.尚硅谷_Spark实时项目-ES-DSL-数据操作-1
  • 086.尚硅谷_Spark实时项目-ES-DSL-数据操作-2
  • 087.尚硅谷_Spark实时项目-ES-DSL-数据操作-3
  • 088.尚硅谷_Spark实时项目-ES-DSL-数据操作-4
  • 089.尚硅谷_Spark实时项目-ES-DSL-数据操作-5
  • 090.尚硅谷_Spark实时项目-ES-DSL-数据操作-6
  • 091.尚硅谷_Spark实时项目-ES-DSL-数据操作-7
  • 092.尚硅谷_Spark实时项目-ES-DSL-数据操作-8
  • 093.尚硅谷_Spark实时项目-ES-DSL-SQL的使用
  • 094.尚硅谷_Spark实时项目-ES-DSL-中文分词-1
  • 095.尚硅谷_Spark实时项目-ES-DSL-中文分词-2
  • 096.尚硅谷_Spark实时项目-ES-DSL-索引分割
  • 097.尚硅谷_Spark实时项目-ES-DSL-索引别名
  • 098.尚硅谷_Spark实时项目-ES-DSL-索引模板
  • 099.尚硅谷_Spark实时项目-回顾
  • 100.尚硅谷_Spark实时项目-ES-读写原理-写流程
  • 101.尚硅谷_Spark实时项目-ES-读写原理-读流程
  • 102.尚硅谷_Spark实时项目-ES-读写原理-搜索流程
  • 103.尚硅谷_Spark实时项目-ES-读写原理-并发写控制
  • 104.尚硅谷_Spark实时项目-ES-Shard与段-Shard数量
  • 105.尚硅谷_Spark实时项目-ES-Shard与段-段合并
  • 106.尚硅谷_Spark实时项目-ES-客户端-准备环境
  • 107.尚硅谷_Spark实时项目-ES-客户端-单条写入
  • 108.尚硅谷_Spark实时项目-ES-客户端-批量写入
  • 109.尚硅谷_Spark实时项目-ES-客户端-修改
  • 110.尚硅谷_Spark实时项目-ES-客户端-基于id删除和查询
  • 111.尚硅谷_Spark实时项目-ES-客户端-条件查询
  • 112.尚硅谷_Spark实时项目-ES-客户端-聚合查询
  • 113.尚硅谷_Spark实时项目-日活宽表-ES工具类
  • 114.尚硅谷_Spark实时项目-日活宽表-写入ES
  • 115.尚硅谷_Spark实时项目-日活宽表-作业
  • 116.尚硅谷_Spark实时项目-回顾
  • 117.尚硅谷_Spark实时项目-订单宽表-写入ES
  • 118.尚硅谷_Spark实时项目-日活宽表-状态问题
  • 119.尚硅谷_Spark实时项目-日活宽表-状态还原-1
  • 120.尚硅谷_Spark实时项目-日活宽表-状态还原-2
  • 121.尚硅谷_Spark实时项目-DWD到DWS-总结
  • 122.尚硅谷_Spark实时项目-应用层-简介
  • 123.尚硅谷_Spark实时项目-应用层-Kibana-配置渠道日活
  • 124.尚硅谷_Spark实时项目-应用层-Kibana-配置热力地图
  • 125.尚硅谷_Spark实时项目-应用层-Kibana-配置大盘
  • 126.尚硅谷_Spark实时项目-应用层-SpringBoot-web服务介绍
  • 127.尚硅谷_Spark实时项目-应用层-SpringBoot-技术发展过程
  • 128.尚硅谷_Spark实时项目-应用层-SpringBoot-简介
  • 129.尚硅谷_Spark实时项目-应用层-SpringBoot-初始搭建
  • 130.尚硅谷_Spark实时项目-应用层-SpringBoot-开发分层
  • 131.尚硅谷_Spark实时项目-应用层-SpringBoot-请求打通
  • 132.尚硅谷_Spark实时项目-应用层-SpringBoot-请求参数-1
  • 133.尚硅谷_Spark实时项目-应用层-SpringBoot-请求参数-2
  • 134.尚硅谷_Spark实时项目-应用层-SpringBoot-请求参数-3
  • 135.尚硅谷_Spark实时项目-应用层-SpringBoot-请求参数-4
  • 136.尚硅谷_Spark实时项目-回顾
  • 137.尚硅谷_Spark实时项目-应用层-SpringBoot-请求方式
  • 138.尚硅谷_Spark实时项目-应用层-SpringBoot-状态码
  • 139.尚硅谷_Spark实时项目-应用层-SpringBoot-业务层
  • 140.尚硅谷_Spark实时项目-应用层-SpringBoot-数据层
  • 141.尚硅谷_Spark实时项目-应用层-日活实时监控接口-接口介绍
  • 142.尚硅谷_Spark实时项目-应用层-日活实时监控接口-搭建环境
  • 143.尚硅谷_Spark实时项目-应用层-日活实时监控接口-测试连通
  • 144.尚硅谷_Spark实时项目-应用层-日活实时监控接口-查询总数
  • 145.尚硅谷_Spark实时项目-应用层-日活实时监控接口-查询分时明细
  • 146.尚硅谷_Spark实时项目-应用层-日活实时监控接口-对接前端页面
  • 147.尚硅谷_Spark实时项目-应用层-灵活查询接口-测试连通
  • 148.尚硅谷_Spark实时项目-应用层-灵活查询接口-类别统计-1
  • 149.尚硅谷_Spark实时项目-应用层-灵活查询接口-类别统计-2
  • 150.尚硅谷_Spark实时项目-应用层-灵活查询接口-明细查询-1
  • 151.尚硅谷_Spark实时项目-应用层-灵活查询接口-明细查询-2
  • 152.尚硅谷_Spark实时项目-总结-1
  • 153.尚硅谷_Spark实时项目-总结-2
  • 154.尚硅谷_Spark实时项目-总结-3