尚硅谷Java培训

腾讯云实时数仓

视频介绍

本套教程由尚硅谷大数据研究院与腾讯云官方联合推出,依托国内电商巨头的真实业务场景,基于各大互联网企业对于腾讯云EMR架构体系的需求,将整个电商的实时数据仓库体系搭建在腾讯云架构上。

教程完成了整个实时数据仓库架构的海量数据采集、存储、计算以及可视化展示,整个业务流程全部搭建在腾讯云服务器上,并全部采用腾讯云EMR的服务组件,将各腾讯云EMR服务组件进行充分联动。

项目文档按照出书标准编写,详细讲解一行一行手敲代码,内容全面且细致,教程附赠全套视频、文档、代码、资料。通过本套教程的学习,你可以全方位掌握腾讯云的大数据服务组件使用和调优。

视频目录 选集

  • 001.实时数仓-课程介绍
  • 002.需求及架构-简介
  • 003.需求及架构-课程目标
  • 004.需求及架构-数据仓库概念
  • 005.需求及架构-项目需求
  • 006.需求及架构-技术选型
  • 007.需求及架构-数据流程设计
  • 008.需求及架构-框架的版本选型
  • 009.需求及架构-服务器选型
  • 010.需求及架构-集群规模及集群规划
  • 011.需求及架构-电商业务简介
  • 012.需求及架构-EMR的购买与启动
  • 013.需求及架构-EMR集群简单说明
  • 014.需求及架构-使用XShell连接服务
  • 015.需求及架构-修改主机映射&配置无密登录
  • 016.需求及架构-电商业务数据说明
  • 017.需求及架构-上传资料包
  • 018.需求及架构-MySQL的安装与启动
  • 019.需求及架构-MySQL修改密码&远程访问
  • 020.需求及架构-生成业务数据
  • 021.需求及架构-Kafka安装
  • 022.需求及架构-Kafka配置环境变量&群起
  • 023.需求及架构-同步策略&开启MySQL Binlog
  • 024.需求及架构-Flink安装
  • 025.需求及架构-项目构建
  • 026.需求及架构-FlinkCDC代码讲解&本地测试
  • 027.需求及架构-FlinkCDC代码远程测试
  • 028.实时数仓搭建-课程介绍
  • 029.实时数仓搭建-分层框架-ODS&DIM层
  • 030.实时数仓搭建-DWD&DWS&ADS层
  • 031.实时数仓搭建-架构分析
  • 032.实时数仓搭建-准备工作
  • 033.实时数仓搭建-具体工作
  • 034.实时数仓搭建-HBase部署
  • 035.实时数仓搭建-HBase启动&测试
  • 036.实时数仓搭建-IDEA代码环境说明
  • 037.实时数仓搭建-Phoenix部署
  • 038.实时数仓搭建-Phoenix启动
  • 039.实时数仓搭建-Redis部署
  • 040.实时数仓搭建-Redis启动&测试
  • 041.实时数仓搭建-ClickHouse安装&启动&测试
  • 042.实时数仓搭建-课程说明
  • 043.实时数仓搭建-DIM层-思路分析 1
  • 044.实时数仓搭建-DIM层-思路分析 2
  • 045.实时数仓搭建-DIM层-思路分析 3
  • 046.实时数仓搭建-DIM层-思路整理
  • 047.实时数仓搭建-DIM层-消费&过滤&转换数据
  • 048.实时数仓搭建-DIM层-配置信息表
  • 049.实时数仓搭建-DIM层-读取配置信息&处理成广播流
  • 050.实时数仓搭建-DIM层-处理连接流-思路分析
  • 051.实时数仓搭建-DIM层-处理连接流-广播流-解析数据
  • 052.实时数仓搭建-DIM层-处理连接流-广播流-校验并建表
  • 053.实时数仓搭建-DIM层-处理连接流-广播流-写入状态
  • 054.实时数仓搭建-DIM层-处理连接流-主流-读取状态&过滤数据
  • 055.实时数仓搭建-DIM层-处理连接流-主流-补充字段并写出数据
  • 056.实时数仓搭建-DIM层-将数据写出到Phoenix-编码
  • 057.实时数仓搭建-DIM层-将数据写出到Phoenix-测试
  • 058.实时数仓搭建-DIM层-将数据写出到Phoenix-打包上传集群
  • 059.实时数仓搭建-DWD层-用户域用户注册代码讲解
  • 060.实时数仓搭建-DWD层-前置知识-WindowJOIN-说明
  • 061.实时数仓搭建-DWD层-前置知识-IntervalJOIN-说明
  • 062.实时数仓搭建-DWD层-前置知识-IntervalJOIN-编码
  • 063.实时数仓搭建-DWD层-前置知识-IntervalJOIN-测试
  • 064.实时数仓搭建-DWD层-交易域加购事实表
  • 065.实时数仓搭建-DWD层-工具域领券事实表
  • 066.实时数仓搭建-DWD层-互动域评价事实表
  • 067.实时数仓搭建-DWD层-交易域订单事实表
  • 068.实时数仓搭建-DWS层-整体介绍
  • 069.实时数仓搭建-DWS层-用户域用户注册基础代码
  • 070.实时数仓搭建-DWS层-ClickHouse工具类 1
  • 071.实时数仓搭建-DWS层-ClickHouse工具类 2
  • 072.实时数仓搭建-DWS层-ClickHouse工具类 3
  • 073.实时数仓搭建-DWS层-交易域加购需求基础代码
  • 074.实时数仓搭建-DWS层-交易域SKU粒度下单需求前置说明
  • 075.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-需求分析 1
  • 076.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-需求分析 2
  • 077.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-思路整理
  • 078.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JavaBean封装
  • 079.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-读取&转换&过滤&分组数据
  • 080.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-left join重复数据去重
  • 081.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-分组&开窗&聚合
  • 082.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-中间测试
  • 083.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表说明
  • 084.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil封装 1
  • 085.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil封装 2
  • 086.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-JDBCUtil测试&再封装
  • 087.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-优化的必要性
  • 088.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-说明
  • 089.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-读写编码
  • 090.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-读写测试
  • 091.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-删除缓存数据
  • 092.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-旁路缓存-删除缓存数据 测试
  • 093.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-说明
  • 094.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-API说明
  • 095.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-线程池工具类
  • 096.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数 1
  • 097.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数 2
  • 098.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数 3
  • 099.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-异步IO-异步函数 4
  • 100.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-完整测试
  • 101.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-测试准备工作
  • 102.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联维表-测试完成
  • 103.实时数仓搭建-DWS层-交易域-SKU粒度下单需求-关联其他维表&写出数据
  • 104.实时数仓搭建-可视化展示-课程介绍
  • 105.实时数仓搭建-可视化展示-任务介绍
  • 106.实时数仓搭建-可视化展示-Sugar基本介绍
  • 107.实时数仓搭建-可视化展示-Web项目基本说明
  • 108.实时数仓搭建-可视化展示-构建SpringBoot Web模块
  • 109.实时数仓搭建-可视化展示-初体验SpringBoot Web模块
  • 110.实时数仓搭建-可视化展示-再体验SpringBoot Web模块
  • 111.实时数仓搭建-可视化展示-GMV需求-Mapper完成
  • 112.实时数仓搭建-可视化展示-GMV需求-Service完成
  • 113.实时数仓搭建-可视化展示-GMV需求-Controllrt完成
  • 114.实时数仓搭建-可视化展示-GMV需求-接口测试完成
  • 115.实时数仓搭建-可视化展示-GMV需求-对接Sugar测试完成