尚硅谷Java培训

电商数仓5.0

视频介绍

数据仓库项目在整个大数据体系中的重要性不言而喻,是入行大数据的敲门砖,是整个大数据体系的基石。尚硅谷经典之作再次重大升级,离线数仓5.0项目携四大升级震撼来袭!

升级一:修改业务数据采集系统!引入实时业务数据采集技术Maxwell和Canal,使用DataX替换Sqoop,实时监测业务数据库变动情况,舍弃原有每天一同步的思路,数据采集更全、更准确、更流畅!

升级二:数仓建模理论更丰富广泛!基于数仓建模大神Bill Inmon和Ralph Kimball的经典建模理论,结合阿里巴巴成熟的数仓构建实践,梳理出通用的数仓建模步骤,精简数仓建模体系,新增指标体系构建过程,升级了一套更具权威性且实操性更强的数仓建模理论体系。

升级三:更换为更易用、更前沿、更受欢迎的任务流调度系统DolphinScheduler,不再需要单独编写任务流配置文件,真正做到拆箱即用!

升级四:数仓整体表格数量大幅增加!完善需求场景,增加主题域和业务过程,更贴近企业实战,数仓更大更完善!

通过本套教程的学习,你可以掌握数仓建模的各种理论知识,从零开始搭建一套离线数仓系统,掌握主流的大数据相关技术,对数仓的整体构架有一个完整的认识。本套教程的数仓项目与企业真实项目无缝对接,实现需求的思路可直接嫁接至现实工作中,可以为你在大数据开发过程中遇到难题提供更多的解决问题思路。

项目适合具备一定大数据技术基础的人群学习,至少掌握SQL的写法、Linux的基本用法,对Hadoop生态的基础框架有一定了解。

视频目录 选集

  • 001.尚硅谷_电商数仓-课程简介
  • 002.尚硅谷_电商数仓-数仓概念-数仓简介
  • 003.尚硅谷_电商数仓-数仓概念-数据分类
  • 004.尚硅谷_电商数仓-数仓概念-数仓总体介绍
  • 005.尚硅谷_电商数仓-数仓概念-项目需求分析
  • 006.尚硅谷_电商数仓-数仓概念-技术选型
  • 007.尚硅谷_电商数仓-数仓概念-系统数据流程
  • 008.尚硅谷_电商数仓-数仓概念-框架版本的选择
  • 009.尚硅谷_电商数仓-数仓概念-具体版本号选择
  • 010.尚硅谷_电商数仓-数仓概念-服务器选型
  • 011.尚硅谷_电商数仓-数仓概念-集群规模
  • 012.尚硅谷_电商数仓-数仓概念-集群资源规划
  • 013.尚硅谷_电商数仓-同步行为数据模拟-埋点简介
  • 014.尚硅谷_电商数仓-用户行为数据模拟-用户行为日志内容
  • 015.尚硅谷_电商数仓-用户行为数据模拟-埋点日志格式
  • 016.尚硅谷_电商数仓-用户行为数据模拟-克隆三台服务器
  • 017.尚硅谷_电商数仓-用户行为数据模拟-阿里云准备(备选)
  • 018.尚硅谷_电商数仓-用户行为数据模拟-集群同步脚本
  • 019.尚硅谷_电商数仓-用户行为数据模拟-免密登录配置
  • 020.尚硅谷_电商数仓-用户行为数据模拟-安装JDK
  • 021.尚硅谷_电商数仓-用户行为数据模拟-Linux环境变量说明
  • 022.尚硅谷_电商数仓-用户行为数据模拟-模拟数据
  • 023.尚硅谷_电商数仓-用户行为数据采集-hadoop安装
  • 024.尚硅谷_电商数仓-用户行为数据采集-Hadoop项目经验
  • 025.尚硅谷_电商数仓-用户行为数据采集-Zookeeper安装
  • 026.尚硅谷_电商数仓-用户行为数据采集-Kafka安装
  • 027.尚硅谷_电商数仓-用户行为数据采集-Flume安装
  • 028.尚硅谷_电商数仓-用户行为数据采集-Flume的KafkaChannel
  • 029.尚硅谷_电商数仓-用户行为数据采集-采集Flume配置
  • 030.尚硅谷_电商数仓-业务数据采集-电商业务简介
  • 031.尚硅谷_电商数仓-业务数据采集-电商业务表结构
  • 032.尚硅谷_电商数仓-业务数据采集-业务数据模拟
  • 033.尚硅谷_电商数仓-业务数据采集-业务数据通道
  • 034.尚硅谷_电商数仓-业务数据采集-Maxwell简介
  • 035.尚硅谷_电商数仓-业务数据采集-Maxwell配置
  • 036.尚硅谷_电商数仓-业务数据采集-Maxwell使用
  • 037.尚硅谷_电商数仓-业务数据采集-采集通道maxwell配置
  • 038.尚硅谷_电商数仓-实时数仓数据同步-实时数仓同步数据
  • 039.尚硅谷_电商数仓-离线数仓数据同步-用户行为数据同步通道
  • 040.尚硅谷_电商数仓-离线数仓数据同步-用户行为数据同步flume配置
  • 041.尚硅谷_电商数仓-离线数仓数据同步-业务数据同步策略
  • 042.尚硅谷_电商数仓-业务数据采集-DataX简介
  • 043.尚硅谷_电商数仓-业务数据采集-DataX部署
  • 044.尚硅谷_电商数仓-业务数据采集-DataX案例
  • 045.尚硅谷_电商数仓-业务数据采集-DataX的HdfsWriter的Null值存储问题
  • 046.尚硅谷_电商数仓-业务数据采集-DataX参数调优
  • 047.尚硅谷_电商数仓-业务数据采集-全量同步流程
  • 048.尚硅谷_电商数仓-业务数同步-增量同步流程
  • 049.尚硅谷_电商数仓-业务数据同步-集群总启停脚本
  • 050.尚硅谷_电商数仓-业务数据同步-Hive安装部署
  • 051.尚硅谷_电商数仓-数据仓库-概述
  • 052.尚硅谷_电商数仓-数据仓库-核心架构
  • 053.尚硅谷_电商数仓-建模方法论
  • 054.尚硅谷_电商数仓-建模方法论-ER模型-数据库规范化
  • 055.尚硅谷_电商数仓-建模方法论-ER模型-函数依赖
  • 056.尚硅谷_电商数仓-建模方法论-ER模型-三范式
  • 057.尚硅谷_电商数仓-建模方法论-维度模型-概述
  • 058.尚硅谷_电商数仓-采集集群-要求
  • 059.尚硅谷_电商数仓-维度模型-事实表-事务事实表-概述
  • 060.尚硅谷_电商数仓-维度模型-事实表-事务事实表-设计流程
  • 061.尚硅谷_电商数仓-维度模型-事实表-事务事实表-不足
  • 062.尚硅谷_电商数仓-维度模型-事实表-周期快照事实表
  • 063.尚硅谷_电商数仓-维度模型-事实表-累积快照表
  • 064.尚硅谷_电商数仓-维度模型-维度表-设计步骤
  • 065.尚硅谷_电商数仓-维度模型-维度表-确定维度属性-要点
  • 066.尚硅谷_电商数仓-维度模型-维度表-维度设计要点-规范化&反规范化
  • 067.尚硅谷_电商数仓-维度模型-维度表-维度设计要点-维度变化-全量表
  • 068.尚硅谷_电商数仓-维度模型-维度表-维度设计要点-维度变化-拉链表-制作和使用
  • 069.尚硅谷_电商数仓-维度模型-维度表-维度设计要点-多值维度
  • 070.尚硅谷_电商数仓-维度模型-维度表-维度设计要点-多值属性
  • 071.尚硅谷_电商数仓-维度模型-对同步策略的影响
  • 072.尚硅谷_电商数仓-设计-分层规划
  • 073.尚硅谷_电商数仓-设计-构建流程
  • 074.尚硅谷_电商数仓-构建流程-数据调研-业务调研
  • 075.尚硅谷_电商数仓-构建流程-数据调研-需求分析
  • 076.尚硅谷_电商数仓-构建流程-划分数据域
  • 077.尚硅谷_电商数仓-构建流程-构建总线矩阵&维度模型设计
  • 078.尚硅谷_电商数仓-构建流程-明确统计需求-指标体系
  • 079.尚硅谷_电商数仓-构建流程-明确统计需求-汇总模型设计思路
  • 080.尚硅谷_电商数仓-运行环境-说明
  • 081.尚硅谷_电商数仓-运行环境-Hive-on-spark-编译源码
  • 082.尚硅谷_电商数仓-运行环境-Hive-on-spark-部署
  • 083.尚硅谷_电商数仓-开发环境-使用说明
  • 084.尚硅谷_电商数仓-数据准备-日志
  • 085.尚硅谷_电商数仓-数据准备-业务-全量&增量
  • 086.尚硅谷_电商数仓-Hive-on-spark环境问题排查思路
  • 087.尚硅谷_电商数仓-ODS层-设计要点
  • 088.尚硅谷_电商数仓-ODS层-日志表-设计思路
  • 089.尚硅谷_电商数仓-ODS层-日志表-json表
  • 090.尚硅谷_电商数仓-ODS层-日志表-复杂数据类型
  • 091.尚硅谷_电商数仓-ODS层-日志表-建表语句
  • 092.尚硅谷_电商数仓-ODS层-日志表-数据装载
  • 093.尚硅谷_电商数仓-ODS层-日志表-数据装载脚本
  • 094.尚硅谷_电商数仓-ODS层-业务表-建表语句-全量&增量
  • 095.尚硅谷_电商数仓-ODS层-数据装载
  • 096.尚硅谷_电商数仓-DataGrip元数据显示异常问题说明
  • 097.尚硅谷_电商数仓-DIM层.维度模型规划
  • 098.尚硅谷_电商数仓-DIM层-设计要点
  • 099.尚硅谷_电商数仓-DIM层-商品维度表-确定主维表和相关维表
  • 100.尚硅谷_电商数仓-DIM层-商品维度表
  • 101.尚硅谷_电商数仓-DIM层-优惠券维度表
  • 102.尚硅谷_电商数仓-Hive元数据中文乱码问题说明
  • 103.尚硅谷_电商数仓-DIM层-活动维度
  • 104.尚硅谷_电商数仓-DIM层-地区维度
  • 105.尚硅谷_电商数仓-DIM层-日期维度
  • 106.尚硅谷_电商数仓-DIM层-用户维度-拉链表-建表语句
  • 107.尚硅谷_电商数仓-DIM层-用户维度-拉链表-数据装载-首日
  • 108.尚硅谷_电商数仓-DIM层-用户维度-拉链表-数据装载-每日-思路一
  • 109.尚硅谷_电商数仓-DIM层-用户维度-拉链表-数据装载-每日-思路二
  • 110.尚硅谷_电商数仓-DIM层-数据装载
  • 111.尚硅谷_电商数仓-DWD层-设计要求
  • 112.尚硅谷_电商数仓-DWD层-交易域加购事务事实表-建表语句
  • 113.尚硅谷_电商数仓-DWD层-交易域加购事务事实表-数据流向
  • 114.尚硅谷_电商数仓-DWD层-交易域加购事务事实表-数据装载-首日
  • 115.尚硅谷_电商数仓-DWD层-交易域加购事务事实表-数据装载-每日
  • 116.尚硅谷_电商数仓-DWD层-Hiveserver2-文件描述符问题说明
  • 117.尚硅谷_电商数仓-DWD层-交易域下单事实表
  • 118.尚硅谷_电商数仓-DWD层-交易域下单事实表-数据装载-首日和每日
  • 119.尚硅谷_电商数仓-DWD层-交易域取消订单事实表-建表语句
  • 120.尚硅谷_电商数仓-DWD层-交易域取消订单事实表-数据装载-首日和每日
  • 121.尚硅谷_电商数仓-DWD层-交易域支付成功事实表-建表语句
  • 122.尚硅谷_电商数仓-DWD层-交易域支付成功事实表-数据装载-首日和每日
  • 123.尚硅谷_电商数仓-DWD层-交易域退单事实表
  • 124.尚硅谷_电商数仓-DWD层-交易域退款成功事实表
  • 125.尚硅谷_电商数仓-DWD层-交易域购物车周期快照表
  • 126.尚硅谷_电商数仓-DWD层-工具域优惠券业务分析
  • 127.尚硅谷_电商数仓-DWD层-互动域收藏商品事务事实表
  • 128.尚硅谷_电商数仓-DWD层-互动域评价事务事实表
  • 129.尚硅谷_电商数仓-DWD层-流量域页面浏览事务事实表-建表语句
  • 130.尚硅谷_电商数仓-DWD层-流量域页面浏览事务事实表-数据装载
  • 131.尚硅谷_电商数仓-DWD层-流量域启动事务事实表
  • 132.尚硅谷_电商数仓-DWD层-流量域动作事务事实表
  • 133.尚硅谷_电商数仓-DWD层-流量域曝光事务事实表
  • 134.尚硅谷_电商数仓-DWD层-流量域错误事务事实表
  • 135.尚硅谷_电商数仓-DWD层-用户域用户注册事实表
  • 136.尚硅谷_电商数仓-DWD层-用户域用户登录事实表
  • 137.尚硅谷_电商数仓-DWD层-维度模型-小总结
  • 138.尚硅谷_电商数仓-DWD层-数据装载
  • 139.尚硅谷_电商数仓-DWS层-设计要点
  • 140.尚硅谷_电商数仓-DWS层-设计-构建指标体系
  • 141.尚硅谷_电商数仓-DWS层-设计-抽取派生指标
  • 142.尚硅谷_电商数仓-DWS层-设计-最近1日n日汇总表
  • 143.尚硅谷_电商数仓-DWS层-设计-人数重复计算问题-最近1日n日汇总表
  • 144.尚硅谷_电商数仓-DWS层-设计方案-设计V2.0
  • 145.尚硅谷_电商数仓-DWS层-设计方案-设计V3.0
  • 146.尚硅谷_电商数仓-DWS层-设计-历史至今-汇总表分析
  • 147.尚硅谷_电商数仓-DWS层-设计-历史至今-数据装载
  • 148.尚硅谷_电商数仓-DWS层-设计-总结
  • 149.尚硅谷_电商数仓-DWS层-交易域用户商品粒度订单最近1日汇总表
  • 150.尚硅谷_电商数仓-DWS层-交易域用户商品粒度订单最近n日汇总表
  • 151.尚硅谷_电商数仓-DWS层-交易域用户商品粒度退单最近1日和n日汇总表
  • 152.尚硅谷_电商数仓-DWS层-交易域用户粒度订单汇总表
  • 153.尚硅谷_电商数仓-DWS层-交易域用户粒度加购汇总表
  • 154.尚硅谷_电商数仓-DWS层-交易域用户粒度支付汇总表
  • 155.尚硅谷_电商数仓-DWS层-交易域省份粒度订单汇总表
  • 156.尚硅谷_电商数仓-DWS层-交易域用户粒度退单汇总表
  • 157.尚硅谷_电商数仓-DWS层-流量域会话粒度页面浏览最近1日汇总表
  • 158.尚硅谷_电商数仓-DWS层-流量域访客页面粒度页面浏览汇总表
  • 159.尚硅谷_电商数仓-DWS层-交易域优惠券粒度订单最近n日汇总表
  • 160.尚硅谷_电商数仓-DWS层-交易域活动粒度订单最近n日汇总表
  • 161.尚硅谷_电商数仓-DWS层-交易域用户粒度订单历史至今汇总表
  • 162.尚硅谷_电商数仓-DWS层-交易域用户粒度支付历史至今汇总表
  • 163.尚硅谷_电商数仓-DWS层-用户域用户粒度登录历史至今汇总表
  • 164.尚硅谷_电商数仓-DWS层-数据装载-最近1日n日历史至今
  • 165.尚硅谷_电商数仓-ADS层-各渠道流量统计
  • 166.尚硅谷_电商数仓-ADS层-用户路径
  • 167.尚硅谷_电商数仓-ADS层-用户路径-需求实现
  • 168.尚硅谷_电商数仓-ADS层-用户变动统计-需求说明
  • 169.尚硅谷_电商数仓-ADS层-用户留存率-需求说明
  • 170.尚硅谷_电商数仓-ADS层-用户变动统计-需求实现
  • 171.尚硅谷_电商数仓-ADS层-用户留存率-需求实现-2种思路
  • 172.尚硅谷_电商数仓-ADS层-用户新增活跃统计-需求说明
  • 173.尚硅谷_电商数仓-ADS层-新增活跃用户统计-需求实现
  • 174.尚硅谷_电商数仓-ADS层-漏斗分析-需求说明
  • 175.尚硅谷_电商数仓-ADS层-新增交易用户统计-需求说明
  • 176.尚硅谷_电商数仓-ADS层-品牌复购率-需求说明
  • 177.尚硅谷_电商数仓-ADS层-漏斗分析-需求实现
  • 178.尚硅谷_电商数仓-ADS层-新增交易用户统计-需求实现
  • 179.尚硅谷_电商数仓-ADS层-品牌复购率-需求分析
  • 180.尚硅谷_电商数仓-ADS层-各品牌交易统计-需求说明
  • 181.尚硅谷_电商数仓-ADS层-购物车存量topN-需求说明
  • 182.尚硅谷_电商数仓-ADS层-交易综合统计-需求说明
  • 183.尚硅谷_电商数仓-ADS层-各品牌交易统计-需求实现
  • 184.尚硅谷_电商数仓-ADS层-购物车存量topN-需求实现
  • 185.尚硅谷_电商数仓-ADS层-交易综合统计-需求实现
  • 186.尚硅谷_电商数仓-ADS层-各省份交易综合统计
  • 187.尚硅谷_电商数仓-ADS层-补贴率统计
  • 188.尚硅谷_电商数仓-ADS层-数据装载
  • 189.尚硅谷_电商数仓-报表数据导出-DataX
  • 190.尚硅谷_电商数仓-全流程调度-DS-核心架构
  • 191.尚硅谷_电商数仓-全流程调度-DS-部署模式及要求
  • 192.尚硅谷_电商数仓-全流程调度-DS-部署-数据库初始化
  • 193.尚硅谷_电商数仓-全流程调度-DS-部署-一键部署
  • 194.尚硅谷_电商数仓-全流程调度-DS-使用-安全中心
  • 195.尚硅谷_电商数仓-全流程调度-DS-使用-入门
  • 196.尚硅谷_电商数仓-全流程调度-DS-使用-进阶
  • 197.尚硅谷_电商数仓-全流程调度-集群模式&单机模式
  • 198.尚硅谷_电商数仓-可视化-Suserset-安装部署
  • 199.尚硅谷_电商数仓-可视化-Suserset-完整流程
  • 200.尚硅谷_电商数仓-可视化-Suserset-完结