尚硅谷Java培训

电商数仓2.0

视频介绍

本套视频教程从数据仓库的架构搭建入手,穿插数据仓库的重要理论知识,包括数仓建模、范式理论和同步策略等,让你知其然更知其所以然。

内容立足数据仓库项目,循序渐进,强调基础,注重应用,涵盖数据仓库建模理论介绍、电商业务理论介绍、数据抽取同步策略理论介绍、数仓分层详解、电商需求详解、使用Azkaban实现作业周期性执行、三种即席查询系统探讨研究、Superset实现数据大屏展示等。讲解遵循真实项目开发的全流程:分析项目需求、敲定项目架构、打通数据流、实现具体分析需求、进行可视化展示、完善数据治理方面功能……

教程从服务器选型到需求实现思路讲解、框架安装、工具使用、内核介绍,内容无所不包,技术点覆盖广泛。整套项目的业务指标近100个、Shell脚本40多个、用户行为原始表11张,业务原始表24张、数仓总表近100张!Superset、Kylin、Druid、Presto、Atlas等前沿技术打包讲解,紧跟技术潮流。

本套教程适合具有一定编程基础的大数据初学者,以及想深入了解数据仓库理论知识与搭建实现的大数据从业人员,跟随本套教程学习可以完整搭建一套数据仓库,获得从0到1搭建数据仓库的各种技能点!

视频目录 选集

  • 01.尚硅谷_课程介绍
  • 02.尚硅谷_数仓概念-业务数据
  • 03.尚硅谷_数仓概念-用户行为数据
  • 04.尚硅谷_数仓概念-数仓概述
  • 05.尚硅谷_数仓架构-项目需求
  • 06.尚硅谷_数仓架构-技术选型考虑因素
  • 07.尚硅谷_数仓架构-技术选型
  • 08.尚硅谷_数仓架构-数仓架构
  • 09.尚硅谷_数仓架构-框架版本选型
  • 10.尚硅谷_数仓架构-服务器选型
  • 11.尚硅谷_数仓架构-集群规模
  • 12.尚硅谷_数仓架构-集群具体规划
  • 13.尚硅谷_用户行为采集-公共字段格式
  • 14.尚硅谷_用户行为采集-事件字段格式
  • 15.尚硅谷_用户行为采集-事件日志(上)
  • 16.尚硅谷_用户行为采集-事件日志(下)
  • 17.尚硅谷_用户行为采集-启动日志
  • 18.尚硅谷_用户行为采集-日志生成-分析
  • 19.尚硅谷_用户行为采集-日志生成-代码说明
  • 20.尚硅谷_用户行为采集-日志生成-LogBack配置
  • 21.尚硅谷_用户行为采集-虚拟机克隆
  • 22.尚硅谷_用户行为采集-虚拟机配置
  • 23.尚硅谷_用户行为采集-JDK安装
  • 24.尚硅谷_用户行为采集-Hadoop安装及配置前准备
  • 25.尚硅谷_用户行为采集-Hadoop集群配置
  • 26.尚硅谷_用户行为采集-项目经验-HDFS多目录
  • 27.尚硅谷_用户行为采集-项目经验-节点间数据均衡
  • 28.尚硅谷_用户行为采集-项目经验-配置LZO压缩
  • 29.尚硅谷_用户行为采集-项目经验-LZO创建索引
  • 30.尚硅谷_用户行为采集-项目经验-基准测试
  • 31.尚硅谷_用户行为采集-项目经验-HDFS参数调优
  • 32.尚硅谷_用户行为采集-项目经验-Yarn参数调优
  • 33.尚硅谷_用户行为采集-Zookeeper安装
  • 34.尚硅谷_用户行为采集-Zookeeper启动停止脚本
  • 35.尚硅谷_用户行为采集-项目经验-登录式Shell和非登录式Shell
  • 36.尚硅谷_用户行为采集-日志生成(上)
  • 37.尚硅谷_用户行为采集-日志生成(下)
  • 38.尚硅谷_用户行为采集-集群日志生成启动脚本
  • 39.尚硅谷_用户行为采集-集群时间同步修改脚本
  • 40.尚硅谷_用户行为采集-集群所有进程查看脚本
  • 41.尚硅谷_用户行为采集-Flume安装
  • 42.尚硅谷_用户行为采集-项目经验-Flume组成
  • 43.尚硅谷_用户行为采集-Flume采集配置(上)
  • 44.尚硅谷_用户行为采集-Flume采集配置(下)
  • 45.尚硅谷_用户行为采集-Flume拦截器-回顾
  • 46.尚硅谷_用户行为采集-Flume拦截器-单Event
  • 47.尚硅谷_用户行为采集-Flume拦截器-启动日志校验
  • 48.尚硅谷_用户行为采集-Flume拦截器-事件日志校验
  • 49.尚硅谷_用户行为采集-Flume拦截器-多Event
  • 50.尚硅谷_用户行为采集-Flume拦截器-分类型拦截器
  • 51.尚硅谷_用户行为采集-Flume手动启动
  • 52.尚硅谷_用户行为采集-Flume脚本启动
  • 53.尚硅谷_用户行为采集-Flume脚本停止
  • 54.尚硅谷_用户行为采集-Kafka安装
  • 55.尚硅谷_用户行为采集-Kafka启动停止脚本
  • 56.尚硅谷_用户行为采集-Flume-Kafka通道打通
  • 57.尚硅谷_用户行为采集-项目经验-Kafka压力测试
  • 58.尚硅谷_用户行为采集-项目经验-Kafka机器数量计算
  • 59.尚硅谷_用户行为采集-消费Flume-组件选型
  • 60.尚硅谷_用户行为采集-消费Flume-配置文件说明
  • 61.尚硅谷_用户行为采集-消费Flume-启动脚本小文件演示
  • 62.尚硅谷_用户行为采集-消费Flume-小文件解决
  • 63.尚硅谷_用户行为采集-项目经验-内存优化
  • 64.尚硅谷_用户行为采集-采集通道脚本
  • 65.尚硅谷_用户行为采集-生成测试数据
  • 66.尚硅谷_业务数据采集-简介
  • 67.尚硅谷_业务数据采集-电商理论-电商业务流程
  • 68.尚硅谷_业务数据采集-电商理论-Spu-Sku
  • 69.尚硅谷_业务数据采集-电商理论-电商表结构
  • 70.尚硅谷_业务数据采集-电商理论-电商表详解
  • 71.尚硅谷_业务数据采集-MySQL安装
  • 72.尚硅谷_业务数据采集-Sqoop官网说明
  • 73.尚硅谷_业务数据采集-Sqoop安装
  • 74.尚硅谷_业务数据采集-MySQL中初始化表
  • 75.尚硅谷_业务数据采集-业务数据生成-配置文件说明
  • 76.尚硅谷_业务数据采集-生成2天业务数据
  • 77.尚硅谷_业务数据采集-同步策略(上)
  • 78.尚硅谷_业务数据采集-同步策略(下)
  • 79.尚硅谷_业务数据采集-分析表同步策略
  • 80.尚硅谷_业务数据采集-脚本中前一天时间获取
  • 81.尚硅谷_业务数据采集-Sqoop参数说明
  • 82.尚硅谷_业务数据采集-Sqoop参数说明-回顾
  • 83.尚硅谷_业务数据采集-Sqoop脚本-具体表同步策略
  • 84.尚硅谷_业务数据采集-Sqoop脚本完成
  • 85.尚硅谷_业务数据采集-Sqoop脚本执行
  • 86.尚硅谷_业务数据采集-20200310数据导入过程
  • 87.尚硅谷_业务数据采集-20200311数据导入过程
  • 88.尚硅谷_业务数据采集-数据导入成功后查看
  • 89.尚硅谷_业务数据采集-Hive安装
  • 90.尚硅谷_业务数据采集-Tez框架原理
  • 91.尚硅谷_业务数据采集-Tez解压安装
  • 92.尚硅谷_业务数据采集-Tez集成Hive
  • 93.尚硅谷_业务数据采集-Tez注意事项
  • 94.尚硅谷_数仓理论-课程介绍
  • 95.尚硅谷_数仓理论-数仓分层及好处(上)
  • 96.尚硅谷_数仓理论-数仓分层及好处(下)
  • 97.尚硅谷_数仓理论-数据集市与数据仓库概念
  • 98.尚硅谷_数仓理论-命名规范
  • 99.尚硅谷_数仓理论-范式概念
  • 100.尚硅谷_数仓理论-函数依赖
  • 100.尚硅谷_数仓理论-函数依赖
  • 101.尚硅谷_数仓理论-三范式
  • 102.尚硅谷_数仓理论-关系建模和维度建模
  • 103.尚硅谷_数仓理论-维度表
  • 104.尚硅谷_数仓理论-事实表
  • 105.尚硅谷_数仓建模-ODS层.mp4
  • 106.尚硅谷_数仓建模-DWD层-选择业务过程.mp4
  • 107.尚硅谷_数仓建模-DWD层-声明粒度
  • 108.尚硅谷_数仓建模-DWD层-确定维度.mp4
  • 109.尚硅谷_数仓建模-DWD层-确定事实.mp4
  • 110.尚硅谷_数仓建模-DWS层-DWT层-ADS层.mp4
  • 111.尚硅谷_数仓建模-总结
  • 112.尚硅谷_数仓搭建-ODS层-要做哪些事
  • 113.尚硅谷_数仓搭建-ODS层-创建数据库
  • 114.尚硅谷_数仓搭建-ODS层-启动日志处理分析
  • 115.尚硅谷_数仓搭建-ODS层-启动日志处理实现
  • 116.尚硅谷_数仓搭建-ODS层-事件日志处理
  • 117.尚硅谷_数仓搭建-ODS层-单引号和双引号区别
  • 118.尚硅谷_数仓搭建-ODS层-用户行为数据脚本编写
  • 119.尚硅谷_数仓搭建-ODS层-脚本问题解决
  • 120.尚硅谷_数仓搭建-ODS层-业务数据创建表
  • 121.尚硅谷_数仓搭建-ODS层-业务数据脚本编写
  • 122.尚硅谷_数仓搭建-DWD层-启动日志表
  • 123.尚硅谷_数仓搭建-DWD层-启动日志表脚本
  • 124.尚硅谷_数仓搭建-DWD层-事件日志表解析分析
  • 125.尚硅谷_数仓搭建-DWD层-事件日志表建表
  • 126.尚硅谷_数仓搭建-DWD层-自定义UDF函数分析
  • 127.尚硅谷_数仓搭建-DWD层-自定义UDF函数-创建工程
  • 128.尚硅谷_数仓搭建-DWD层-自定义UDF函数-代码编写
  • 129.尚硅谷_数仓搭建-DWD层-自定义UDTF函数-分析
  • 130.尚硅谷_数仓搭建-DWD层-自定义UDTF函数-实现(上)
  • 131.尚硅谷_数仓搭建-DWD层-自定义UDTF函数-实现(下)
  • 132.尚硅谷_数仓搭建-DWD层-解析事件日志
  • 133.尚硅谷_数仓搭建-DWD层-解析脚本
  • 134.尚硅谷_数仓搭建-DWD层-事件日志(
  • 135.尚硅谷_数仓搭建-DWD层-事件日志脚本
  • 136.尚硅谷_数仓搭建-DWD层-业务-商品维度(上)
  • 137.尚硅谷_数仓搭建-DWD层-业务-商品维度(下)
  • 138.尚硅谷_数仓搭建-DWD层-业务-优惠卷维度
  • 139.尚硅谷_数仓搭建-DWD层-业务-活动维度
  • 140.尚硅谷_数仓搭建-DWD层-回顾
  • 141.尚硅谷_数仓搭建-DWD层-地区维度
  • 142.尚硅谷_数仓搭建-DWD层-时间维度
  • 143.尚硅谷_数仓搭建-DWD层-订单明细事实表
  • 144.尚硅谷_数仓搭建-DWD层-支付事实表
  • 145.尚硅谷_数仓搭建-DWD层-退款事实表
  • 146.尚硅谷_数仓搭建-DWD层-评论事实表
  • 147.尚硅谷_数仓搭建-DWD层-加购事实表
  • 148.尚硅谷_数仓搭建-DWD层-收藏事实表
  • 149.尚硅谷_数仓搭建-DWD层-优惠卷事实表分析
  • 150.尚硅谷_数仓搭建-DWD层-优惠卷事实表完成
  • 151.尚硅谷_数仓搭建-DWD层-基本函数
  • 152.尚硅谷_数仓搭建-DWD层-订单事实表分析
  • 153.尚硅谷_数仓搭建-DWD层-订单事实表完成
  • 154.尚硅谷_数仓搭建-DWD层-拉链表理论
  • 155.尚硅谷_数仓搭建-DWD层-拉链表实操
  • 156.尚硅谷_数仓搭建-DWD层-脚本编写
  • 157.尚硅谷_数仓搭建-DWS层-业务术语(上)
  • 158.尚硅谷_数仓搭建-DWS层-业务术语(下)
  • 159.尚硅谷_数仓搭建-DWS层-基本函数
  • 160.尚硅谷_数仓搭建-DWS层-DWS-DWT-ADS介绍
  • 161.尚硅谷_数仓搭建-DWS层-每日设备行为宽表
  • 162.尚硅谷_数仓搭建-DWT层-设备主题-分析
  • 163.尚硅谷_数仓搭建-DWT层-设备主题-实现
  • 164.尚硅谷_数仓搭建-DWS层-会员行为宽表
  • 165.尚硅谷_数仓搭建-DWT层-会员主题宽表
  • 166.尚硅谷_数仓搭建-DWS层-商品主题宽表
  • 167.尚硅谷_数仓搭建-DWT层-商品主题
  • 168.尚硅谷_数仓搭建-DWS层-优惠卷及活动宽表
  • 169.尚硅谷_数仓搭建-DWS层-每日购买行为宽表
  • 170.尚硅谷_数仓搭建-数仓架构回顾
  • 171.尚硅谷_数仓搭建-ADS-活跃设备数
  • 172.尚硅谷_数仓搭建-ADS-新增设备数
  • 173.尚硅谷_数仓搭建-ADS-沉默用户
  • 174.尚硅谷_数仓搭建-ADS-活跃设备讲解
  • 175.尚硅谷_数仓搭建-ADS-新增设备讲解
  • 176.尚硅谷_数仓搭建-ADS-沉默设备讲解
  • 177.尚硅谷_数仓搭建-ADS-本周回流设备需求分析
  • 178.尚硅谷_数仓搭建-ADS-流失设备需求分析
  • 179.尚硅谷_数仓搭建-ADS-留存率需求分析
  • 180.尚硅谷_数仓搭建-ADS-连续需求分析
  • 181.尚硅谷_数仓搭建-ADS-dwt-sku-topic-纠错
  • 182.尚硅谷_数仓搭建-ADS-本周回流用户
  • 183.尚硅谷_数仓搭建-ADS-流失用户
  • 184.尚硅谷_数仓搭建-ADS-留存率-思路分析
  • 185.尚硅谷_数仓搭建-ADS-留存率-编码
  • 186.尚硅谷_数仓搭建-ADS-连续三周活跃
  • 187.尚硅谷_数仓搭建-ADS-本周回流-补充
  • 188.尚硅谷_数仓搭建-ADS-最近7天连续3天-思路一
  • 189.尚硅谷_数仓搭建-ADS-最近7天连续3天-思路二
  • 190.尚硅谷_数仓搭建-ADS-会员主题信息-需求分析
  • 191.尚硅谷_数仓搭建-ADS-漏斗分析-需求分析
  • 192.尚硅谷_数仓搭建-ADS-商品销量TopN-需求分析
  • 193.尚硅谷_数仓搭建-ADS-商品收藏TopN-需求分析
  • 194.尚硅谷_数仓搭建-ADS-会员信息统计
  • 195.尚硅谷_数仓搭建-ADS-漏斗分析
  • 196.尚硅谷_数仓搭建-ADS-商品个数统计
  • 197.尚硅谷_数仓搭建-ADS-销量-收藏-TopN
  • 198.尚硅谷_数仓搭建-ADS-商品加购-需求分析
  • 199.尚硅谷_数仓搭建-ADS-商品退款率-需求分析
  • 200.尚硅谷_数仓搭建-ADS-商品差评率-需求分析
  • 201.尚硅谷_数仓搭建-ADS-下单数目统计-需求分析
  • 202.尚硅谷_数仓搭建-ADS-支付信息统计-需求分析
  • 203.尚硅谷_数仓搭建-ADS-复购率-需求分析
  • 204.尚硅谷_数仓搭建-ADS-画图软件
  • 205.尚硅谷_数仓搭建-ADS-商品加购排行
  • 206.尚硅谷_数仓搭建-ADS-商品退款率排行
  • 207.尚硅谷_数仓搭建-ADS-商品差评率排行
  • 208.尚硅谷_数仓搭建-ADS-下单信息统计
  • 209.尚硅谷_数仓搭建-ADS-支付信息统计
  • 210.尚硅谷_数仓搭建-ADS-复购率
  • 211.尚硅谷_任务调度-Azkaban-工作流程分析
  • 212.尚硅谷_任务调度-Azkaban-部署-准备
  • 213.尚硅谷_任务调度-Azkaban-部署-配置
  • 214.尚硅谷_任务调度-Azkaban-MySQL建库建表
  • 215.尚硅谷_任务调度-Azkaban-Sqoop导出脚本
  • 216.尚硅谷_任务调度-Azkaban-数据准备
  • 217.尚硅谷_任务调度-Azkaban-Job文件
  • 218.尚硅谷_任务调度-Azkaban-Shell脚本准备
  • 219.尚硅谷_任务调度-Azkaban-定时调度
  • 220.尚硅谷_任务调度-Azkaban-调度结果
  • 221.尚硅谷_任务调度-Azkaban-拉链表复习
  • 222.尚硅谷_任务调度-Azkaban-商品主题宽表纠错
  • 223.尚硅谷_任务调度-Azkaban-任务重跑问题
  • 224.尚硅谷_数据可视化-Superset
  • 225.尚硅谷_数据可视化-Superset-miniconda介绍
  • 226.尚硅谷_数据可视化-Superset-miniconda安装
  • 227.尚硅谷_数据可视化-Superset-Python环境创建
  • 228.尚硅谷_数据可视化-Superset-安装
  • 229.尚硅谷_数据可视化-Superset-配置
  • 230.尚硅谷_数据可视化-Superset-启停
  • 231.尚硅谷_数据可视化-Superset-对接MySQL安装依赖
  • 232.尚硅谷_数据可视化-Superset-对接MySQL数据源配置
  • 233.尚硅谷_数据可视化-Superset-对接MySQL配置仪表盘-图形
  • 234.尚硅谷_数据可视化-Superset-对接MySQL配置仪表盘
  • 235.尚硅谷_数据可视化-Superset-补充
  • 236.尚硅谷_即席查询-概述
  • 237.尚硅谷_即席查询-Kylin-概述
  • 238.尚硅谷_即席查询-Kylin-前置知识
  • 239.尚硅谷_即席查询-Kylin-架构-特点
  • 240.尚硅谷_即席查询-Kylin-部署-HBase
  • 241.尚硅谷_即席查询-Kylin-部署-解压
  • 242.尚硅谷_即席查询-Kylin-部署-环境变量
  • 243.尚硅谷_即席查询-Kylin-部署-启动准备
  • 244.尚硅谷_即席查询-Kylin-部署-启动
  • 245.尚硅谷_即席查询-Kylin-部署-启动错误-解决方案
  • 246.尚硅谷_即席查询-Kylin-使用-定义model
  • 247.尚硅谷_即席查询-Kylin-使用-定义cube
  • 248.尚硅谷_即席查询-Kylin-使用-重复key问题解决
  • 249.尚硅谷_即席查询-Kylin-Hadoop历史服务器问题原因
  • 250.尚硅谷_即席查询-Kylin-查询
  • 251.尚硅谷_即席查询-Kylin-定时调度脚本
  • 252.尚硅谷_即席查询-Kylin-cube存储原理
  • 253.尚硅谷_即席查询-Kylin-cube构建原理
  • 254.尚硅谷_即席查询-Kylin-cube-优化-聚合组
  • 255.尚硅谷_即席查询-Kylin-cube-优化-衍生维度
  • 256.尚硅谷_即席查询-Kylin-cube-优化-Rowkey设计
  • 257.尚硅谷_即席查询-Kylin-cube-优化-并发粒度优化
  • 258.尚硅谷_即席查询-Kylin-cube-BI对接-JDBC
  • 259.尚硅谷_即席查询-Kylin-cube-BI对接-Zeppelin
  • 260.尚硅谷_即席查询-Presto-概念
  • 261.尚硅谷_即席查询-Presto-部署-Server
  • 262.尚硅谷_即席查询-Presto-启动-Server
  • 263.尚硅谷_即席查询-Presto-部署-命令行客户端
  • 264.尚硅谷_即席查询-Presto-部署-可视化客户端
  • 265.尚硅谷_即席查询-Presto-使用注意事项
  • 266.尚硅谷_即席查询-Druid-概述
  • 267.尚硅谷_即席查询-Druid-对比
  • 268.尚硅谷_即席查询-Druid-架构
  • 269.尚硅谷_即席查询-Druid-数据结构
  • 270.尚硅谷_即席查询-Druid-部署
  • 271.尚硅谷_即席查询-Druid-使用
  • 272.尚硅谷_集群监控-Zabbix-概述
  • 273.尚硅谷_集群监控-Zabbix-架构
  • 274.尚硅谷_集群监控-Zabbix-部署-说明
  • 275.尚硅谷_集群监控-Zabbix-部署-Server节点-准备
  • 276.尚硅谷_集群监控-Zabbix-部署-Server节点-创建用户-建库建表
  • 277.尚硅谷_集群监控-Zabbix-部署-Server节点-编译环境准备
  • 278.尚硅谷_集群监控-Zabbix-部署-Server节点-编译及安装
  • 279.尚硅谷_集群监控-Zabbix-部署-Server节点-配置
  • 280.尚硅谷_集群监控-Zabbix-部署-Server节点-系统服务脚本编写
  • 281.尚硅谷_集群监控-Zabbix-部署-Server节点-web部署
  • 282.尚硅谷_集群监控-Zabbix-部署-Server节点-启动
  • 283.尚硅谷_集群监控-Zabbix-部署-Server节点-web
  • 284.尚硅谷_集群监控-Zabbix-部署-Agent-节点部署
  • 285.尚硅谷_集群监控-Zabbix-使用-术语
  • 286.尚硅谷_集群监控-Zabbix-使用-创建主机
  • 287.尚硅谷_集群监控-Zabbix-使用-创建监控项
  • 288.尚硅谷_集群监控-Zabbix-使用-创建触发器
  • 289.尚硅谷_集群监控-Zabbix-使用-创建动作
  • 290.尚硅谷_集群监控-Zabbix-使用-通知媒介配置
  • 291.尚硅谷_集群监控-Zabbix-使用-全流程测试
  • 292.尚硅谷_集群监控-Zabbix-使用-创建模板
  • 293.尚硅谷_元数据管理-Atlas-课程背景
  • 294.尚硅谷_元数据管理-Atlas-课程介绍
  • 295.尚硅谷_元数据管理-Atlas-架构原理
  • 296.尚硅谷_元数据管理-Atlas-辅助框架安装
  • 297.尚硅谷_元数据管理-Atlas-登录后配置
  • 298.尚硅谷_元数据管理-Atlas-配置并启动
  • 299.尚硅谷_元数据管理-Atlas-执行效果