尚硅谷Java培训

电商数仓3.0

视频介绍

数仓3.0视频教程重磅来袭!3.0版框架版本广泛升级:Hadoop-3.1.3、Hive-3.1.2、Flume-1.9.0、Kafka-2.4.1、Hive计算引擎升级为Spark3.0,用户行为日志重新设计……超大杯294集的满足感,视频、代码、资料、笔记,尽在其中!

本套视频教程从数据仓库的架构搭建入手,实现了数据仓库项目的闭环,从数据采集到数仓建模到数仓应用各种涵盖。主要内容包括:用户行为日志及业务数据库的数据采集、数据仓库中的分层模型及维度建模、企业具体需求实现及可视化展示、即席查询引擎的搭建及使用、集群监控等,从服务器选型到需求实现思路讲解、框架安装、工具使用、内核介绍,内容完整,理论与实践并重,通俗易懂,实现思路清晰明了。

教程适合具有一定编程基础的大数据初学者,以及想深入了解数据仓库理论知识与搭建实现的大数据从业人员,跟随本套教程学习可以完整搭建一套数据仓库,获得从0到1搭建数据仓库的各种技能点!

说明:当下企业中2.0和3.0并存,学习者可以根据需要,选择2.0或3.0来学习。

视频目录 选集

  • 001.尚硅谷_数据仓库-课程介绍
  • 002.尚硅谷_数据仓库-项目概述
  • 003.尚硅谷_项目分析-需求分析
  • 004.尚硅谷_项目分析-技术选型
  • 005.尚硅谷_项目分析-数据流程设计图
  • 006.尚硅谷_项目分析-框架版本选择
  • 007.尚硅谷_项目分析-服务器选型
  • 008.尚硅谷_项目分析-集群规模规划
  • 009.尚硅谷_日志采集-埋点目标数据
  • 010.尚硅谷_日志采集-主流埋点方式(了解)
  • 011.尚硅谷_日志采集-日志数据结构
  • 012.尚硅谷_日志采集-埋点数据上报时机
  • 013.尚硅谷_日志采集-服务器准备
  • 014.尚硅谷_日志采集-阿里云服务器购买
  • 015.尚硅谷_日志采集-阿里云安全组配置
  • 016.尚硅谷_日志采集-阿里云配置升级与关机说明
  • 017.尚硅谷_日志采集-JDK配置及免密配置
  • 018.尚硅谷_日志采集-JDK分发
  • 019.尚硅谷_日志采集-Linux环境变量说明
  • 020.尚硅谷_日志采集-模拟生成日志
  • 021.尚硅谷_日志采集-模拟日志脚本
  • 022.尚硅谷_日志采集-Hadoop部署之环境变量配置
  • 023.尚硅谷_日志采集-Hadoop部署之核心配置
  • 024.尚硅谷_日志采集-Hadoop部署之其余配置
  • 025.尚硅谷_日志采集-Hadoop部署之历史服务器和日志聚集配置
  • 026.尚硅谷_日志采集-Hadoop部署之启动及测试
  • 027.尚硅谷_日志采集-Hadoop项目经验之多目录存储
  • 028.尚硅谷_日志采集-Hadoop项目经验之数据均衡
  • 029.尚硅谷_日志采集-Hadoop项目经验之LZO压缩配置
  • 030.尚硅谷_日志采集-Hadoop项目经验之LZO压缩测试
  • 031.尚硅谷_日志采集-Hadoop项目经验之LZO切片说明
  • 032.尚硅谷_日志采集-Hadoop项目经验之参数调优
  • 033.尚硅谷_日志采集-Hadoop项目经验之基准测试
  • 034.尚硅谷_日志采集-通道设计规划
  • 035.尚硅谷_日志采集-Zookeeper部署
  • 036.尚硅谷_日志采集-Kafka安装
  • 037.尚硅谷_日志采集-Kafka常用脚本
  • 038.尚硅谷_日志采集-Kafka常用脚本补充
  • 039.尚硅谷_日志采集-Kafka压力测试
  • 040.尚硅谷_日志采集-Kafka机器数量与分区数量计算
  • 041.尚硅谷_日志采集-Flume安装
  • 042.尚硅谷_日志采集-日志采集配置方案对比
  • 043.尚硅谷_日志采集-监控日志Flume组件选择
  • 044.尚硅谷_日志采集-监控日志Flume配置文件
  • 045.尚硅谷_日志采集-监控日志Flume拦截器编码
  • 046.尚硅谷_日志采集-监控日志Flume测试
  • 047.尚硅谷_日志采集-Flume启停脚本
  • 048.尚硅谷_日志采集-消费KafkaFlume功能分析
  • 049.尚硅谷_日志采集-消费KafkaFlume中KafkaChannel注意事项
  • 050.尚硅谷_日志采集-消费KafkaFlume配置文件
  • 051.尚硅谷_日志采集-消费KafkaFlume时间戳拦截器
  • 052.尚硅谷_日志采集-消费KafkaFlume测试
  • 053.尚硅谷_日志采集-消费KafkaFlume启停脚本
  • 054.尚硅谷_日志采集-消费KafkaFlume内存调整
  • 055.尚硅谷_日志采集-小结
  • 056.尚硅谷_业务数据采集-电商系统概述
  • 057.尚硅谷_业务数据采集-电商系统基本概念
  • 058.尚硅谷_业务数据采集-电商系统表结构说明
  • 059.尚硅谷_业务数据采集-电商系统核心表概述
  • 060.尚硅谷_业务数据采集-电商系统表结构讲解
  • 061.尚硅谷_业务数据采集-电商系统表字段说明
  • 062.尚硅谷_业务数据采集-模拟数据生成之mysql部署
  • 063.尚硅谷_业务数据采集-模拟数据生成之建表
  • 064.尚硅谷_业务数据采集-模拟数据生成之EZDM使用简明介绍
  • 065.尚硅谷_业务数据采集-模拟数据生成之测试
  • 066.尚硅谷_业务数据采集-Sqoop概述
  • 067.尚硅谷_业务数据采集-Sqoop安装
  • 068.尚硅谷_业务数据采集-Sqoop测试
  • 069.尚硅谷_业务数据采集-Sqoop基础使用
  • 070.尚硅谷_业务数据采集-Sqoop使用之SQL形式导入
  • 071.尚硅谷_业务数据采集-数据同步策略
  • 072.尚硅谷_业务数据采集-业务数据表同步策略划分
  • 073.尚硅谷_业务数据采集-Sqoop导入脚本之基础说明
  • 074.尚硅谷_业务数据采集-Sqoop导入脚本之同步策略说明
  • 075.尚硅谷_业务数据采集-Sqoop导入脚本之测试
  • 076.尚硅谷_业务数据采集-Sqoop导入脚本之存在问题分析
  • 077.尚硅谷_业务数据采集-Sqoop导入脚本之数据验证
  • 078.尚硅谷_数仓建模理论-分层概述
  • 079.尚硅谷_数仓建模理论-数据集市
  • 080.尚硅谷_数仓建模理论-命名规范
  • 081.尚硅谷_数仓建模理论-范式理论之概述
  • 082.尚硅谷_数仓建模理论-范式理论之函数依赖
  • 083.尚硅谷_数仓建模理论-范式理论之三范式
  • 084.尚硅谷_数仓建模理论-OLTP与OLAP概述
  • 085.尚硅谷_数仓建模理论-关系建模与维度建模
  • 086.尚硅谷_数仓建模理论-维度模型之事实表与维度表
  • 087.尚硅谷_数仓建模理论-维度模型之事实表分类
  • 088.尚硅谷_数仓建模理论-维度模型之模型分类
  • 089.尚硅谷_数仓建模理论-数仓分层模型之整体概述
  • 090.尚硅谷_数仓建模理论-数仓分层模型之ODS层
  • 091.尚硅谷_数仓建模理论-数仓分层模型之DWD层
  • 092.尚硅谷_数仓建模理论-数仓分层模型之DWD层维度建模演示
  • 093.尚硅谷_数仓建模理论-数仓分层模型之DWS层与DWT层
  • 094.尚硅谷_数仓建模理论-数仓分层模型之建模驱动
  • 095.尚硅谷_数仓环境准备-Hive安装
  • 096.尚硅谷_数仓环境准备-Hive引擎说明
  • 097.尚硅谷_数仓环境准备-框架兼容性问题说明
  • 098.尚硅谷_数仓环境准备-HiveOnSpark配置
  • 099.尚硅谷_数仓环境准备-HiveOnSpark测试
  • 100.尚硅谷_数仓环境准备-Yarn容量调度器之并发度问题演示
  • 101.尚硅谷_数仓环境准备-Yarn容量调度器之多队列配置
  • 102.尚硅谷_数仓环境准备-Yarn容量调度器之提交任务指定队列
  • 103.尚硅谷_数仓环境准备-DataGrip使用介绍
  • 104.尚硅谷_数仓环境准备-新数据准备
  • 105.尚硅谷_数仓搭建-ODS层日志表之建表语句
  • 106.尚硅谷_数仓搭建-ODS层日志表之数据装载
  • 107.尚硅谷_数仓搭建-ODS层日志表之装载脚本
  • 108.尚硅谷_数仓搭建-扩展之Shell脚本引号总结
  • 109.尚硅谷_数仓搭建-ODS层业务表之建表语句
  • 110.尚硅谷_数仓搭建-ODS层业务表之装载脚本
  • 111.尚硅谷_数仓搭建-DWD层日志表之数据结构回顾
  • 112.尚硅谷_数仓搭建-DWD层日志表之Hive解析JSON函数说明
  • 113.尚硅谷_数仓搭建-DWD层日志表之日志解析思路分析
  • 114.尚硅谷_数仓搭建-DWD层日志表之启动表建表语句
  • 115.尚硅谷_数仓搭建-DWD层日志表之启动表数据装载
  • 116.尚硅谷_数仓搭建-DWD层日志表之页面表
  • 117.尚硅谷_数仓搭建-DWD层日志表之动作表解析思路
  • 118.尚硅谷_数仓搭建-回顾之explode函数使用说明
  • 119.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数设计
  • 120.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数说明
  • 121.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数编写(一)
  • 122.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数编写(二)
  • 123.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数注意事项
  • 124.尚硅谷_数仓搭建-DWD层日志表之动作表UDTF函数创建
  • 125.尚硅谷_数仓搭建-DWD层日志表之动作表数据装载
  • 126.尚硅谷_数仓搭建-DWD层日志表之曝光表
  • 127.尚硅谷_数仓搭建-DWD层日志表之错误表
  • 128.尚硅谷_数仓搭建-DWD层数据装载之lzo索引文件识别问题
  • 129.尚硅谷_数仓搭建-DWD层日志表之数据装载脚本
  • 130.尚硅谷_数仓搭建-DWD层业务表之维度模型概述
  • 131.尚硅谷_数仓搭建-DWD层业务表之商品维度表
  • 132.尚硅谷_数仓搭建-DWD层业务表之优惠券维度表
  • 133.尚硅谷_数仓搭建-DWD层业务表之活动维度表
  • 134.尚硅谷_数仓搭建-DWD层业务表之地区维度表
  • 135.尚硅谷_数仓搭建-DWD层业务表之时间维度表
  • 136.尚硅谷_数仓搭建-DWD层业务表之支付事实表
  • 137.尚硅谷_数仓搭建-DWD层业务表之退款事实表
  • 138.尚硅谷_数仓搭建-DWD层业务表之评价事实表
  • 139.尚硅谷_数仓搭建-DWD层业务表之订单明细实表建表语句
  • 140.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(一)
  • 141.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(二)
  • 142.尚硅谷_数仓搭建-DWD层业务表之订单明细事实表数据装载(三)
  • 143.尚硅谷_数仓搭建-DWD层业务表之加购与收藏事实表
  • 144.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表分析
  • 145.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表分区规划
  • 146.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表数据装载思路
  • 147.尚硅谷_数仓搭建-DWD层业务表之优惠券领用事实表数据装载
  • 148.尚硅谷_数仓搭建-DWD层业务表之订单事实表建表语句
  • 149.尚硅谷_数仓搭建-DWD层业务表之订单事实表数据装载
  • 150.尚硅谷_数仓搭建-DWD层业务表之拉链表概述
  • 151.尚硅谷_数仓搭建-DWD层业务表之拉链表制作过程概述
  • 152.尚硅谷_数仓搭建-DWD层业务表之用户维度表(一)
  • 153.尚硅谷_数仓搭建-DWD层业务表之用户维度表(二)
  • 154.尚硅谷_数仓搭建-DWD层业务表之数据装载脚本
  • 155.尚硅谷_数仓搭建-DWS&DWT层之业务术语
  • 156.尚硅谷_数仓搭建-DWS&DWT层之日期函数
  • 157.尚硅谷_数仓搭建-DWS&DWT层之复杂数据类型使用说明
  • 158.尚硅谷_数仓搭建-DWS层之会员主题每日汇总表建表语句
  • 159.尚硅谷_数仓搭建-DWS层之会员主题每日汇总表数据装载
  • 160.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表建表语句
  • 161.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载思路分析
  • 162.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载(一)
  • 163.尚硅谷_数仓搭建-DWT层之会员主题累积汇总表数据装载(二)
  • 164.尚硅谷_数仓搭建-DWS层之设备主题每日汇总表建表语句
  • 165.尚硅谷_数仓搭建-DWS层之设备主题每日汇总表数据装载
  • 166.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表建表语句
  • 167.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表初次装载说明
  • 168.尚硅谷_数仓搭建-DWT层之设备主题累积汇总表数据装载
  • 169.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表建表语句
  • 170.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(一)
  • 171.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(二)
  • 172.尚硅谷_数仓搭建-DWS层之商品主题每日汇总表数据装载(二)
  • 173.尚硅谷_数仓搭建-DWT层之商品主题累积汇总表
  • 174.尚硅谷_数仓搭建-DWS&DWT层之活动主题汇总表
  • 175.尚硅谷_数仓搭建-DWS&DWT层之地区主题汇总表
  • 176.尚硅谷_数仓搭建-DWS&DWT层之数据装载脚本
  • 177.尚硅谷_数仓需求-设备主题之活跃设备数
  • 178.尚硅谷_数仓需求-设备主题之新增&沉默&流失需求说明
  • 179.尚硅谷_数仓需求-设备主题之新增设备数需求讲解
  • 180.尚硅谷_数仓需求-设备主题之沉默用户数需求讲解
  • 181.尚硅谷_数仓需求-设备主题之流失用户数需求讲解
  • 182.尚硅谷_数仓需求-设备主题之留存率需求说明
  • 183.尚硅谷_数仓需求-设备主题之回流用户数需求说明(一)
  • 184.尚硅谷_数仓需求-设备主题之回流用户数需求说明(二)
  • 185.尚硅谷_数仓需求-设备主题之最近三周连续活跃用户数需求说明
  • 186.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求说明
  • 187.尚硅谷_数仓需求-设备主题之连续三周活跃需求讲解(思路一)
  • 188.尚硅谷_数仓需求-设备主题之连续三周活跃需求讲解(思路二)
  • 189.尚硅谷_数仓需求-设备主题之回流用户数需求讲解
  • 190.尚硅谷_数仓需求-设备主题之留存率需求讲解(思路一)
  • 191.尚硅谷_数仓需求-设备主题之留存率需求讲解(思路二)
  • 192.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求讲解(思路一)
  • 193.尚硅谷_数仓需求-设备主题之七天内连续三天活跃需求讲解(思路二)
  • 194.尚硅谷_数仓需求-会员主题之会员信息统计需求说明
  • 195.尚硅谷_数仓需求-会员主题之漏斗分析需求说明
  • 196.尚硅谷_数仓需求-商品主题之商品个数需求说明
  • 197.尚硅谷_数仓需求-会员主题之会员信息统计需求讲解
  • 198.尚硅谷_数仓需求-会员主题之漏斗分析需求讲解(思路一)
  • 199.尚硅谷_数仓需求-会员主题之漏斗分析需求讲解(思路二)
  • 200.尚硅谷_数仓需求-商品主题之商品个数需求讲解
  • 201.尚硅谷_数仓需求-商品主题之全局TopN需求说明
  • 202.尚硅谷_数仓需求-商品主题之分组TopN需求说明
  • 203.尚硅谷_数仓需求-商品主题之销量排行需求讲解
  • 204.尚硅谷_数仓需求-商品主题之退款率排行需求讲解
  • 205.尚硅谷_数仓需求-商品主题之差评率排行需求讲解
  • 206.尚硅谷_数仓需求-商品主题之分组TopN需求讲解
  • 207.尚硅谷_数仓需求-营销主题之下单&支付统计需求说明
  • 208.尚硅谷_数仓需求-营销主题之品怕复购率需求说明
  • 209.尚硅谷_数仓需求-营销主题之下单统计需求讲解
  • 210.尚硅谷_数仓需求-营销主题之支付统计需求讲解
  • 211.尚硅谷_数仓需求-营销主题之复购率需求讲解(思路一)
  • 212.尚硅谷_数仓需求-营销主题之复购率需求讲解(思路二)
  • 213.尚硅谷_数仓需求-ADS层数据导入脚本
  • 214.尚硅谷_全流程调度-工作流程概述
  • 215.尚硅谷_全流程调度-调度系统概述
  • 216.尚硅谷_全流程调度-Azkaban部署模式概述
  • 217.尚硅谷_全流程调度-Azkaban安装之安装包准备
  • 218.尚硅谷_全流程调度-Azkaban安装之数据库准备
  • 219.尚硅谷_全流程调度-Azkaban安装之Exec部署
  • 220.尚硅谷_全流程调度-Azkaban安装之Web部署
  • 221.尚硅谷_全流程调度-Azkaban使用之入门案例
  • 222.尚硅谷_全流程调度-Azkaban使用之工作流程配置文件说明
  • 223.尚硅谷_全流程调度-Azkaban使用之Yaml文件格式概述
  • 224.尚硅谷_全流程调度-Azkaban使用之任务依赖配置
  • 225.尚硅谷_全流程调度-Azkaban使用之自动失败重试
  • 226.尚硅谷_全流程调度-Azkaban使用之手动失败重试
  • 227.尚硅谷_全流程调度-Azkaban使用之定时调度
  • 228.尚硅谷_全流程调度-Azkaban使用之邮件配置
  • 229.尚硅谷_全流程调度-Azkaban使用之邮件通知演示
  • 230.尚硅谷_全流程调度-实操之Sqoop导出功能说明
  • 231.尚硅谷_全流程调度-实操之MySQL建库建表
  • 232.尚硅谷_全流程调度-实操之Sqoop导出脚本
  • 233.尚硅谷_全流程调度-实操之新数据准备
  • 234.尚硅谷_全流程调度-实操之Azkaban启停脚本
  • 235.尚硅谷_全流程调度-实操之Azkaban工作流程配置文件编写
  • 236.尚硅谷_全流程调度-实操之Azkaban工作流传参说明
  • 237.尚硅谷_全流程调度-实操之Azkaban全流程调度演示
  • 238.尚硅谷_全流程调度-实操之Azkaban问题总结
  • 239.尚硅谷_数据可视化-概述
  • 240.尚硅谷_数据可视化-Superset概述
  • 241.尚硅谷_数据可视化-Superset安装之Miniconda部署
  • 242.尚硅谷_数据可视化-Superset安装之准备Python3.6环境
  • 243.尚硅谷_数据可视化-Superset安装
  • 244.尚硅谷_数据可视化-Superset安装之初始化
  • 245.尚硅谷_数据可视化-Superset安装之启动
  • 246.尚硅谷_数据可视化-Superset安装之启停脚本
  • 247.尚硅谷_数据可视化-Superset使用之对接数据源
  • 248.尚硅谷_数据可视化-Superset使用之趋势图示例
  • 249.尚硅谷_数据可视化-Superset使用之地图与饼状图示例
  • 250.尚硅谷_数据可视化-Superset使用之编辑仪表盘
  • 251.尚硅谷_即席查询-概述
  • 252.尚硅谷_即席查询-Kylin概述
  • 253.尚硅谷_即席查询-Kylin前置概念
  • 254.尚硅谷_即席查询-Kylin基础架构
  • 255.尚硅谷_即席查询-Kylin特点
  • 256.尚硅谷_即席查询-Kylin安装之HBase部署
  • 257.尚硅谷_即席查询-Kylin安装之环境变量准备
  • 258.尚硅谷_即席查询-Kylin安装之兼容性问题说明
  • 259.尚硅谷_即席查询-Kylin启动
  • 260.尚硅谷_即席查询-Kylin使用之基础用法
  • 261.尚硅谷_即席查询-Kylin使用之维度表重复key问题说明
  • 262.尚硅谷_即席查询-Kylin使用之查询
  • 263.尚硅谷_即席查询-Kylin使用之RestAPI使用概述
  • 264.尚硅谷_即席查询-Kylin使用之每日定时构建脚本
  • 265.尚硅谷_即席查询-Kylin原理之基础概念回顾
  • 266.尚硅谷_即席查询-Kylin原理之Cube存储原理
  • 267.尚硅谷_即席查询-Kylin原理之Cube构建原理
  • 268.尚硅谷_即席查询-Kylin优化之衍生维度
  • 269.尚硅谷_即席查询-Kylin优化之聚合组
  • 270.尚硅谷_即席查询-Kylin优化之Rowkey调整
  • 271.尚硅谷_即席查询-Kylin优化之并发粒度优化
  • 272.尚硅谷_即席查询-KylinBI集成之JDBC
  • 273.尚硅谷_即席查询-KylinBI集成之Zeppelin
  • 274.尚硅谷_即席查询-Presto概述
  • 275.尚硅谷_即席查询-Presto安装之Server部署
  • 276.尚硅谷_即席查询-Presto安装之命令行客户端部署
  • 277.尚硅谷_即席查询-Presto安装之LZO 压缩格式说明
  • 278.尚硅谷_即席查询-Presto安装之可视化客户端部署
  • 279.尚硅谷_即席查询-Presto使用注意事项
  • 280.尚硅谷_集群监控-Zabbix概述
  • 281.尚硅谷_集群监控-Zabbix安装之服务器环境准备
  • 282.尚硅谷_集群监控-Zabbix安装之yum仓库配置
  • 283.尚硅谷_集群监控-Zabbix安装之下载安装
  • 284.尚硅谷_集群监控-Zabbix安装之修改配置文件
  • 285.尚硅谷_集群监控-Zabbix启动
  • 286.尚硅谷_集群监控-Zabbix安装之web配置
  • 287.尚硅谷_集群监控-Zabbix使用之术语
  • 288.尚硅谷_集群监控-Zabbix使用之创建主机
  • 289.尚硅谷_集群监控-Zabbix使用之配置监控项
  • 290.尚硅谷_集群监控-Zabbix使用之配置触发器
  • 291.尚硅谷_集群监控-Zabbix使用之配置报警媒介
  • 292.尚硅谷_集群监控-Zabbix使用之配置动作
  • 293.尚硅谷_集群监控-Zabbix使用之测试
  • 294.尚硅谷_集群监控-Zabbix使用之模板