电商数仓6.0
视频介绍
数据仓库（以下简称数仓）在大数据体系中的重要性不言而喻，是入行大数据的敲门砖，是整个大数据体系的基石。尚硅谷大数据拳头项目：电商离线数仓，经典再度进化，6.0版本携四大升级震撼来袭！
升级一：版本更新！
全部框架版本整体升级，并充分调研框架版本之间的兼容性，提供编译后的源码及安装包，让你学习无后顾之忧。
升级二：讲解更细！
SQL重点知识讲解，均有配图，思路剖析图文并茂，细致入微，更方便理解，带你轻松领悟SQL编写的核心奥义。
升级三：架构更稳！
电商离线数仓项目历经多次迭代，设计堪称数仓经典，更加稳固，适配各种规模类型的企业数仓建设，学习之后可以触类旁通，举一反三。
升级四：理论更扎实！
项目参考阿里巴巴大数据之路的经典数仓理论进行构建，兼容并包大数据领域大神Bill Inmon和Ralph Kimball的经典建模理论，梳理构建出一套完整可实施的数仓构建步骤。经过多年的验证升级，更加扎实可靠。
通过本套教程的学习，你可以掌握数仓建模的各种理论知识，从零开始搭建一套离线数仓系统，掌握主流的大数据相关技术，对数仓的整体构架有一个完整的认识。本套教程的数仓项目与企业真实项目无缝对接，实现需求的思路可直接嫁接至现实工作中，可以为你在大数据开发过程中遇到难题提供更多的解决问题思路。
教程前置知识：掌握Linux服务器使用、Shell指令的常见操作，Hadoop、Flume、Kafka等框架的基本使用，Hive基础SQL语法和常用函数。
视频目录 选集
- 001.教程简介
- 002.项目课程和技术课程的区别
- 003.采集项目和数据仓库项目的区别
- 004.数据库和数据仓库的区别
- 005.数据流转过程-部分
- 006.统计分析的基本步骤
- 007.架构-数据仓库-数据源
- 008.架构-数据采集和数据仓库
- 009.采集-数据分类
- 010.采集-技术选型
- 011.采集-数据流转架构
- 012.采集-数据同步方式
- 013.采集-服务器规划
- 014.采集-数据格式-页面浏览日志
- 015.采集-数据格式-App启动日志
- 016.采集-日志数据采集-数据流转过程
- 017.采集-环境-服务器的安装
- 018.采集-环境-云主机服务的介绍
- 019.采集-环境-服务器的免密登录配置
- 020.采集-环境-JDK的安装
- 021.采集-环境-模拟日志数据的生成
- 022.采集-环境-Hadoop软件的安装
- 023.采集-环境-Flume采集流程的配置-介绍
- 024.采集-环境-Zookeeper软件的安装
- 025.采集-环境-Kafka软件的安装
- 026.采集-环境-Flume软件的安装
- 027.采集-环境-配置Flume采集文件
- 028.采集-采集日志数据到Kafka中
- 029.采集-业务数据和概念的介绍
- 030.采集-MySQL的安装
- 031.采集-数据建模-Ezdml-介绍
- 032.采集-业务数据-介绍-1
- 033.采集-业务数据-介绍-2
- 034.采集-业务数据-介绍-3
- 035.采集-业务数据-介绍-4
- 036.采集-数据采集流转过程-介绍
- 037.采集-Maxwell-采集数据格式
- 038.采集-Maxwell-采集数据的原理
- 039.采集-Maxwell-软件的安装
- 040.采集-Maxwell-数据采集演示
- 041.采集-Maxwell-全量数据同步-Bootstrap
- 042.采集-Maxwell-特殊类型的数据采集-Delete
- 043.采集-将Kafka的数据同步到HDFS的Flume配置
- 044.采集-日志数据的零点漂移问题
- 045.采集-拦截器的代码解析
- 046.采集-完整的日志数据采集流程-演示
- 047.采集-课程内容回顾
- 048.采集-全量数据和增量数据
- 049.采集-全量数据和增量数据采集的软件
- 050.采集-DataX-介绍
- 051.采集-DataX-安装
- 052.采集-DataX-执行原理
- 053.采集-DataX-执行演示-1
- 054.采集-DataX-执行演示-2
- 055.采集-DataX-执行演示-3
- 056.采集-DataX-执行演示-4
- 057.采集-DataX-优化
- 058.采集-全量表的数据同步配置的生成
- 059.采集-全量表的数据同步
- 060.采集-增量表的数据采集-分析
- 061.采集-增量表的数据采集-Maxwell版本的问题
- 062.采集-增量表的数据采集-Maxwell在零点漂移中的问题
- 063.采集-增量表的数据采集-演示
- 064.采集-增量表的数据采集-首日全量数据同步-Bootstrap
- 065.采集-采集通道的启动和关闭脚本
- 066.数仓-介绍
- 067.数仓-内部结构
- 068.数仓-分层结构-ODS
- 069.数仓-分层结构-DWD
- 070.数仓-分层结构-DWS
- 071.数仓-分层结构-ADS
- 072.数仓-分层结构-DIM
- 073.数仓-分层结构-补充
- 074.数仓-学习重点
- 075.数仓-基本概念
- 076.数仓-整体架构
- 077.数仓建模-理论介绍
- 078.数仓建模-ER模型-介绍
- 079.数仓建模-ER模型-对象关系-多对一
- 080.数仓建模-ER模型-对象关系-一对多
- 081.数仓建模-ER模型-对象关系-一对一
- 082.数仓建模-ER模型-对象关系-多对多
- 083.数仓建模-ER模型-范式理论-介绍
- 084.数仓建模-ER模型-范式理论-函数依赖
- 085.数仓建模-ER模型-范式理论-函数依赖的三种分类
- 086.数仓建模-ER模型-范式理论-第一范式
- 087.数仓建模-ER模型-范式理论-第二范式
- 088.数仓建模-ER模型-范式理论-第三范式
- 089.数仓建模-ER模型-优缺点
- 090.数仓建模-维度模型-介绍
- 091.数仓建模-课程内容与回顾
- 092.数仓-分层架构-回顾
- 093.数仓-运行环境-搭建-1
- 094.数仓-运行环境-搭建-2
- 095.数仓-运行环境-搭建-3
- 096.数仓-运行环境-搭建-4
- 097.数仓-开发环境-准备
- 098.数仓-模拟数据生成
- 099.数仓-ODS层-设计要点
- 100.数仓-ODS层-日志表-建表语句-解析
- 101.数仓-课程内容回顾
- 102.数仓-ODS层-日志表-建表-特殊类型-Array
- 103.数仓-ODS层-日志表-建表-特殊类型-Map
- 104.数仓-ODS层-日志表-建表-特殊类型-Struct
- 105.数仓-ODS层-日志表-建表
- 106.数仓-ODS层-日志表-数据装载脚本
- 107.数仓-ODS层-业务表-全量表设计
- 108.数仓-ODS层-业务表-增量表设计
- 109.数仓-ODS层-业务表-数据装载脚本
- 110.数仓-DIM层-设计要点-介绍
- 111.数仓-DIM层-维度建模-维度表介绍
- 112.数仓-DIM层-商品维度表-字段分析
- 113.数仓-DIM层-商品维度表-建表语句
- 114.数仓-DIM层-商品维度表-数据装载
- 115.数仓-DIM层-商品维度表-课件梳理
- 116.数仓-DIM层-优惠券维度表
- 117.数仓-DIM层-活动维度表
- 118.数仓-DIM层-地区维度表
- 119.数仓-DIM层-营销相关维度表
- 120.数仓-DIM层-日期维度表
- 121.数仓-DIM层-用户维度表
- 122.数仓-DIM层-用户维度表-问题分析
- 123.数仓-DIM层-用户维度表-Zip拉链表
- 124.数仓-DIM层-用户维度表-数据首日
- 125.数仓-DIM层-用户维度表-数据每日
- 126.数仓-DIM层-用户维度表-课程内容回顾
- 127.数仓-DIM层-用户维度表-数据每日SQL
- 128.数仓-DIM层-用户维度表-SQL中数据比对的方式
- 129.数仓-DIM层-用户维度表-多次数据修改的比对
- 130.数仓-DIM层-用户维度表-敏感数据的脱敏操作
- 131.数仓-DIM层-数据装载脚本
- 132.数仓-DIM层-课件梳理
- 133.数仓-DWD层-设计要点
- 134.数仓-DWD层-事实表-介绍
- 135.数仓-DWD层-事实表-事务事实表
- 136.数仓-DWD层-交易域加购事务事实表-建表语句
- 137.数仓-DWD层-交易域加购事务事实表-逻辑分析
- 138.数仓-DWD层-交易域加购事务事实表-首日
- 139.数仓-DWD层-交易域加购事务事实表-每日
- 140.数仓-DWD层-事实表-小练习
- 141.数仓-DWD层-交易域下单事务事实表
- 142.数仓-DWD层-交易域支付成功事务事实表
- 143.数仓-DWD层-交易域购物车周期快照事实表
- 144.数仓-DWD层-交易域交易流程累积快照事实表-首日
- 145.数仓-DWD层-交易域交易流程累积快照事实表-分区策略
- 146.数仓-DWD层-交易域交易流程累积快照事实表-每日
- 147.数仓-DWD层-课程内容回顾
- 148.数仓-DWD层-工具域优惠券使用(支付)事务事实表
- 149.数仓-DWD层-互动域收藏商品事务事实表
- 150.数仓-DWD层-流量域页面浏览事务事实表
- 151.数仓-DWD层-用户域用户注册事务事实表
- 152.数仓-DWD层-用户域用户登录事务事实表
- 153.数仓-DWD层-脚本
- 154.数仓-小总结
- 155.数仓-ADS层-介绍
- 156.数仓-ADS层-各品牌商品下单统计-建表
- 157.数仓-ADS层-各品牌商品下单统计-指标体系
- 158.数仓-ADS层-各品牌商品下单统计-最近1-7-30天
- 159.数仓-ADS层-各品类商品下单统计-分析-1d表
- 160.数仓-ADS层-各品类商品下单统计-SQL优化
- 161.数仓-ADS层-新增下单用户统计
- 162.数仓-DWS层-介绍
- 163.数仓-DWS层-表的设计问题
- 164.数仓-DWS层-设计要点
- 165.数仓-DWS层-交易域用户商品粒度订单最近1-n日汇总表
- 166.数仓-DWS层-交易域用户粒度订单最近1日汇总表SQL实现
- 167.数仓-DWS层-统计粒度的变化
- 168.数仓-DWS层-交易域用户粒度订单历史至今汇总表
- 169.数仓-DWS层-交易域用户粒度加购最近1日汇总表
- 170.数仓-DWS层-交易域用户粒度支付最近1日汇总表
- 171.数仓-DWS层-交易域省份粒度订单最近n-1日汇总表
- 172.数仓-DWS层-工具域用户优惠券粒度优惠券使用(支付)最近1日汇总表
- 173.数仓-DWS层-互动域商品粒度收藏商品最近1日汇总表
- 174.数仓-DWS层-流量域会话粒度页面浏览最近1日汇总表
- 175.数仓-DWS层-流量域访客页面粒度页面浏览最近1日汇总表
- 176.数仓-DWS层-用户域用户粒度登录历史至今汇总表
- 177.数仓-DWS层-脚本
- 178.数仓-ADS层-各渠道流量统计
- 179.数仓-ADS层-路径分析
- 180.数仓-ADS层-用户变动统计
- 181.数仓-ADS层-用户留存率统计
- 182.数仓-ADS层-用户新增活跃统计
- 183.数仓-ADS层-用户行为漏斗分析
- 184.数仓-ADS层-新增下单用户统计
- 185.数仓-ADS层-最近7日内连续3日下单用户数
- 186.数仓-ADS层-最近30日各品牌复购率
- 187.数仓-ADS层-各品牌商品下单统计
- 188.数仓-ADS层-各品类商品下单统计
- 189.数仓-ADS层-各品类商品购物车存量Top3
- 190.数仓-ADS层-各品牌商品收藏次数Top3
- 191.数仓-ADS层-下单到支付时间间隔平均值
- 192.数仓-ADS层-各省份交易统计
- 193.数仓-ADS层-优惠券使用统计
- 194.数仓-构建流程-介绍
- 195.数仓-报表数据同步环境准备
- 196.DolphinScheduler-介绍-基本使用
- 197.DolphinScheduler-项目管理-工作流设计
- 198.DolphinScheduler-项目管理-工作流设计-设置
- 199.数仓-联合调用-工作流调度
- 200.数仓-数据可视化-Superset