尚硅谷Java培训

快餐数仓

视频介绍

本套项目教程以快餐点餐为基础业务,真实还原了快餐点餐平台对于用户数据的分析和统计,并以大屏展示的方法呈现了数据分析的结果。

快餐离线数仓项目分为四大部分:数仓建模原理介绍、数仓模型搭建、DolphinScheduler全流程调度、FineBI可视化大屏展示。项目以快餐采集项目为前置基础,在此基础上将数据导入数仓当中,对数据进行系统化的分析计算,得到指标需求结果。

项目使用框架包括:Hadoop、Hive、Spark、Kafka、Flume、DataX、DolphinScheduler、FineBI等。通过本套教程的学习,你将系统了解数仓建模理论,深入认识快餐平台的业务理论体系。 

视频目录 选集

  • 001.教程简介
  • 002.数据仓库架构
  • 003.技术选型
  • 004.系统数据流程设计
  • 005.项目需求分析
  • 006.服务器选型
  • 007.集群规模
  • 008.资源规划设计
  • 009.安装虚拟机
  • 010.SSH免密
  • 011.分发脚本
  • 012.安装JDK
  • 013.环境变量配置说明
  • 014.餐饮业务简介
  • 015.餐饮系统表结构说明
  • 016.安装MySQL以及模拟生成数据
  • 017.模拟生成数据脚本
  • 018.建模工具使用
  • 019.集群批量命令执行脚本
  • 020.安装Hadoop
  • 021.Hadoop启动脚本
  • 022.Hadoop项目经验之存储多目录
  • 023.Hadoop项目经验之数据均衡
  • 024.Hadoop项目经验之参数调优
  • 025.安装Zookeeper
  • 026.Zookeeper启动脚本
  • 027.Zookeeper客户端常用指令
  • 028.安装Kafka
  • 029.Kafka启动脚本
  • 030.Kafka常用指令之topic相关
  • 031.Kafka常用指令之生产者和消费者相关
  • 032.Flume安装和项目经验
  • 033.Maxwell简介
  • 034.Maxwell原理
  • 035.安装Maxwell
  • 036.Maxwell启动脚本
  • 037.Maxwell使用
  • 038.同步策略介绍与选择
  • 039.同步工具介绍
  • 040.DataX简介
  • 041.DataX架构原理
  • 042.DataX安装
  • 043.DataX任务提交和配置文件格式说明
  • 044.同步MySQL数据到HDFS案例之TableMode模式
  • 045.同步MySQL数据到HDFS案例之QuerySQL模式
  • 046.同步hdfs数据到MySQL案例
  • 047.DataX传参
  • 048.DataX优化之速度控制
  • 049.DataX优化之内存调整
  • 050.DataX配置文件生成
  • 051.全量表数据同步脚本
  • 052.增量数据Flume配置
  • 053.增量数据拦截器与采集
  • 054.增量同步时间问题
  • 055.增量首日同步脚本
  • 056.增量数据Fume启动脚本
  • 057.安装Hive
  • 058.Hive中文乱码问题
  • 059.快餐数仓项目简介
  • 060.数仓的概念
  • 061.数仓架构
  • 062.数仓建模的意义
  • 063.ER模型
  • 064.维度模型
  • 065.事务型事实表设计与不足
  • 066.周期型快照事实表
  • 067.累积型快照事实表
  • 068.维度表设计
  • 069.规范化和反规范化
  • 070.维度变化
  • 071.多值维度和多值属性
  • 072.数据仓库的分层
  • 073.数仓的构建流程
  • 074.数据调研
  • 075.明确数据域
  • 076.构建业务总线矩阵
  • 077.明确统计指标
  • 078.维度模型和汇总模型设计
  • 079.Hive引擎介绍和兼容性说明
  • 080.HiveonSpark搭建
  • 081.ApplicationMaster资源比例调整
  • 082.DataGrip工具使用
  • 083.模拟生成数据
  • 084.Hive常用问题
  • 085.ODS层设计要点
  • 086.ODS全量数据建表演示
  • 087.Hive复杂数据类型回顾
  • 088.JSON数据建表示范
  • 089.ODS层增量表字段显示异常问题
  • 090.ODS层数据加载脚本
  • 091.DIM层设计要点
  • 092.顾客维度表首日数据加载
  • 093.顾客维度表每日数据加载
  • 094.菜品维度表数据加载
  • 095.套餐维度表数据加载
  • 096.优惠活动维度表数据加载
  • 097.行政区划维度表数据加载
  • 098.店铺维度表数据加载
  • 099.DIM层首日数据加载脚本
  • 100.DIM层每日数据加载脚本
  • 101.DWD层设计要点
  • 102.下单事务型事实表建表
  • 103.下单事实表首日数据加载
  • 104.下单事实表每日数据加载
  • 105.支付成功事实表首日数据加载
  • 106.支付成功事实表每日数据加载
  • 107.退单事实表首日数据加载
  • 108.退单事实表每日数据加载
  • 109.退款成功事实表首日数据加载
  • 110.退款成功每日数据加载
  • 111.评价事实表首日数据加载
  • 112.评价事实表每日数据加载
  • 113.DWD首日数据加载脚本
  • 114.DWD每日数据加载脚本
  • 115.DWD设计要点
  • 116.交易域店铺粒度用户下单最近1日汇总表
  • 117.交易域店铺粒度用户支付成功最近1日汇总表
  • 118.交易域店铺粒度退款成功最近1日汇总表
  • 119.交易域营销活动粒度用户下单最近1日汇总表
  • 120.交易域菜品规格粒度用户下单最近1日汇总表
  • 121.交易域套餐粒度用户下单最近1日汇总表
  • 122.互动域菜品粒度用户评价最近1日汇总表
  • 123.互动域套餐粒度用户评价最近1日汇总表
  • 124.互动域店铺粒度用户评价最近1日汇总表
  • 125.DWS 1d表首日数据加载脚本
  • 126.DWS 1d表每日数据加载脚本
  • 127.交易域店铺粒度用户下单最近n日汇总表
  • 128.交易域店铺粒度用户支付成功最近n日汇总表
  • 129.交易域店铺粒度退款成功最近n日汇总表
  • 130.交易域营销活动粒度用户下单最近n日汇总表
  • 131.交易域菜品规格粒度用户下单最近n日汇总表
  • 132.易域套餐粒度用户下单最近n日汇总表
  • 133.互动域菜品粒度用户评价最近n日汇总表
  • 134.互动域套餐粒度用户评价最近n日汇总表
  • 135.互动域店铺粒度用户评价最近n日汇总表
  • 136.DWS nd数据加载脚本
  • 137.各店铺交易统计
  • 138.各经营模式交易统计
  • 139.各省份交易统计
  • 140.各城市交易统计
  • 141.各时段交易统计
  • 142.订单减免统计
  • 143.各店铺订单减免统计
  • 144.优惠分摊统计
  • 145.营销活动优惠统计
  • 146.菜品规格交易统计
  • 147.菜品交易统计
  • 148.菜品分类交易统计
  • 149.菜品交易分时统计
  • 150.套餐交易统计
  • 151.套餐交易分时统计
  • 152.最近1日菜品规格活动减免(下单)金额Top10
  • 153.最近1日菜品规格活动参与订单数Top10
  • 154.最近1日店铺活动减免(下单)金额Top10
  • 155.最近1日店铺活动参与订单数Top10
  • 156.最近1日店铺下单金额Top10
  • 157.最近1日加盟店与直营店下单金额Top10
  • 158.菜品评价统计
  • 159.套餐评价统计
  • 160.店铺评价统计
  • 161.ADS数据加载脚本
  • 162.建库建表
  • 163.HDFS数据导入MySQL案例演示
  • 164.ADS数据同步脚本
  • 165.DolphinScheduler简介
  • 166.部署模式
  • 167.DolphinScheduler安装
  • 168.安全中心配置
  • 169.工作流的定义与执行
  • 170.定时调度执行
  • 171.局部参数
  • 172.全局参数
  • 173.传递参数
  • 174.参数优先级
  • 175.内置参数
  • 176.引用依赖资源
  • 177.工作流告警
  • 178.重跑和恢复失败
  • 179.生成新数据
  • 180.数仓工作流调度
  • 181.FineBI安装与数据源的配置
  • 182.FineBI启动脚本
  • 183.FineBI数据可视化
  • 184.教程总结