腾讯云离线数仓
视频介绍
腾讯云EMR是由腾讯云打造的线上租赁式大数据解决方案平台，一站式高效部署。使用便携，没有繁琐的配置文件，直接线上修改配置；应用灵活，可以选择腾讯云提供的服务，也可以自行安装搭建服务。
本套教程是由尚硅谷及腾讯云官方联合推出的离线数仓项目，基于腾讯云EMR平台打通数据采集通道，从数仓建模到逐层构建离线数仓，拥有完整的数仓建模理论及建模过程，且在构建过程中采用了腾讯云EMR平台组件和原生组件相结合的方式，让企业在组件选择上更加灵活。
项目文档按照出书标准编写，详细讲解一行一行手敲代码，内容全面且细致，教程附赠全套视频、代码、笔记、资料。通过本套教程的学习，你可以全方位掌握腾讯云的大数据服务组件使用和调优。
视频目录 选集
- 1.课程介绍
- 02.采集模块介绍
- 03.课程目标
- 04.数据仓库概念
- 05.项目需求
- 06.技术选型
- 07.数据流程设计
- 08.框架版本选型
- 09.服务器选型
- 10.集群规模&规划
- 11.电商业务简介
- 12.选购EMR集群
- 13.远程连接
- 14.修改主机名
- 15.配置主机映射
- 16.配置免密登录
- 17.电商业务数据分析
- 18.上传资料包
- 19.MySQL安装与启动
- 20.远程连接MySQL&建库建表
- 21.业务数据生成
- 22.Kafka服务安装
- 23.Kafka服务群起&测试
- 24.Flume&同步策略和工具概述
- 25.开启MySQL Binlog 配置信息
- 26.开启MySQL Binlog 测试
- 27.使用Sqoop完成全量数据同步
- 28.增量数据同步数据通道
- 29.Flink部署
- 30.FlinkCDC简单代码说明
- 31.FlinkCDC简单代码本地测试
- 32.FlinkCDC完整代码说明
- 33.FlinkCDC完整代码打包测试
- 34.Flume配置文件
- 35.增量数据同步测试
- 36.Flume脚本完成
- 37.构建离线数仓文档说明
- 38.数据仓库概述
- 39.建模准备工作
- 40.建模具体工作
- 41.Hive环境准备-修改配置
- 42.Hive环境准备-测试
- 43.Yarn环境准备
- 44.开发环境准备说明
- 45.ODS层-建表
- 46.ODS层-装载数据
- 47.DIM层-商品维度表
- 48.DIM层-优惠券维度表
- 49.DIM层-活动维度表
- 50.DIM层-地区维度表
- 51.DIM层-用户维度表
- 52.DWD层-加购事实表
- 53.DWD层-下单事实表
- 54.DWD层-取消订单事实表
- 55.DWD层-其他事实表&脚本封装
- 56.DWD层-数据展示
- 57.DWS层-交易域用户商品粒度订单需求-需求分析
- 58.DWS层-交易域用户商品粒度订单需求-建表&装载数据
- 59.DWS层-交易域用户商品粒度退单需求-建表&装载数据
- 60.ADS层-品牌订单统计
- 61.ADS层-交易综合统计
- 62.数据可视化-建表&导出数据
- 63.数据可视化-最终总结