新能源汽车数仓
视频介绍
新能源汽车数仓项目共分三大部分：数仓采集环境搭建、数仓分层计算、FineBI可视化大屏展示。项目的核心内容为汽车行驶连续日志的数据分析，采用了数仓模型拆解业务及特定模型构建的形式，完成需求指标的分析计算。
项目带你从0到1完成数仓框架环境搭建、数仓建模分析，以及最终数据的可视化展示，了解数仓建模理论体系及实际应用，并为连续的日志分析提供了有效解决方法。
还是尚硅谷一贯的风格，保姆式讲解，败家式赠送，学习者部署本地虚拟机参照视频及教辅资料即可实现全部项目流程。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、DolphinScheduler、FineBI、ZooKeeper等。
视频目录 选集
- 001.新能源汽车课程介绍
- 002.新能源汽车数仓概述
- 003.数仓需求介绍及框架选择
- 004.数仓架构介绍
- 005.服务器选型介绍
- 006.集群资源规划介绍
- 007.采集数据格式介绍
- 008.克隆准备3台虚拟机
- 009.分发脚本和免密登录配置
- 010.JDK安装部署
- 011.环境变量配置介绍
- 012.节点进程查看脚本介绍
- 013.ZooKeeper的安装部署和使用
- 014.Hadoop配置介绍
- 015.Hadoop高可用配置及群起脚本
- 016.HDFS的多目录配置和集群平衡
- 017.Hadoop的参数调优
- 018.Kafka的安装部署
- 019.Kafka命令行简单介绍
- 020.Flume的安装及内存的调整
- 021.MySQL的安装部署
- 022.MySQL远程软件连接的问题解决
- 023.采集数据模拟生成展示
- 024.日志采集架构及组件选择
- 025.采集日志Flume的配置文件编写
- 026.日志采集Flume的测试及脚本编写
- 027.消费Flume的配置编写
- 028.消费Flume的拦截器编写
- 029.消费Flume日志演示
- 030.维度数据同步策略选择
- 031.DataX同步工具简单介绍
- 032.DataX架构原理介绍
- 033.DataX基础实现同步任务
- 034.DataX使用传参演示
- 035.DataX的并发控制和内存修改
- 036.使用DataX完成维度表同步
- 037.数仓建模模型介绍
- 038.维度模型事实表和维度表介绍
- 039.数仓环境搭建_Hive的基础配置
- 040.Hive替换为Spark引擎
- 041.修改Yarn对应am的内存限制
- 042.配置数仓运行环境
- 043.业务场景模拟_回顾采集通道
- 044.业务场景模型_生成0502数据
- 045.数仓分层介绍
- 046.ODS_Hive映射HDFS成为表格介绍
- 047.ODS_Hive函数get_json_object解析Json数据
- 048.ODS_Hive的serde简单介绍
- 049.ODS_Hive使用serde解析Json数据
- 050.ODS_日志表格建表介绍
- 051.ODS_Hive导入日志表格数据演示
- 052.ODS_汽车信息表数据导入
- 053.ODS_数据导入脚本基础内容编写
- 054.ODS_数据导入脚本使用演示
- 055.DIM层维度表回顾
- 056.DIM层汽车信息维度表导入
- 057.DIM离线维度编码表导入
- 058.DIM层脚本数据导入
- 059.DWD_事实表建模理论分析
- 060.DWD_电动模式行驶日志事实表装载
- 061.DWD_混动模式和新能源燃料模式行驶日志事实表装载
- 062.DWD_充电日志事实表装载
- 063.DWD_行驶充电和故障记录日志事实表装载
- 064.DWD_电机日志事实表
- 065.DWD_数据导入首日脚本编写
- 066.DWD_数据导入脚本使用
- 067.DWS_搭建建模分析
- 068.DWS_纯电模式单次行程汇总表
- 069.DWS_纯电模式单次行程数据装载
- 070.DWS_单次充电聚合表数据导入
- 071.DWS_单次汇总数据脚本装载
- 072.DWS_最近1日里程聚合数据导入
- 073.DWS_告警单日汇总和电机信息单日汇总数据导入
- 074.DWS_单日电池组情况汇总基础数据读取
- 075.DWS_单日电池组每日汇总数据装载
- 076.DWS_每日聚合脚本数据装载
- 077.ADS_创建表格特点介绍
- 078.ADS_每月里程统计数据导入
- 079.ADS_最近7天里程汇总数据导入
- 080.ADS_不同类型汽车每月行程统计
- 081.ADS_告警主题每月汇总
- 082.ADS_温控主题每月汇总
- 083.ADS_能耗主题表格字段介绍
- 084.ADS_能耗主题充电指标计算
- 085.ADS_能耗主题旅次消耗计算
- 086.ADS_能耗主题最近100km能耗计算
- 087.ADS_能耗主题数据导入
- 088.ADS_汽车类型平均能耗计算
- 089.ADS_数据脚本导入
- 090.数据导出建表语句
- 091.数据导出样例演示
- 092.脚本工具自动化生成DataX的配置文件
- 093.使用脚本完成DataX数据导出
- 094.DolphinScheduler架构介绍
- 095.DolphinSchedule安装配置文件编写
- 096.DolphinSchedule元数据配置及安装
- 097.DolphinSchedule启动停止命令介绍
- 098.DolphinSchedule管理用户介绍
- 099.DolphinSchedule简单任务的执行演示
- 100.DolphinSchedule的定时和传参功能
- 101.DolphinSchedule的依赖资源和告警功能介绍
- 102.新数据的全流程调度
- 103.FineBI的安装部署和启动
- 104.FineBI演示样例简单表格实现
- 105.FineBI的钻取联动和过滤功能
- 106.FineBI实战展示新能源汽车指标
- 107.新能源数仓整体内容回顾