广告数仓项目
视频介绍
广告数仓项目以广告主投放到媒体平台为业务基础，收集管理平台数据及媒体平台发送的广告曝光点击次数之后，进行数据分析与统计，实现可视化报表展示。
项目共分六大部分：广告业务详情介绍、数仓建模原理介绍、数仓集群部署和环境搭建、数仓数据分析及ETL完整流程、DolphinScheduler全流程调度、FineBI可视化大屏展示，是一套完整的数仓项目，学习者部署本地虚拟机即可实现全部项目流程。
教程介绍了媒体投放广告的详细流程，帮助学习者了解广告投放业务体系，掌握ETL流程中常用的技术手段。项目中使用的框架包括：Hadoop、Hive、Spark、Kafka、Flume、Datax、ClickHouse、DolphinScheduler、FineBI等。
视频目录 选集
- 01.广告数仓项目介绍
- 02.广告业务相关概念介绍
- 03.广告系统架构介绍
- 04.广告系统项目需求
- 05.广告数仓整体架构
- 06.维度模型介绍
- 07.三种事实表原理介绍
- 08.维度表设计介绍
- 09.数仓分层规划
- 10.广告数仓整体设计流程
- 11.数据调研具体介绍
- 12.广告数据具体架构设计
- 13.模板机准备
- 14.克隆三台虚拟机
- 15.分发脚本和免密登录配置
- 16.JDK的安装部署
- 17.环境变量位置介绍
- 18.Hadoop的配置安装
- 19.Hadoop的群起群停
- 20.广告管理平台数据介绍
- 21.MySQL的安装部署
- 22.MySQL的广告管理平台数据导入
- 23.曝光点击监测数据生成方法
- 24.DataX的简单介绍
- 25.DataX的使用和优化方法介绍
- 26.DataX演示同步MySQL数据到HDFS
- 27.DataX动态传参功能介绍
- 28.DataX脚本同步广告管理平台数据
- 29.ZooKeeper安装部署
- 30.Kafka的安装部署
- 31.Kafka命令行的简单介绍
- 32.Flume的安装部署
- 33.Flume采集数据发送到Kafka的演示
- 34.Flume采集日志脚本群起
- 35.采集数据乱码处理方法
- 36.Flume消费Kafka数据的配置文件编写
- 37.Flume消费者时间戳拦截器编写
- 38.Flume消费者使用演示-06-16
- 39.Flume消费者的启动停止脚本
- 40.Hive的安装部署
- 41.Hive替换Spark引擎展示
- 42.Yarn环境设置运行多个Spark任务
- 43.数仓开发环境DataGrap部署
- 44.ODS_广告管理平台数据导入
- 45.ODS_曝光点击日志装载及脚本导入
- 46.DIM_维度数据导入
- 47.DWD_需求分析
- 48.DWD_初步解析用户日志
- 49.DWD_对UA进行解码操作
- 50.DWD_IP解析方案介绍
- 51.DWD_本地磁盘解析IP方法介绍
- 52.DWD_自定义UDF函数解析IP结构介绍
- 53.DWD_自定义UDF函数解析IP检验参数
- 54.DWD_自定义UDF函数加载静态库到内存
- 55.DWD_自定义UDF函数解析IP处理数据
- 56.DWD_自定义UDF函数解析IP实际应用
- 57.DWD_自定义UDF函数解析UA
- 58.DWD_自定义UA解析实际操作
- 59.DWD_异常流量标记之爬虫UA
- 60.DWD_异常流量过滤IP访问过快
- 61.DWD_异常流量相同周期访问超过5次
- 62.DWD_异常流量设备ID过滤准备
- 63.DWD_标记异常流量并做维度退化
- 64.DWD_脚本装载DWD层数据
- 65.数据导出ClickHouse安装准备工作
- 66.数据导出ClickHouse安装部署
- 67.数据导出_使用SparkSQL读取Hive数据导出到ClickHouse
- 68.数据导出代码编写
- 69.数据导出实操
- 70.DS调度器简单介绍
- 71.DS的安装部署
- 72.DS的安全中心介绍
- 73.DS的简单项目展示
- 74.DS的参数传递
- 75.DS的内置参数引入依赖和告警功能展示
- 76.采集新一天的数据
- 77.DS调度新一天的数据处理
- 78.FineBI可视化介绍及安装部署
- 79.FineBI可视化展示官方案例展示
- 80.FineBI扩展功能介绍
- 81.可视化实战数据导入
- 82.可视化实战省份平台操作系统粒度图表创建
- 83.可视化仪表盘操作
- 84.数仓项目总结