在线听书项目

本项目借助真实音频分享平台的亿级数据集，构建了一套完整的离线和实时数据仓库系统。通过本项目的学习，您将了解在线听书领域如何打造全面完整的大数据分析体系，从零开始进行学习，顺势而为。该项目包罗万象，覆盖Hadoop、Spark、DataX、Maxwell、Flume、Kafka、Flink、SugarBI等众多大数据技术框架，深度探索各框架间的协同工作之美。
本项目涵盖多样的大数据功能模块，包括可供离线数据仓库和实时数据仓库共享的数据采集系统、真实企业级数据模拟体系、离线指标分析体系、实时指标分析体系等。同时全程融入AI辅助功能开发，助力您轻松掌握AI使用技巧，提升开发效率。项目功能设置完善，真实还原企业开发场景，与时俱进把握前沿技术，加入颇具科技感的AI课程内容，让您的技术感知力更上一层楼。

技术点

一、离线数仓

调研各大厂数仓建模体系，以阿里巴巴的数据仓库建模理论为蓝本，搭建实用有效的数仓建模体系；
应用建模理论，提出可实践性强的数仓建模流程，数据调研→明确数据域→构建业务总线矩阵→维度模型设计→明确统计指标→汇总模型设计→分层构建数仓；
合理数仓分层，降低数据耦合度，提高数据分析效率，降低数据计算成本。
实战式数据模拟策略，模拟生成全面的原始数据，针对真实数据执行数据采集工作；
采用Flume采集用户行为日志数据，调研组件选型，给出详细贴近实战的配置文件，自定义采集组件，解决时间戳零点漂移，优化小文件存储带来问题，提供更多实战经验；
采用流行数据采集框架DataX采集业务数据，提供详细配置文件及脚本解读，掌握更多脚本编写技巧；
采用Maxwell监控业务数据变动情况，做到更实时更准确的变动数据采集；

真实数据ETL实操，掌握如何对原始数据进行清洗、脱敏、数据分类、整合；
基于业务总线矩阵构建数据仓库DWD层，完成事务型事实表、周期型事实表、累积快照事实表搭建和数据装载；
基于业务总线矩阵构建数据仓库DIM层，针对缓慢变化维度，构建拉链表；
基于指标体系分析构建DWS层，将相同粒度、统计周期的派生指标整合统计为宽表，提高计算结果复用性；
安装部署受各大厂欢迎的DolphinScheduler工作流调度系统，实现数据仓库搭建全流程定时自动化调度以及故障自动邮件告警；
采用SuperSet对调度采集至RDBMS数据库中的结果数据进行多图表、仪表盘可视化展示；
采用Echarts，结合SpringBoot对结果数据进行可视化展示，充分掌握数据展示接口编写流程；
基于企业级数据仓库的海量数据计算业务，对整体项目进行性能调优，掌握全面可实践的性能调优技巧。

二、实时数仓

项目包含数十个 Flink 实时计算任务、几十个实时计算指标和数万行实时开发代码。
遵循行内大厂的数据仓库建模理论，实时数据仓库分为 ODS 层、DIM 层、DWD 层、DWS 层和 ADS 层，实现分层计算和数据分流，从而提高效率并降低耦合度。
利用 HBase 和 Phoenix 组合存储 DIM 层的维度数据，显著提升响应速度。
通过 Flink CDC 和 MySQL 动态配置表，实现维度表配置的动态获取和数据自动分流。
采用 Redis 实现旁路缓存，提高响应速度，同时使用 Flink 提供的异步 IO 进行优化。
提供适用于多种场景的双流 Join 解决方案，深入分析各种解决方案的优缺点，培养解决问题的能力。

灵活运用状态编程、FlinkCEP、窗口函数、自定义处理函数等Flink技术点解决复杂需求。
为所有需求提供 Flink 的 Table API 和 Flink SQL 两种解决方案，满足不同企业的开发需求，培养多角度开发能力。
使用 FlinkCEP 技术识别不同用户行为模式，分析用户跳出行为。
采用 ClickHouse 存储最终宽表数据，显著提高数据查询效率，并为用户提供即席查询和可视化报表展示的多种可能性。
利用 SpringBoot 编写数据展示接口与 Sugar 对接，实现数据可视化大屏展示，并熟练掌握数据展示接口编写流程。
针对企业级海量数据分析任务，详细讲解分析生产环境中可能遇到的反压问题、数据倾斜问题、检查点配置关键点、状态调优、链路延迟监控等多种性能调优问题。

在线听书项目

技术转型者

高校毕业生

IT从业者

要求课程基础

一、离线数仓

二、实时数仓