尚硅谷Java培训

湖仓一体项目

视频介绍

随着数据湖技术的更新迭代,以Hudi为代表的项目架构已初步成型。本套教程详细介绍了如何搭建湖仓一体的整合项目,教程基于尚硅谷离线数仓项目5.0架构,以及数据建模的基础原理,带你完成一套比离线数仓更具时效性的湖仓一体架构。

教程内容分为四部分:数据湖与数仓的区别与联系、项目环境介绍、湖仓分层数据计算、结果可视化展示。教程针对流式计算的统计和聚合给出了具体的解决方案,在维度关联中给出了应对不同生产场景的两种解决方案,供你在生产环境中选择使用。

视频目录 选集

  • 01.湖仓一体项目课程介绍
  • 02.数据仓库和数据湖的区别介绍
  • 03.数仓一体架构介绍
  • 04.湖仓一体架构的优势
  • 05.环境搭建-hudi集成flink
  • 06.环境搭建-hudi集成hive
  • 07.环境搭建-模拟数据准备
  • 08.项目开发环境介绍
  • 09.ODS层整体任务介绍
  • 10.ODS层用户行为日志导入
  • 11.ODS层业务表导入展示
  • 12.ODS层业务表数据导入
  • 13.ODS层升级资源展示
  • 14.DIM层整体内容介绍
  • 15.DIM层sku商品表导入演示
  • 16.DIM层数据导入丢问题介绍
  • 17.DIM层整体数据导入
  • 18.DIM层特殊日期表格导入
  • 19.DWD层订单详情表导入展示
  • 20.DWD层设置状态的存活时间
  • 21.DWD层手动恢复savePoint任务
  • 22.DWS层设计介绍
  • 23.DWS层需求内容介绍
  • 24.DWS层搭建级数据展示
  • 25.DWS层使用lookupJoin维度关联
  • 26.DWS层两种维度关联的比较
  • 27.DWS层展示总结
  • 28.ADS层导出数据到mysql
  • 29.可视化展示superSet的安装
  • 30.可视化展示superSet环境初始化
  • 31.可视化展示最终展示仪表盘
  • 32.湖仓一体项目结束总结