湖仓一体项目

本项目以Apache Hudi为项目核心框架，基于海量电商行业的真实用户行为日志数据和业务数据，构建了一套完整可实施、可落地的湖仓一体系统。项目以Hudi作为核心数据组织框架、Flink作为数据计算引擎、HiveCatalog作为元数据持久化介质，并沿用了数据仓库建模理论提供的合理的数据分层结构，进行了完整的数据调研、指标体系构建流程。
湖仓一体项目旨在为企业提供一种高效、可扩展、易维护的数据处理方案，可以满足多种数据场景的需求。其摒弃了繁复的缓慢变化维度处理方案、避免了全量与增量表的分类构建，为数据仓库提供了极低延迟，并自动解决了小文件问题。
通过学习本项目，可以帮助学员对大数据的组织、存储、分析处理等操作有更透彻的认知，领略大数据前沿技术，掌控大数据的技术脉搏。