项目简介 :
本项目主要为互联网企业中常见的对实时分析要求较高的场景提供全套的技术解决方案，以Spark为主要技术点实现海里数据的分析计算。

项目架构：
Nginx + SpringBoot + Kafka2.4.1 + SparkStreaming3.0.0 + Canal HA + Redis + ElasticSearch + HBase2.0.5 + Phoenix + ECharts + MySQL5.7 + Maxwell + Kibana

项目场景：
适用于多种行业场景，电商、交通、旅游等等，对数据实时分析结果要求较高的需求均可适用。例如：阿里双十一的可视化大屏，实时显示交易额。

技术点：
通过SparkStreaming对数据进行实时计算；解决SparkStreaming精确一次消费的问题；利用Redis存储临时性计算数据；通过Canal/Maxwell 进行实时采集业务数据库；实现SparkStreaming的双流join和维度关联；利用广播变量优化计算流程；对接Elasticsearch存储明细数据；通过Kibana配置可视化分析；利用Springboot开发可视化接口程序

项目特色：
本项目针对Spark在生产环境中会遇到的性能问题，采用生产服务器进行实战调优。对于用户行为数据和业务数据制定不同的处理方案，可以广泛适配企业中主流的实时处理系统。

项目简介 :
本项目参考美团、OPPO、知乎等大数据实时数仓项目架构，采用当前主流的实时数据处理框架Flink进行搭建，对接多种数据源，并实现了对结果数据的实时展示，与离线数仓可以无缝对接，真正实现了流批一体，可以无缝满足企业实时数据处理需求。

项目架构：
Nginx + SpringBoot + Flume1.9 + Kafka2.4.1 + Flink1.2 + Canal HA + Redis + ElasticSearch + HBase2.0.5 + Phoenix + ECharts + MySQL5.7 + Maxwell + Kibana + ClickHouse + DataV

项目场景：
可满足各种行业、不同规模的企业的实时数据处理场景，例如实时分析新用户注册人群、实时显示交易额、实时对账、实时预警等。

技术点：
通过分层处理，让实时计算复用性更好，结构更清晰；通过结合MySQL动态配置表实现数据的动态分流；使用HBase + Redis 实现维度数据的管理与关联查询；提供针对不同情境的双流Join解决方案，优化双流Join解决方案；结合keyed state实现数据的去重、计算等功能；实现对于所有需求提供Flink代码和Flink SQL代码两种解决方案，可满足不同的企业开发需求；使用Table Function 扩展FlinkSQL功能；使用Flink CEP实现不同用户行为模式的识别；使用Clickhouse 实现宽表数据的存储，提高数据查询效率，提供即席查询解决方案；结合Springboot对接百度sugar实现数据可视化大屏展示。

项目特色：
本项目采用最新的实时数据处理框架Flink进行搭建，对接多种数据源，并实现了对结果数据的实时展示，与离线数仓可以无缝对接，真正实现了流批一体，可以无缝满足企业实时数据处理需求。通过分层处理，让实时计算复用性更好，结构更清晰。通过结合MySQL动态配置表实现数据的动态分流。使用HBase+Redis 实现维度数据的管理与关联查询；提供针对不同情境的双流join解决方案，优化双流join解决思路；结合keyed state实现数据的去重、计算等功能；实现对于所有需求提供Flink代码和Flink SQL代码两种解决方案，可满足不同的企业开发需求；使用Table Function 扩展FlinkSQL功能；使用Flink CEP实现不同用户行为模式的识别；使用Clickhouse 实现宽表数据的存储，提高数据查询效率，提供即席查询解决方案；结合SpringBoot对接百度sugar实现数据可视化大屏展示。

项目简介 :
尚硅谷打造的电商推荐系统项目，以经过修改的中文亚马逊电商数据集作为依托，并以某电商网站真实的业务架构作为基础来实现，其中包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。

项目架构：
MongoDB + ElasticSearch + Redia + Spark Core + Spark SQL + Spark Mllib + Flume + Kafka + SparkStreaming + SpringBoot + AngularJS2

项目场景：
让用户更快更好地获取到自己需要的内容，让内容更快更好地推送到喜欢它的用户手中，让平台更有效地保留用户资源。

技术点：
以某电商网站真实的业务架构作为基础来实现的，其中包含了离线推荐与实时推荐体系，综合利用了协同过滤算法以及基于内容的推荐方法来提供混合推荐。具体实现的模块主要有：基于统计的离线推荐、基于隐语义模型的离线推荐、基于自定义模型的实时推荐，以及基于内容的、和基于Item-CF的离线相似推荐。

项目特色：
整个项目具有很强的实操性和综合性，对已有的大数据和机器学习相关知识是一个系统性的梳理和整合，通过学习，同学们可以深入了解推荐系统在电商企业中的实际应用，可以为有志于增加大数据项目经验的开发人员、特别是对电商业务领域感兴趣的求职人员，提供更好的学习平台。

项目简介 :
用数字化的标签描述用户个性特征、勾画目标用户，用以联系用户诉求与设计方向。

项目架构：
Flume1.9 + Kafka2.4.1 + Hadoop3.1.3 + Hive3.1.2 + SparkSQL3.0.0 + Sqoop1.4.6 + Azkaban3.0 + Zookeeper3.5.7 + MySQL5.7

项目场景：
根据用户标签快速筛选人群，进行精准营销。

技术点：
标签定义模块、标签开发模块、任务调度模块、用户分群UI模块的搭建，用户标签窄表的定义开发，用户标签宽表的整合和结构转换。

项目特色：
结合目前各种规模企业对于用户画像的需求给出最简解决方案，在最短时间里对整个用户画像系统有最全面系统的认知。

项目简介 :
该项目基于洋葱教育的实际业务场景，带你从0到1搭建数据采集系统、离线指标统计、实时计算以及用户画像等各种实际企业业务场景。紧跟企业前沿新技术，项目在手，天下你有。

项目架构：
CDH全套组件：Flume + Kafka + Hadoop + Hive + HUE + SparkSQL + SparkStreaming + Zookeeper + MySQL + DataX + PowerDesigner + IBM HeapAnalyzer + Impala

项目场景：
以真实企业在线教育项目为蓝图设计的实操性很高的项目，助你了解大数据从业人员的真实工作流程；

技术点：
离线指标计算：课程学习反馈指标、系统版本访问统计、渠道新用户统计、访问次数分布、漏斗分析、七日留存分析；实时数据处理：实时统计VIP用户新增数、订单行为异常用户及时运营、Exactly-Once语义数据消费机制；

项目特色：
参照真实企业项目流程打造，从服务器搭建选型到数据处理全流程呈现，为主流数据采集系统搭建、常见离线指标需求提供多种解决方案，构建高可用高性能的实时流式计算框架。

项目简介 :
本项目以国内电商巨头实际业务应用场景为背景，整个数仓体系完全搭建在阿里云架构上，详细解析了数据在整个数仓架构从采集、存储、计算、输出，到最终展示的整个业务流程。让学员理解并学会运用各个阿里云服务组件，了解各个组件之间如何配合联动。

项目架构：
ECS + Flume + DataHub + MaxCompute + DataWorks + RDS + QuickBI

项目场景：
以真实企业项目为背景，采用阿里云平台的全套大数据产品重构整个电商项目，其中涵盖电商平台的离线数仓阿里云解决方案，实时指标分析阿里云解决方案。

技术点：
本项目采用阿里云服务器ECS搭配开源框架Flume进行用户日志的采集，将采集到的数据推送到阿里云数据总线模块DataHub，然后将DataHub的数据传输到大数据计算平台MaxCompute中，利用DataWorks数据开发平台进行数据的集成、计算和开发，得出我们需要统计的业务指标。将统计出的结果存储到阿里云RDS数据库中，最后用QuickBI读取RDS中的数据做出相应的报表，展示数据。

项目特色：
本项目采用全套阿里云大数据产品重构了电商平台大数据项目，提供了电商平台离线、实时等指标分析的全套阿里云解决方案。整个项目架构部署在云端，完全脱离了本地服务器，并且项目组件全部采用阿里云大数据产品，各组件之间实现了界面图形化配置，无缝对接。