数据接口发布与接收案例
视频介绍
在数据工程师的工作中，相当一部分任务需要为外部系统提供数据支持，包括查询画像、BI报表等，有时甚至需要接收外部系统发送的数据，将其处理或转储，例如对接日志服务器，将日志实时清洗后存入Kafka。
本套教程面向偏科的大数据工程师，尤其是JavaWeb应用开发薄弱的大数据工程师。从0到1，讲解如何基于主流的大数据工作场景，例如，从存储离线数仓Ads层数据的MySQL中，从存储实时数仓Ads层数据的ClickHouse中，以及从即席查询的ElasticSearch、HBase、Redis中查询指定的数据，发布数据接口。发布的数据接口可以为第三方的程序或BI大屏，提供实时请求的数据支撑。
本套教程包含两部分内容：第一部分，是数据接口发布的基础背景知识讲解，3小时快速掌握常用的Mybatis和SpringBoot开发常识；第二部分，是数据接口发布和接收的案例讲解，3.5小时，通过9个案例，讲解如何开发数据接口工程，如何对接多种数据源，如何对接外部BI系统，以及如何接收对接日志服务器转存到Kafka。
主流大数据工作环境下的数据接口发布与接收技巧，通过本套教程的学习，6.5小时即可快速掌握！
视频目录 选集
- 01.接口发布与接收-课程简介
- 02.Mybatis-引入Mybatis
- 03.Mybatis-原生JDBC的痛点
- 04.Mybatis-Mybatis定义
- 05.Mybatis-数据准备
- 06.Mybatis-创建工程
- 07.Mybatis-Mybatis全局配置
- 08.Mybatis-编写Dao
- 09.Mybatis-编写Dao使用的SQL
- 10.Mybatis-编写sql中的占位符
- 11.Mybatis-准备Mapper的测试环境
- 12.Mybatis-测试查询语句
- 13.Mybatis-解决属性无法封装
- 14.Mybatis-获取自动提交事务的SqlSession
- 15.Mybatis-测试插入和更新操作
- 16.Mybatis-编写SQL的另外一种方式
- 17.Mybatis-使用@Param为参数起变量名
- 18.SpringBoot-Spring介绍
- 19.SpringBoot-SpringBoot介绍
- 20.SpringBoot-创建SpringBoot项目
- 21.SpringBoot-请求是什么
- 22.SpringBoot-如何发送请求
- 23.SpringBoot-编写控制器
- 24.SpringBoot-编写方法处理请求
- 25.SpringBoot-响应数据
- 26.SpringBoot-@RestController
- 27.SpringBoot-接收普通格式的请求参数
- 28.SpringBoot-接收Json格式的请求参数
- 29.增删改查练习-MVC
- 30.增删改查练习-准备View
- 31.增删改查练习-定义Service接口
- 32.增删改查练习-定义Dao
- 33.增删改查练习-定义ServiceImpl
- 34.增删改查练习-定义Controller
- 35.增删改查练习-完成Controller
- 36.增删改查练习-集成Mybatis
- 37.增删改查练习-引入动态数据源
- 38.增删改查练习-在Dao上使用数据源
- 39.增删改查练习-使用容器创建和赋值属性
- 40.增删改查练习-其他功能测试
- 41.增删改查练习-常用注解总结
- 42.数据接口项目概述
- 43.SugarBI-SugarBI介绍
- 44.SugarBI-登录SugarBI
- 45.SugarBI-新建大屏
- 46.数据模拟-模拟数据介绍
- 47.数据模拟-模拟数据配置参数介绍
- 48.数据模拟-模拟大屏案例数据
- 49.数据接口发布-创建工程
- 50.数据接口发布-编写Service接口
- 51.数据接口发布-编写案例一(Mysql源)Mapper
- 52.数据接口发布-编写案例一ServiceImpl
- 53.数据接口发布-测试案例一ServiceImpl
- 54.数据接口发布-编写案例一Controller
- 55.数据接口发布-接口发布的一般步骤
- 56.数据接口发布-查询案例二(Redis源)
- 57.数据接口发布-封装公共的数据接口Bean
- 58.数据接口发布-使用新的Bean改造案例一
- 59.数据接口发布-测试新Bean的数据格式
- 60.数据接口发布-使用新的Bean改造案例二
- 61.数据接口发布-编写案例二的Controller
- 62.数据接口发布-返回数据格式介绍
- 63.数据接口发布-配置Clickhouse数据源
- 64.数据接口发布-查询案例三(clickhouse源)
- 65.数据接口发布-编写案例四(clickhouse源)ServiceImpl
- 66.数据接口发布-编写案例四Controller
- 67.数据接口发布-配置ES数据源
- 68.数据接口发布-封装Bean映射ES中的数据类型
- 69.数据接口发布-编写ES聚合查询Dao
- 70.数据接口发布-查询案例五(ES源)
- 71.数据接口发布-查询案例六(ES源)
- 72.数据接口发布-配置HBase数据源
- 73.数据接口发布-编写案例七(HBase源)Dao
- 74.数据接口发布-编写案例七ServiceImpl
- 75.数据接口发布-查询案例八(HBase源)
- 76.数据接口发布-发布端口到公网
- 77.数据接口发布-设置BI数据获取方式为API拉取
- 78.数据接口发布-测试数据接口发布效果
- 79.数据接口接收-接收数据写入Kafka
- 80.数据接口接收-结语