Kafka
视频介绍
Kafka是高吞吐量的分布式消息发布和订阅系统，作为大数据领域全面且开源的分布式事件流平台，已成为大数据从业人员的必备技能。
Kafka在实时数据处理、消息队列、流处理等领域具有广泛的应用场景，由于其高性能、高可靠、高吞吐的特点，被广泛应用于高性能的数据管道、流分析和数据集成等不同场景，在海量实时数据传输和事件驱动的微服务架构中也被广泛使用。
本套教程基于Kafka 3.6.1版本设计，零基础入门，将理论、演示、源码融合在一起讲解，通过源码演示效果，通过效果印证理论，再通过理论梳理源码，让整个Kafka的技术架构，更加清晰地呈现在你的面前。
教程采用简单直白的语言，以及图形化与操作相结合的形式，快速直观地讲解Kafka核心功能，降低软件本身的学习难度，缩减学习周期。你可以通过本套教程的学习，快速掌握Kafka核心组件的用法，理清核心数据的处理流程，并将Kafka应用于自己的项目中。
教程内容按照数据在Kafka中传输流转的过程设置：
一，服务集群启动，讲解软件启动过程中各服务组件的关系；
二，创建主题，用于对传输数据进行分类；
三，生产数据，讲解业务系统数据或待处理的数据传输到Kafka的流程，以及底层的实现原理；
四，Kafka在接收到数据后，存储数据的核心操作及流程；
五，消费者从Kafka中获取数据的方式及底层的操作流程。
视频目录 选集
- 01.Kafka-课程介绍
- 02.kafka-文件目录说明
- 03.Kafka-软件介绍
- 04.Kafka-JMS介绍
- 05.Kafka-组件
- 06.Kafka-安装与启动
- 07.kafka-命令行操作-主题创建
- 08.kafka-命令行操作-生产者和消费者
- 09.kafka-代码-生产者
- 10.kafka-代码-消费者
- 11.kafka-客户端便利小工具
- 12.kafka-构建源码环境
- 13.kafka-基础架构图形推演
- 14.kafka-基础组件图形推演
- 15.kafka-windows集群部署
- 16.kafka-启动服务-ZooKeeper的核心功能
- 17.kafka-启动服务-Broker启动后ZooKeeper节点的变化
- 18.kafka-启动服务-Controller的选举
- 19.kafka-启动服务-Controller和Broker的通信原理及底层通信机制
- 20.kafka-启动服务-Broker组件对象介绍
- 21.kafka-主题创建-代码简析
- 22.kafka-主题创建-主题分区副本分配策略
- 23.kafka-主题创建-底层流程分析
- 24.kafka-生产数据-生产者流程分析
- 25.kafka-生产数据-拦截器和序列化处理
- 26.kafka-生产数据-分区器及分区计算策略
- 27.kafka-生产数据-数据收集器和Sender发送线程
- 28.kafka-生产数据-数据的异步发送和同步发送
- 29.kafka-生产数据-ACKS数据接收应答处理机制
- 30.kafka-生产数据-数据重复及乱序的原因及原理
- 31.kafka-生产数据-幂等性操作
- 32.kafka-生产数据-事务操作
- 33.kafka-生产数据-事务流程
- 34.kafka-存储数据-数据存储文件类型介绍
- 35.kafka-存储数据-数据存储流程
- 36.kafka-存储数据-数据文件内容及数据定位
- 37.kafka-存储数据-数据文件字节计算方式
- 38.kafka-存储数据-数据同步一致性问题
- 39.kafka-存储数据-副本同步时的水位线变化
- 40.kafka-存储数据-ISR列表变化和传播
- 41.kafka-存储数据-日志清理策略
- 42.kafka-消费数据-消费数据的基本流程
- 43.kafka-消费数据-数据消费的偏移量问题
- 44.kafka-消费数据-偏移量同步提交和异步提交
- 45.kafka-消费数据-事务数据的隔离级别
- 46.kafka-消费数据-消费者组介绍
- 47.kafka-消费数据-消费者偏移量内部主题
- 48.kafka-消费数据-分区分配策略介绍
- 49.kafka-消费数据-分区分配策略演示
- 50.kafka-消费数据-消费者Leader选举
- 51.kafka-扩展-分布式集群脑裂问题
- 52.kafka-扩展-零拷贝
- 53.kafka-扩展-顺写日志
- 54.kafka-扩展-KafkaLinux集群部署-虚拟机安装
- 55.kafka-扩展-KafkaLinux集群部署-Java安装
- 56.kafka-扩展-KafkaLinux集群部署-ZooKeeper安装
- 57.kafka-扩展-KafkaLinux集群部署-Kafka安装
- 58.kafka-扩展-KafkaLinux集群部署-监控软件安装
- 59.kafka-扩展-KafkaLinux集群部署-KRaft模式安装
- 60.kafka-集成-大数据场景-Flume
- 61.kafka-集成-大数据场景-Spark
- 62.kafka-集成-大数据场景-Flink
- 63.kafka-集成-Java场景-SpringBoot
- 64.kafka-优化简介
- 65.kafka-常见问题