Kafka第三课-Toy模板网

这篇具有很好参考价值的文章主要介绍了Kafka第三课。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Flume
由三部分 Source Channel Sink
可以通过配置拦截器和Channel选择器,来实现对数据的分流,
可以通过对channel的2个存储容量的的设置,来实现对流速的控制

Kafka
同样由三大部分组成生产者服务器消费者
生产者负责发送数据给服务器
服务器存储数据
消费者通过从服务器取数据

但是,Kafka比Flume要更精细一点
生产者到服务器存数据(发数据): Kafka第三课,kafka,大数据,flume,kafka,linq,分布式

获取配置->修改配置->拦截器->序列化器->分区器->sender 到broker
Kafka第三课,kafka,大数据,flume,kafka,linq,分布式

服务器如何存数据?
选举leader和发回消息
1.一个分区多个副本的controller同时去抢注册ZK
2.注册成功的监控broker节点变化
3.然后开始选举，选举出来将结果传给zk
4.其他的controller对从zk上同步节点信息（每个controller都会监控zk）
4.1.Leader挂了的话，重新选举，然后其他controller重新同步
5.选举出来之后，生产者开始发送数据，数据由Leader同步到follower副
6.发送的数据就是Segment(默认1个G)，
那么什么是Segment .log .timeindex .index .snapshot leader .metadata
50个consumer_offset 就是存储消费者读取的偏移量
7.向生产者应答
Kafka第三课,kafka,大数据,flume,kafka,linq,分布式

注意一下Leader挂是怎么挂？
1.broker直接挂 2. 数据太多，崩掉

消费者到服务器取数据:
消费者是按topic去读取的,一般都是一个分区对应一个消费者
消费者的offset由消费者自己提交到系统主题保存
按组按照消费策略进行读取
Kafka第三课,kafka,大数据,flume,kafka,linq,分布式

消费者组初始化
1.选出coordinator groupid的哈希值%50 这个组下的所有消费者提交offset都往这个分区提交
2.消费者实例到coordinator注册，然后coordinator选出一个consumer leader
3.Consumer leader制定一个消费方案，发给coordinator 然后coordinator转发
4.每个消费者都和coordinator保持心跳3s，超时（45s）移除该消费者，或者处理时间过长（超过5分钟），触发再平衡，重新制定消费方案
Kafka第三课,kafka,大数据,flume,kafka,linq,分布式