Golang中常用的kafka库-Toy模板网

这篇具有很好参考价值的文章主要介绍了Golang中常用的kafka库。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文将介绍目前主流的三种第三方kafka库，并结合实际使用中遇到的问题，给出实际的解决方案，本文只涉及kafka数据的消费，且其中对所有库的使用仅为测试过的简单代码，仅记录自己踩坑过程。
问题：最开始使用的是sarama-cluster库，git地址为链接: github.com/bsm/sarama-cluster，但是这个库在使用过程中，存在从头消费kafka数据问题，实际消费场景是实时消费kafka数据，其中有关kafka的配置如下：

package main

import (
	"time"
	"github.com/Shopify/sarama"
	cluster "github.com/bsm/sarama-cluster"
)

func main() {
	clusterConfig := cluster.NewConfig()
	clusterConfig.Consumer.Return.Errors = true
	clusterConfig.Group.Return.Notifications = true
	clusterConfig.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange
	clusterConfig.Version = sarama.V0_11_0_0
	clusterConfig.Consumer.Offsets.CommitInterval = 1 * time.Second
	clusterConfig.Consumer.Offsets.Initial = sarama.OffsetNewest

	// TODO: 添加你的业务逻辑
}

sarama-cluster已经废弃了，没有人维护了，所以遇到的问题不易找到解决方案，故考虑换库。
注意：在实际使用中，需要考虑一个现实问题，生产数据的kafka集群和消费kafka的集群在两台服务器，且两台服务器之间并没有进行时钟同步，故基于此情况下考虑去消费实时数据

kafka-go

首先考虑比较轻量的kafka-go库，github的地址为链接: github.com/segmentio/kafka-go，具体的代码示例如下：

package main

import (
   "time"
   "github.com/segmentio/kafka-go"
)

func main() {
   brokers := "192.168.13.22:9092"
   groupID := "test"
   topic := "example"
   consumer := kafka.NewReader(kafka.ReaderConfig{
   	Brokers:     brokers,
   	GroupID:     groupID,
   	Topic:       topic,
   	MinBytes:    10e3, // 10KB
   	MaxBytes:    10e6, // 10MB
   	StartOffset: kafka.LastOffset, // 这个很关键，决定了是否是从最新的位置消费数据
   })
   // 消费数据
   for {
   	msg, err := consumer.ReadMessage(context.Background())
   	if err != nil {
   		fmt.Printf("kafka消费异常,err:%v\n", err)
   		continue
   	}
   	fmt.Printf("Message on partition%d, offset %d, topic %s, msg:%s, time[%v]\n", msg.Partition,
   		msg.Offset, msg.Topic, string(msg.Value), msg.Time)
   	// TODO: 添加你的业务逻辑
   }
}

踩坑点：经过多次尝试和实际代码调试，kafka-go库中需要注意以下几点：

broker是slice，故可以设置多个，但是topic是string类型只能是一个，所以如果有多个topic需要消费，只能采取使用NewReader去创建多个kafka消费者实例
关于group id的设置，真的是踩坑无数，如果group id 设置为空的话，只会消费partition为0的数据。group id相同可能会接着上次未消费的数据进行消费而不是实时消费，这个结论没有验证，但是为了保险起见，多个consumer实例设置为不同的group id没有任何问题
如果需要实时消费，即消费最新的数据，一定要设置StartOffset字段为kafka.LastOffset，这个是尝试了很多才找到的

confluent-kafka-go
git上的地址为：github.com/confluentinc/confluent-kafka-go/kafka
创建kafkaConsumer实例及消费数据如下：

func NewConFluentConsumer(broker string, groupId string, topics []string) (*kafka.Consumer, error) {
	c, err := kafka.NewConsumer(&kafka.ConfigMap{
		"bootstrap.servers": broker,
		"group.id":          groupId,
		"auto.offset.reset": "latest",
	})
	if err != nil {
		fmt.Printf("new confluent consumer failed, err[%v]\n", err)
		return nil, err
	}

	err = c.SubscribeTopics(topics, nil)
	if err != nil {
		fmt.Printf("subscribe topic[%v] failed, err[%v]\n", topics, err)
		return nil, err
	}

	fmt.Printf"new confluent consumer success, broker[%s], groupId[%s], topic[%v]\n", broker, groupId, topics)
	return c, nil
}

func ConsumerMessageWorker(consumer *kafka.Consumer) {
	if consumer == nil {
		return
	}
	for {
		msg, err := consumer.ReadMessage(-1)
		if err == nil {
			fmt.Printf("Message on partition%d, topic %s, msg:%s\n", msg.TopicPartition.Partition,*msg.TopicPartition.Topic, string(msg.Value))
		// TODO 增加消费到的消息处理逻辑
		} else if !err.(kafka.Error).IsTimeout() {
			// 没超时，但是报错了
			// The client will automatically try to recover from all errors.
			// Timeout is not considered an error because it is raised by
			// ReadMessage in absence of messages.
			fmt.Printf("Consumer error: %v (%v)\n", err, msg)
		}
	}
}

其中kafka消费配置使用的map参数可以在https://github.com/confluentinc/librdkafka/tree/master/CONFIGURATION.md中找到相关的描述
经测试，是可以支持单个broker，多个topic对数据进行消费，但是考虑到此库使用了c库，故在跨平台方面可能对程序的移植存在兼容性问题，故弃用。
阿里云的相关网站上也有kafka消费的一些示例，可以参考，链接如下：https://help.aliyun.com/zh/sls/user-guide/use-confluent-kafka-go-to-achieve-kafka-consumption
3. sarama
比较冗余和复杂，还有考虑到当时的时间问题，没有进行具体的测试文章来源地址https://www.toymoban.com/news/detail-780983.html

到了这里，关于Golang中常用的kafka库的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！