使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic

这篇具有很好参考价值的文章主要介绍了使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

记录:460

场景:在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka的Topic的创建和删除。

版本:JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。

Kafka安装:https://blog.csdn.net/zhangbeizhen18/article/details/129071395

1.微服务中配置Kafka信息

1.1在pom.xml添加依赖

pom.xml文件:

<dependency>
  <groupId>org.apache.kafka</groupId>
  <artifactId>kafka-clients</artifactId>
  <version>3.0.0</version>
</dependency>

解析:使用原生的kafka-clients,版本:3.0.0。操作kafka的生产者、消费、Topic。

2.使用AdminClient创建Kafka的Topic

AdminClient全称:org.apache.kafka.clients.admin.AdminClient

(1)示例代码

@RestController
@RequestMapping("/hub/example/topic")
@Slf4j
public class UseKafkaTopicController {
  private String topicName = "hub-topic-city-02";
  @GetMapping("/f01_1")
  public Object f01_1() {
      try {
          //1.获取Kafka配置信息
          Map<String, Object> configs = new HashMap<>();
          configs.put("bootstrap.servers", "192.168.19.203:29001");
          //2.创建客户端AdminClient
          AdminClient adminClient = KafkaAdminClient.create(configs);
          //3.获取Topic清单
          Set<String> topicSet = adminClient.listTopics().names().get();
          log.info("在Kafka已建Topic数量: {} ,清单:", topicSet.size());
          topicSet.forEach(System.out::println);
          //4.创建Topic
          if (!topicSet.contains(topicName)) {
              log.info("新建Topic: {}", topicName);
              // Topic名称,分区Partition数目,复制因子(replication Factor)
              NewTopic newTopic = new NewTopic(topicName, 1, (short) 1);
              Collection<NewTopic> newTopics = Lists.newArrayList(newTopic);
              adminClient.createTopics(newTopics);
          }
      } catch (Exception e) {
          log.info("创建Topic异常.");
          e.printStackTrace();
      }
      return "创建成功";
  }
}

(2)解析代码

操作Kafka的Topic需要先创建AdminClient,使用AdminClient的API创建Topic。

创建Topic一般只需指定Topic名称,分区Partition数目,复制因子(replication Factor)就行。

3.使用AdminClient删除Kafka的Topic

AdminClient全称:org.apache.kafka.clients.admin.AdminClient

(1)示例代码

@RestController
@RequestMapping("/hub/example/topic")
@Slf4j
public class UseKafkaTopicController {
  private String topicName = "hub-topic-city-02";
  @GetMapping("/f01_2")
  public Object f01_2() {
      try {
          //1.获取Kafka配置信息
          Map<String, Object> configs = new HashMap<>();
          configs.put("bootstrap.servers", "192.168.19.203:29001");
          //2.创建客户端AdminClient
          AdminClient adminClient = KafkaAdminClient.create(configs);
          //3.获取Topic清单
          Set<String> topicSet = adminClient.listTopics().names().get();
          //4.删除Topic
          if (topicSet.contains(topicName)) {
              log.info("删除Topic: {}", topicName);
              Collection<String> topics = Lists.newArrayList(topicName);
              DeleteTopicsResult deleteTopicsResult = adminClient.deleteTopics(topics);
              deleteTopicsResult.all().get();
          }
      } catch (Exception e) {
          log.info("删除Topic异常.");
          e.printStackTrace();
      }
      return "删除成功";
  }
}

(2)解析代码

操作Kafka的Topic需要先创建AdminClient,使用AdminClient的API删除Topic。

创建Topic一般只需指定Topic名称就行。

4.测试

创建请求RUL:http://127.0.0.1:18209/hub-209-kafka/hub/example/topic/f01_1

删除请求RUL:http://127.0.0.1:18209/hub-209-kafka/hub/example/topic/f01_2

以上,感谢。

2023年6月17日文章来源地址https://www.toymoban.com/news/detail-488923.html

到了这里,关于使用Kafka客户端(kafka-clients)的Java API操作Kafka的Topic的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Kafka客户端(spring-kafka)的Java API操作Kafka的Topic

    记录 :458 场景 :在Spring Boot微服务集成Kafka客户端spring-kafka-2.8.2操作Kafka的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,spring-kafka-2.8.2。 Kafka安装 :https://blog.csdn.net/zhangbeizhen18/article/details/129071395 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文件: 解析

    2024年02月09日
    浏览(44)
  • java使用kafka-clients集成0.10.0.0版本kafka(一)

    因为某个功能需要对接的kafka是一个上古版本 0.10.0.0 ,公司项目又是springcloud项目,导致版本兼容性的问题很头大 1.kafka的版本号 下载的windows版kafka如:kafka_2.10-0.10.0.0 2.10标识编译kafka集群的scala版本号,kafka的服务端编码语言为scala 0.10.0.0标识kafka真正的版本号 kafka的版本号从

    2024年02月07日
    浏览(55)
  • 使用kafka-clients的Java API操作Kafka集群的Topic

    记录 :464 场景 :在Spring Boot微服务集成Kafka客户端kafka-clients-3.0.0操作Kafka集群的Topic的创建和删除。 版本 :JDK 1.8,Spring Boot 2.6.3,kafka_2.12-2.8.0,kafka-clients-3.0.0。 Kafka集群安装 :https://blog.csdn.net/zhangbeizhen18/article/details/131156084 1.微服务中 配置Kafka信息 1.1在pom.xml添加依赖 pom.xml文

    2024年02月09日
    浏览(45)
  • kafka 02——三个重要的kafka客户端

    请参考下面的文章: Kafka 01——Kafka的安装及简单入门使用. AdminClient API: 允许管理和检测Topic、Broker以及其他Kafka对象。 Producer API: 发布消息到一个或多个API。 Consumer API: 订阅一个或多个Topic,并处理产生的消息。 如下: 完整的pom 关于配置,可参考官网: https://kafka.apa

    2024年02月13日
    浏览(47)
  • kafka客户端工具(Kafka Tool)的安装

    官方下载 根据不同的系统下载对应的版本,点击下载后双击,如何一直下一步,安装 kafka环境搭建请参考:CentOS 搭建Kafka集群 (1)连接kafka (2)简单使用  

    2024年04月23日
    浏览(76)
  • kafka客户端应用参数详解

    Kafka提供了非常简单的客户端API。只需要引入一个Maven依赖即可: 1、消息发送者主流程  然后可以使用Kafka提供的Producer类,快速发送消息。 ​ 整体来说,构建Producer分为三个步骤: 设置Producer核心属性  :Producer可选的属性都可以由ProducerConfig类管理。比如ProducerConfig.BOOTST

    2024年02月07日
    浏览(54)
  • kafka:java集成 kafka(springboot集成、客户端集成)

    摘要 对于java的kafka集成,一般选用springboot集成kafka,但可能由于对接方kafka老旧、kafka不安全等问题导致kafak版本与spring版本不兼容,这个时候就得自己根据kafka客户端api集成了。 一、springboot集成kafka 具体官方文档地址:https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/

    2023年04月22日
    浏览(61)
  • 【Kafka】Kafka客户端认证失败:Cluster authorization failed.

    kafka客户端是公司内部基于spring-kafka封装的 spring-boot版本:3.x spring-kafka版本:2.1.11.RELEASE 集群认证方式:SASL_PLAINTEXT/SCRAM-SHA-512 经过多年的经验,以及实际验证,配置是没问题的,但是业务方反馈用相同的配置,还是报错! 封装的kafka客户端版本过低,高版本的配置项:secu

    2024年01月17日
    浏览(53)
  • Kafka客户端程序无法连接到Kafka集群的解决方法

    Kafka是一个高性能、分布式的流式数据平台,广泛用于构建实时数据流处理应用程序。然而,有时候我们可能会遇到Kafka客户端程序无法连接到Kafka集群的问题。在本文中,我将介绍一些可能导致连接问题的常见原因,并提供相应的解决方案。 网络配置问题 首先,确保Kafka集群

    2024年01月21日
    浏览(64)
  • 一个基于Kafka客户端封装的工具,Kafka开发效率神器

    GitHub源码https://github.com/zhangchuangiie/SimpleKafka 一个基于Kafka客户端封装的工具,Kafka开发效率神器 封装了常用的Kafka客户端操作,无需维护配置,无需初始化客户端,真正实现了一行代码调用 将连接池的维护封装在工具类里面,多线程使用也无需维护客户端集合 只需要集成1个

    2024年02月05日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包