Kafka 知识点学习【Kafka 学习之24问-第二十四刊】

🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。
🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。
🎉欢迎 👍点赞✍评论⭐收藏

Kafka知识专栏学习

kafka 面试题

01、kafka 如何获取 topic 主题的列表？

Kafka提供了一种通过AdminClient来获取主题列表的方式。AdminClient是Kafka提供的一个管理客户端，可以用于执行管理操作，包括获取主题列表、创建主题、删除主题等。

以下是使用AdminClient获取Kafka主题列表的示例：

import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.AdminClientConfig;
import org.apache.kafka.clients.admin.ListTopicsResult;
import org.apache.kafka.clients.admin.TopicListing;
import org.apache.kafka.common.KafkaFuture;

import java.util.Properties;
import java.util.Set;
import java.util.concurrent.ExecutionException;

public class KafkaTopicListExample {
    public static void main(String[] args) {
        // Kafka配置
        Properties props = new Properties();
        props.put(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");

        // 创建AdminClient
        try (AdminClient adminClient = AdminClient.create(props)) {
            // 获取主题列表
            ListTopicsResult topicsResult = adminClient.listTopics();
            KafkaFuture<Set<TopicListing>> topicListingFuture = topicsResult.listings();
            Set<TopicListing> topicListings = topicListingFuture.get();

            // 打印主题列表
            for (TopicListing topicListing : topicListings) {
                System.out.println("Topic: " + topicListing.name());
            }
        } catch (InterruptedException | ExecutionException e) {
            e.printStackTrace();
        }
    }
}

在上述示例中，通过创建AdminClient并指定Kafka的bootstrap.servers配置，然后调用listTopics方法获取主题列表。最后遍历主题列表，打印每个主题的名称。

请注意，需要根据实际的Kafka集群配置修改bootstrap.servers的值。

02、kafka 中生产者和消费者的命令行是什么？

Kafka中，生产者和消费者的命令行工具是分别使用 kafka-console-producer 和 kafka-console-consumer 命令。

1. 生产者命令行工具 kafka-console-producer ：
   • 命令格式： kafka-console-producer.sh 或 kafka-console-producer.bat （Windows环境）
   • 命令参数：
     • --bootstrap-server ：指定Kafka集群的地址和端口。
     • --topic ：指定要发送消息的主题。
     • --property ：可选参数，用于设置生产者的属性，如序列化器、分区器等。
   • 示例：

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic my-topic

2. 消费者命令行工具 kafka-console-consumer ：
   • 命令格式： kafka-console-consumer.sh 或 kafka-console-consumer.bat （Windows环境）
   • 命令参数：
     • --bootstrap-server ：指定Kafka集群的地址和端口。
     • --topic ：指定要消费消息的主题。
     • --from-beginning ：可选参数，从主题的开始位置开始消费消息。
     • --property ：可选参数，用于设置消费者的属性，如反序列化器、消费组等。
   • 示例：

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning

以上是Kafka中生产者和消费者的命令行工具的简单介绍和示例。根据实际的Kafka集群配置和需求，可以使用相应的命令行工具进行消息的生产和消费。

03、kafka 中的consumer是推还是拉？

Kafka中的消费者（consumer）是拉（pull）模式的。消费者通过主动向Kafka Broker发送拉取请求来获取消息，而不是被动地由Broker推送消息给消费者。

具体来说，消费者会定期向Broker发送拉取请求，请求获取指定主题（topic）的消息。消费者可以自行控制拉取的频率和每次拉取的消息数量。一旦消费者获取到消息，就可以进行相应的处理。

举例说明：

假设有一个名为"my-topic"的主题，有多个分区（partitions）存储着消息。消费者可以按照以下步骤进行拉取消费：

1. 消费者向Kafka Broker发送拉取请求，请求获取"my-topic"主题的消息。
2. Kafka Broker根据消费者的请求，返回该消费者可用的消息。
3. 消费者收到消息后，进行相应的处理，如打印、存储等。
4. 消费者可以根据需要，继续发送拉取请求，获取更多的消息。

通过拉取模式，消费者可以根据自身的处理能力和需求，控制消息的拉取速率和处理方式。这种灵活性使得消费者能够根据自身的情况进行消费，避免了消息被推送过来但无法及时处理的问题。

04、讲讲 kafka 维护消费状态跟踪的方法？

Kafka维护消费状态跟踪的方法主要有两种：偏移量提交（Offset Commit）和消费者组协调器（Consumer Group Coordinator）。

1. 偏移量提交（Offset Commit）：

   消费者通过定期提交消费的偏移量（offset）给Kafka Broker来跟踪消费状态。偏移量表示消费者在每个分区上已经消费的消息位置。

具体操作步骤：

• 消费者在处理完一批消息后，将当前消费的偏移量提交给Kafka Broker。
• Kafka Broker将提交的偏移量存储在内部的偏移量存储（offset storage）中，通常是存储在ZooKeeper或Kafka内置的__consumer_offsets主题中。
• 消费者在下次启动时，可以从上次提交的偏移量位置继续消费消息。

2. 消费者组协调器（Consumer Group Coordinator）：

   Kafka通过消费者组协调器来管理和跟踪消费者组的消费状态。消费者组是一组具有相同group.id的消费者，它们共同消费一个或多个主题的消息。

具体操作步骤：

• 消费者加入消费者组，并与消费者组协调器建立连接。
• 消费者组协调器负责分配分区给消费者组内的消费者，并跟踪每个消费者的消费状态。
• 消费者组协调器会将消费者的偏移量提交给偏移量存储，确保消费者组能够从正确的位置消费消息。
• 消费者组协调器还负责处理消费者的加入、离开和重新平衡等操作。

通过偏移量提交和消费者组协调器，Kafka能够跟踪和管理消费者的消费状态，确保消费者能够从正确的位置消费消息并实现消息的持久性和可靠性。

05、讲一下 kafka 的主从同步？

Kafka并不直接支持主从同步的概念，因为它是一个分布式的消息队列系统，主要用于高吞吐量的消息传递。然而，Kafka提供了一些机制来实现数据的备份和冗余，以确保数据的可靠性和可用性。

1. 副本机制（Replication）：
   Kafka使用副本机制来提供数据的冗余备份。每个主题的分区可以有多个副本，其中一个副本被视为领导者（Leader），负责处理读写请求，其他副本被视为追随者（Follower）。领导者负责接收和处理消息，然后将消息复制到追随者上。如果领导者发生故障，Kafka会自动选举一个新的领导者。

2. ISR机制（In-Sync Replicas）：
   Kafka使用ISR机制来确保副本之间的同步。ISR是一组与领导者保持同步的副本，它们可以保证在发生故障时可以迅速接管领导者的角色。只有处于ISR中的副本才能被选为新的领导者。

3. 消费者的读写一致性：
   Kafka的消费者在读取消息时可以选择不同的读取策略。消费者可以选择从领导者读取消息（保证读写一致性），也可以选择从追随者读取消息（提高读取性能）。消费者可以根据自身的需求和业务场景选择合适的读取策略。

通过副本机制和ISR机制，Kafka确保了数据的冗余备份和高可用性。消费者可以根据需要选择合适的读取策略，以实现读写一致性或提高读取性能。这些机制共同保证了Kafka的数据可靠性和可用性。

06、为什么需要消息系统，mysql 不能满足需求吗？

消息系统的存在有以下几个主要原因，使其在某些场景下比MySQL等关系型数据库更适合满足需求：

1. 异步通信：消息系统可以实现异步通信，发送方将消息发送到消息系统后即可继续处理其他任务，而不需要等待接收方的响应。这种异步通信模式可以提高系统的吞吐量和响应速度。

2. 松耦合：消息系统可以实现不同组件之间的松耦合通信。发送方和接收方之间不直接依赖，它们只需要通过消息系统进行通信，从而减少了组件之间的依赖性。

3. 可靠性和持久化：消息系统通常具有高可靠性和持久化能力，确保消息在传输过程中不会丢失，并且可以在接收方准备好之前进行存储。这对于一些对数据可靠性有高要求的场景非常重要。

4. 广播和订阅模式：消息系统支持广播和订阅模式，可以将消息发送给多个接收方，实现消息的发布和订阅。这种模式对于需要将消息传递给多个消费者的场景非常有用。

5. 大规模分布式系统：在大规模分布式系统中，消息系统可以作为解耦和缓冲的中间层，协调不同组件之间的通信和数据交换，提高系统的可伸缩性和容错性。

尽管MySQL等关系型数据库可以用于存储和检索数据，但在处理实时消息传递、异步通信、松耦合、广播和订阅等需求方面，消息系统更加适合。因此，在特定的业务场景中，选择合适的消息系统可以更好地满足需求。

07、zookeeper 对于 kafka 的作用是什么？

ZooKeeper对于Kafka的作用是提供分布式协调和服务发现功能。作为一个分布式协调服务，ZooKeeper可以帮助Kafka集群中的各个节点进行协同工作，确保集群的稳定和可靠性。

具体来说，ZooKeeper在Kafka中的作用包括：

1. 配置管理：Kafka的配置信息可以存储在ZooKeeper中，Kafka节点可以通过ZooKeeper来获取最新的配置信息，从而实现集群的动态配置管理。

2. 集群管理：ZooKeeper可以维护Kafka集群的元数据，包括Broker节点的注册与发现、Topic和Partition的分配等。Kafka节点通过与ZooKeeper的交互，可以实现集群中各个节点的协调工作。

3. Leader选举：Kafka中的Partition会有一个Leader节点负责处理读写请求，而其他节点则作为Follower节点进行数据的复制。ZooKeeper可以协助Kafka进行Leader选举，以确保集群中的Partition在Leader节点故障时能够快速选择新的Leader。

4. 故障检测和恢复：ZooKeeper可以帮助Kafka检测节点的故障，并及时通知其他节点进行相应的处理。当Kafka节点发生故障时，ZooKeeper可以协助进行故障恢复，保证集群的可用性。

总的来说，ZooKeeper在Kafka中扮演着重要的角色，提供了分布式协调和服务发现的功能，确保Kafka集群的稳定运行和高可用性。

08、kafka 中数据传输的事务定义有哪三种？

Kafka中的数据传输事务定义有以下三种：

1. 单消息事务（Single Message Transaction）：在单个消息级别上实现事务的一致性。即将消息的生产和消费操作封装在同一个事务中，要么消息被完整地写入Kafka，要么消息不会被写入。

2. 批量消息事务（Batch Message Transaction）：将一批消息的生产和消费操作封装在同一个事务中。要么所有的消息都被完整地写入Kafka，要么所有的消息都不会被写入。

3. 事务性消息（Transactional Message）：通过在生产者端引入事务的方式来确保消息的一致性。在事务中，生产者可以将多个写入操作（包括写入消息和写入其他系统的操作）组合在一起，并以原子方式提交或回滚。

这些事务定义提供了不同的粒度和灵活性，以满足不同的数据传输需求。开发者可以根据具体的业务场景和要求选择适合的事务定义来保证数据传输的一致性和可靠性。

09、kafka 判断一个节点是否还活着有那两个条件？

在Kafka中，判断一个节点是否还活着通常有以下两个条件：

1. 心跳检测（Heartbeat）：Kafka集群中的每个节点会周期性地发送心跳信号给集群的控制器（Controller）。如果一个节点长时间没有发送心跳信号，控制器将认为该节点已经宕机或不可用。

2. 元数据更新（Metadata Update）：Kafka集群中的每个节点都会负责一部分分区（Partition）的数据。如果一个节点长时间没有更新元数据（例如，没有更新分区的Leader信息），其他节点将认为该节点已经宕机或不可用。

通过定期的心跳检测和元数据更新，Kafka集群可以判断一个节点是否还活着或可用。如果一个节点不满足上述条件，其他节点将认为该节点已经宕机或不可用，并进行相应的处理，例如重新选举Leader或者重新分配分区。

10、kafka 与传统 MQ 消息系统之间有三个关键区别？

Kafka与传统的消息队列（MQ）系统相比，有以下三个关键区别：

1. 消息持久化方式：传统MQ系统通常将消息持久化到磁盘上，以确保消息在发送和接收之间的可靠性。而Kafka通过将消息持久化到磁盘上，并使用高效的顺序写入和批量提交方式，实现了高吞吐量和低延迟的消息处理。Kafka的设计目标是将消息持久化到磁盘上，并允许消息在一定时间内进行重放，以满足大规模数据处理和实时流处理的需求。

2. 消息消费模型：传统MQ系统通常采用点对点（Point-to-Point）或发布-订阅（Publish-Subscribe）的消息消费模型。点对点模型中，一个消息只能被一个消费者消费；发布-订阅模型中，一个消息可以被多个消费者消费。而Kafka采用发布-订阅模型，其中消息由一个或多个生产者发布到一个或多个主题（Topic），然后由一个或多个消费者订阅和消费这些主题上的消息。这种模型允许多个消费者以并行的方式消费消息，从而实现高吞吐量。

3. 消息存储和处理方式：传统MQ系统通常将消息存储在内存中，以便快速的消息传递和处理。而Kafka将消息持久化到磁盘上，并使用分布式文件系统来存储和管理消息。Kafka通过分区和复制机制，将消息分布在多个Broker节点上，实现了高可用性和容错性。此外，Kafka还提供了流处理和批处理的能力，允许对消息进行实时和离线的数据处理。

总的来说，Kafka与传统的MQ系统相比，具有更高的吞吐量、更低的延迟和更强的持久性。它采用发布-订阅模型，支持分布式存储和处理，适用于大规模数据处理和实时流处理的场景。

11、讲一讲 kafka 的 ack 的三种机制。

Kafka的消息确认（ack）机制是指生产者在发送消息后，等待消息被成功写入Kafka并被消费者确认的方式。Kafka提供了三种不同的消息确认机制，分别是"acks=0"、“acks=1"和"acks=all”。

1. acks=0：当生产者将消息发送到Kafka后，不会等待任何确认，直接认为消息发送成功。这种机制下，生产者无法获知消息是否成功写入Kafka，也无法处理写入失败的情况。这种方式的吞吐量最高，但消息丢失的风险也最大。

说明：生产者发送消息后，不等待任何确认直接返回，继续发送下一条消息。如果在发送过程中出现网络故障或Kafka节点故障，可能导致消息丢失。

2. acks=1：当生产者将消息发送到Kafka后，会等待Kafka的Leader副本成功写入消息后返回确认。生产者会收到一个来自Kafka的确认，表示消息已被写入Leader副本。这种机制下，生产者可以处理写入失败的情况，但仍有可能出现消息丢失。

说明：生产者发送消息后，等待Leader副本成功写入消息并返回确认。如果Leader副本写入成功后，但在消息被复制到其他副本之前，发生网络故障或Kafka节点故障，可能导致消息丢失。

3. acks=all：当生产者将消息发送到Kafka后，会等待所有的In-Sync Replica（ISR）副本成功写入消息后返回确认。生产者会收到一个来自Kafka的确认，表示消息已被写入ISR中的所有副本。这种机制下，消息的可靠性最高，但吞吐量相对较低。

说明：生产者发送消息后，等待所有ISR副本成功写入消息并返回确认。只有当消息被写入ISR中的所有副本后，生产者才会收到确认。这种方式可以确保消息不会丢失，即使发生部分副本故障，仍可以从其他副本中获取消息。

需要根据实际的业务需求和可靠性要求选择合适的ack机制。如果对消息的可靠性要求很高，可以选择acks=all机制；如果对吞吐量要求较高，可以选择acks=1机制；如果对消息的可靠性要求不高，可以选择acks=0机制。

12、kafka 消费者如何不自动提交偏移量，由应用提交？

Kafka消费者默认会自动提交偏移量（offset），但也可以通过设置来禁用自动提交，由应用程序手动提交偏移量。这样可以更精确地控制偏移量的提交时机，确保消息被完全处理后再提交偏移量。

以下是禁用自动提交偏移量并由应用程序手动提交的示例：

1. 在消费者配置中设置 enable.auto.commit 为 false ，禁用自动提交偏移量。

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-group");
props.put("enable.auto.commit", "false");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

1. 在消费消息的循环中，处理完消息后手动提交偏移量。

try {
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        for (ConsumerRecord<String, String> record : records) {
            // 处理消息
            processMessage(record.value());
        }
        // 手动提交偏移量
        consumer.commitSync();
    }
} finally {
    consumer.close();
}

在上述示例中，通过将 enable.auto.commit 设置为 false 禁用了自动提交偏移量。在消息处理循环中，消费者会先处理消息，然后手动调用 commitSync() 方法来提交偏移量。

通过手动提交偏移量，应用程序可以更细粒度地控制偏移量的提交时机，确保消息被完全处理后再提交偏移量。这样可以避免消息丢失或重复消费的问题。

13、kafka 消费者故障，出现活锁问题如何解决？

Kafka消费者的活锁问题通常是由于异常处理不当或者消费速度过快导致的。解决该问题的方法包括以下几点：

1. 适当处理异常：在消费消息的过程中，应该适当处理可能引发异常的情况，例如网络异常、数据格式错误等。可以使用try-catch语句捕获异常，并根据具体情况进行处理，例如记录日志、跳过错误消息等。

2. 减慢消费速度：如果消费者处理消息的速度过快，可能会导致活锁问题。可以通过限制消费者的处理速度来解决该问题，例如增加消费消息的间隔时间、降低消费者的线程数等。

3. 增加消费者数量：如果活锁问题是由于消费者数量不足导致的，可以考虑增加消费者的数量来提高消费速度。通过增加消费者实例，可以并行处理更多的消息，减少活锁问题的发生。

4. 调整消费者配置：根据具体的情况，可以调整消费者的配置参数来优化消费过程。例如，增加 max.poll.records 参数的值，提高每次拉取的消息数量；调整 fetch.max.bytes 参数的值，增加每次拉取的字节大小等。

5. 监控和调优：定期监控消费者的运行情况，收集性能指标和日志，根据实际情况进行调优。可以使用Kafka提供的工具和监控系统，例如Kafka自带的Consumer Offset Checker工具、Kafka Manager、Kafka Monitor等。

通过以上方法，可以解决Kafka消费者的活锁问题，确保消费者能够正常处理消息，避免出现活锁情况。

14、kafka 如何控制消费的位置？

在Kafka中，可以通过消费者组和偏移量（offset）来控制消费的位置。偏移量表示消费者在一个特定分区中已经消费的消息的位置。以下是几种常见的控制消费位置的方法：

1. 自动提交偏移量（Auto Commit Offset）：Kafka消费者可以自动定期地提交偏移量，表示已经成功消费了某个分区的消息。这种方式由Kafka Consumer API提供，默认情况下开启。

2. 手动提交偏移量（Manual Commit Offset）：消费者可以在适当的时候手动提交偏移量，以确保消息被成功消费和处理。手动提交偏移量可以提供更精确的控制，但需要开发人员自己编写代码来实现。

3. 指定初始偏移量（Specify Initial Offset）：在创建消费者时，可以指定初始的偏移量，从而控制消费者从指定的位置开始消费消息。可以选择从最早的偏移量开始消费（earliest）或者从最新的偏移量开始消费（latest）。

4. Seek方法（Seek Method）：Kafka提供了 seek 方法，可以让消费者根据具体的偏移量进行定位，从指定的位置开始消费消息。

具体使用哪种方法来控制消费位置取决于具体的业务需求。自动提交偏移量适用于简单的消费场景，手动提交偏移量和指定初始偏移量适用于需要更精确控制的场景，而Seek方法适用于需要随时跳转到指定位置的场景。

在Kafka中，可以通过手动提交偏移量的方式来控制消费的位置。以下是使用Java代码说明如何控制消费的位置：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("group.id", "my-consumer-group");
props.put("enable.auto.commit", "false"); // 关闭自动提交偏移量

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
consumer.subscribe(Arrays.asList("my-topic"));

try {
    while (true) {
        ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
        for (ConsumerRecord<String, String> record : records) {
            // 处理消费的消息
            System.out.println("Received message: " + record.value());
        }
        
        // 手动提交偏移量
        consumer.commitSync();
    }
} finally {
    consumer.close();
}

在上述代码中，首先创建了一个Kafka消费者，并设置了相关的属性，其中 enable.auto.commit 被设置为 false ，表示关闭自动提交偏移量。

然后通过 consumer.subscribe 方法订阅了要消费的主题。

在消费消息的循环中，通过 consumer.poll 方法获取消息记录，并进行处理。

最后，在适当的时机调用 consumer.commitSync 手动提交偏移量，确保消息被成功消费。

通过手动提交偏移量的方式，可以精确地控制消费的位置，以确保消息的处理和消费的一致性。

需要注意的是，消费者组中的每个消费者都会维护自己的偏移量，以便从上次消费的位置继续消费。控制消费位置时，需要考虑消费者组中的所有消费者的情况，以避免重复消费或者遗漏消息。

15、kafka 分布式（不是单机）的情况下，如何保证消息的顺序消费?

在Kafka分布式环境下，要保证消息的顺序消费，可以采取以下几个方法：

1. 单一分区：确保每个主题只有一个分区，这样可以保证消息在分区内的顺序消费。但是这种方式会限制并行性和吞吐量。

2. 分区键：根据业务需求，将具有相同顺序要求的消息发送到同一个分区，通过指定相同的分区键（Partition Key）来实现。这样可以保证相同分区键的消息在同一个分区内按顺序消费，但是不同分区键的消息可能会乱序。

3. 单线程消费者：使用单个消费者线程从每个分区中消费消息，并在应用程序中保持处理的顺序。这种方式可以保证单个消费者线程内的顺序消费，但是并不能保证整体顺序。

4. 顺序消息处理器：使用一个专门的组件来处理消息，该组件负责按照顺序将消息发送到应用程序中进行处理。可以使用Apache Kafka Streams或自定义的顺序消息处理器来实现。

需要注意的是，Kafka本身是一个分布式消息系统，消息的顺序性在分布式环境下是比较难以保证的。上述方法可以在一定程度上提高消息的顺序性，但是无法完全消除消息乱序的可能性。因此，在设计应用程序时，需要根据实际需求和业务场景来选择合适的方法来处理消息的顺序性。

16、kafka 的高可用机制是什么？

Kafka的高可用机制主要通过以下几个方面来实现：

1. 副本机制：Kafka使用副本机制来提供高可用性。每个主题的分区可以有多个副本，其中一个副本作为领导者（leader），负责处理读写请求，其他副本作为追随者（follower），与领导者保持同步。当领导者副本发生故障时，可以通过选举机制自动选举新的领导者，保证服务的可用性。

2. ISR机制：Kafka使用ISR（In-Sync Replicas）机制来保证数据的可靠性。ISR是与领导者副本保持同步的副本集合，只有ISR中的副本才能成为新的领导者。当副本与领导者的同步滞后或发生故障时，会被从ISR中移除，保证数据的一致性和可靠性。

3. Controller机制：Kafka集群中有一个Controller节点，负责管理整个集群的状态和协调工作。Controller负责监控副本状态，处理副本的故障转移、选举新的领导者等操作，确保集群的高可用性。

4. 心跳机制和检测机制：Kafka通过心跳机制和检测机制来监测和检测集群中的节点和副本的状态。节点定期发送心跳信号，告知Controller自己的状态，Controller根据心跳信息判断节点是否存活。同时，Kafka还会定期检测副本的同步状态，确保副本与领导者保持同步。

通过以上机制，Kafka能够提供高可用性的消息传递服务。副本机制和ISR机制保证了数据的可靠性和一致性，Controller机制负责集群的管理和协调，心跳机制和检测机制用于监测和检测节点和副本的状态。这些机制共同保证了Kafka集群的高可用性。

17、kafka 如何减少数据丢失？

Kafka如何减少数据丢失主要通过以下几个方面来实现：

1. 持久化存储：Kafka将消息持久化存储在磁盘上，确保即使在发生故障或重启后，消息仍然可用。每个消息都会被追加到日志文件中，而不是直接覆盖原有的数据，这样可以避免数据丢失。

2. 复制机制：Kafka使用副本机制来提供数据的冗余备份。每个主题的分区可以有多个副本，其中一个副本作为领导者（leader），负责处理读写请求，其他副本作为追随者（follower），与领导者保持同步。当领导者副本发生故障时，可以通过选举机制自动选举新的领导者，保证数据的可用性和不丢失。

3. ISR机制：Kafka使用ISR（In-Sync Replicas）机制来保证数据的可靠性。ISR是与领导者副本保持同步的副本集合，只有ISR中的副本才能成为新的领导者。当副本与领导者的同步滞后或发生故障时，会被从ISR中移除，确保数据的一致性和可靠性。

4. 使用可靠性级别（acknowledgment）：Kafka提供了多个可靠性级别，可以在生产者发送消息时设置。例如， acks=1 表示只需要领导者副本确认消息写入成功， acks=all 表示需要所有副本都确认消息写入成功。通过设置适当的可靠性级别，可以确保消息在发送过程中不会丢失。

5. 设置合适的重试机制：Kafka的生产者在发送消息时，可以配置重试次数和重试间隔，以便在发送失败时进行重试。通过设置适当的重试机制，可以增加消息发送的可靠性。

说明：

假设有一个Kafka主题(topic)包含两个分区(partition)，每个分区有两个副本。其中，副本1作为领导者，副本2作为追随者。当生产者发送消息到该主题时，消息会被追加到领导者副本的日志文件中。追随者副本会从领导者副本中复制消息，并保持与领导者副本的同步。如果领导者副本发生故障，Kafka会自动选举新的领导者，确保消息的可用性和不丢失。

Kafka如何减少数据丢失主要通过以下几个方面来实现：

1. 使用可靠性级别（acknowledgment）：Kafka提供了多个可靠性级别，可以在生产者发送消息时设置。例如， acks=1 表示只需要领导者副本确认消息写入成功， acks=all 表示需要所有副本都确认消息写入成功。通过设置适当的可靠性级别，可以确保消息在发送过程中不会丢失。

举例说明：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 3);
props.put("batch.size", 16384);
props.put("linger.ms", 1);
props.put("buffer.memory", 33554432);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
producer.send(record);
producer.close();

在上述示例中，通过设置 acks 为 all ，确保所有副本都确认消息写入成功，从而减少数据丢失的风险。

2. 设置合适的重试机制：Kafka的生产者在发送消息时，可以配置重试次数和重试间隔，以便在发送失败时进行重试。通过设置适当的重试机制，可以增加消息发送的可靠性。

举例说明：

Properties props = new Properties();
props.put("bootstrap.servers", "localhost:9092");
props.put("acks", "all");
props.put("retries", 3);
props.put("retry.backoff.ms", 1000);
props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");

Producer<String, String> producer = new KafkaProducer<>(props);
ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "value");
try {
    producer.send(record);
} catch (Exception e) {
    // 发送失败，进行重试或其他处理
}
producer.close();

在上述示例中，通过设置 retries 为3，当发送消息失败时，会进行最多3次的重试。

通过以上方式，可以在Kafka中减少数据丢失的风险，提高消息的可靠性。根据具体的业务需求，可以选择合适的可靠性级别和重试机制来确保消息不会丢失。

通过持久化存储、复制机制和ISR机制，以及使用可靠性级别（acknowledgment），设置合适的重试机制Kafka能够减少数据丢失的风险，保证消息的可靠性和持久性。即使在发生故障或节点失效的情况下，Kafka仍然能够提供高可靠性的消息传递服务。

18、kafka 如何不消费重复数据？比如扣款，我们不能重复的扣。

在Kafka中避免消费重复数据的一种常见方法是使用消费者的消费位移（offset）来记录已经消费的消息的位置。通过跟踪消费位移，可以确保消费者不会重复消费相同的消息。

具体操作步骤如下：

1. 创建一个消费者组（Consumer Group）：将多个消费者组织成一个组，每个消费者都有一个唯一的消费者ID。

2. 在消费者端设置自动提交位移（offset）：消费者可以配置自动提交位移的功能，这样在消费者消费消息后，会自动将消费位移提交到Kafka集群。

3. 处理消息时进行幂等性检查：在消费者处理消息的逻辑中，需要进行幂等性检查，确保相同的消息不会被重复处理。可以通过记录已处理的消息ID或其他唯一标识符来实现幂等性。

举例说明：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-consumer-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");

        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("my-topic"));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                // 检查是否已经处理过该消息，可以根据消息ID或其他唯一标识符进行判断
                if (!isProcessed(record.key())) {
                    // 处理消息的逻辑
                    processMessage(record.value());
                }
            }
        }
    }

    private static boolean isProcessed(String messageId) {
        // 根据消息ID判断是否已经处理过该消息，可以通过数据库、缓存等方式记录已处理的消息
        // 如果已经处理过，则返回true，否则返回false
        // 示例中假设所有消息都是未处理的，需要根据实际情况进行实现
        return false;
    }

    private static void processMessage(String message) {
        // 处理消息的逻辑
        // 示例中只打印消息内容，实际业务中可以进行扣款等操作
        System.out.println("Processing message: " + message);
    }
}

在上述示例中，创建了一个消费者，并设置了消费者组ID、序列化器、消费位移的自动提交等配置。在消费消息时，通过 isProcessed 方法检查消息是否已经处理过，如果未处理过，则执行相应的处理逻辑（例如扣款操作）。

通过以上方式，可以避免在Kafka中消费重复数据的问题，确保每条消息只被处理一次。需要根据具体的业务场景和需求，结合消息的唯一标识符来确定幂等性的实现方式。

19、kafka 可以脱离 zookeeper 单独使用吗？为什么？

Kafka在较早的版本中是依赖于ZooKeeper的，用于管理Kafka的元数据和协调集群中的各个Broker。然而，自Kafka 0.10版本开始，引入了Kafka自己的元数据管理和协调机制，称为Kafka集群元数据（Kafka Cluster Metadata）功能，使得Kafka可以脱离ZooKeeper单独使用。

现在的Kafka版本已经可以独立运行，不再需要依赖ZooKeeper的支持。这种独立模式下的Kafka称为KRaft模式，它使用自己的元数据存储和选举机制来实现高可用性和数据一致性。

使用Kafka脱离ZooKeeper单独运行的好处包括：

1. 简化部署和管理：不再需要维护和管理ZooKeeper集群，减少了系统的复杂性。

2. 提高性能：由于不需要与ZooKeeper进行通信和同步，Kafka在处理请求和写入数据时可以更加高效。

3. 提高可靠性：Kafka自己的元数据存储和选举机制提供了更可靠的集群管理和故障恢复能力。

举例说明Kafka脱离ZooKeeper单独使用的操作：

1. 配置Kafka：在Kafka的配置文件中设置适当的参数，以启用Kafka的独立模式。

2. 启动Kafka：使用配置文件启动Kafka集群，Kafka会使用自己的元数据存储和选举机制来管理集群。

通过以上操作，Kafka就可以脱离ZooKeeper单独运行，从而简化了部署和管理，并提供了更高的性能和可靠性。需要注意的是，Kafka脱离ZooKeeper的功能是在较新的Kafka版本中引入的，因此需要使用相应版本的Kafka来支持。

20、kafka 有几种数据保留的策略？

Kafka有以下几种数据保留策略：

1. 删除策略（Deletion Policy）：通过设置保留策略来删除旧的数据，以便为新的数据腾出空间。删除策略有两种类型：

   • 基于时间的保留策略（Time-based Retention Policy）：根据消息的时间戳来决定数据保留的时间。可以设置保留特定时间段内的消息，例如保留最近7天的消息。

   • 基于大小的保留策略（Size-based Retention Policy）：根据主题的大小来决定数据保留的大小。可以设置保留特定大小的消息，例如保留最新的1GB数据。

2. 日志压缩策略（Log Compaction Policy）：保留主题中的最新数据和键的最新状态，删除旧的数据和重复的键。这种策略适用于需要保留最新状态的场景，如存储键值对的主题。

代码示例：

可以通过Kafka的管理工具或者Kafka命令行工具来设置数据保留策略。以下是使用Kafka命令行工具设置数据保留策略的示例：

1. 设置基于时间的保留策略：

shell
# 设置主题"my_topic"的保留时间为7天
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.ms=604800000

2. 设置基于大小的保留策略：

shell
# 设置主题"my_topic"的保留大小为1GB
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type topics --entity-name my_topic --alter --add-config retention.bytes=1073741824

通过以上方式，可以根据需求设置Kafka主题的数据保留策略，以控制数据的保留和清理。

21、kafka 同时设置了 7 天和 10G 清除数据，到第五天的时候消息达到了 10G，这个时候 kafka 将如何处理？

当Kafka同时设置了7天和10G的数据保留策略，并且在第五天时消息达到了10G，Kafka将按照先到达的限制条件进行数据清理。在这种情况下，Kafka将优先按照大小限制进行数据清理，即删除旧的数据以保持总大小不超过10G。

具体来说，Kafka将删除先到达的消息，直到总大小不超过10G为止。因此，即使还未到达7天的保留期限，Kafka也会删除旧的消息以满足大小限制。

需要注意的是，Kafka的数据清理是异步进行的，因此在实际清理过程中可能会有一些延迟。此外，如果消息的压缩策略为日志压缩策略（Log Compaction Policy），则会保留最新的消息和键的最新状态，而删除旧的消息和重复的键。

总之，当Kafka设置了多个数据保留策略时，会按照先到达的限制条件进行数据清理，确保数据保留在限定的时间范围和大小范围内。

22、什么情况会导致 kafka 运行变慢？

Kafka运行变慢的情况有多种可能，以下是一些常见的情况：

1. 硬件资源不足：Kafka需要足够的CPU、内存和磁盘资源来处理消息。如果硬件资源不足，会导致Kafka的性能下降。例如，磁盘IO瓶颈、内存不足等都可能导致Kafka运行变慢。

2. 网络问题：Kafka是一个分布式系统，依赖于网络进行消息传输。如果网络出现延迟、丢包或带宽不足等问题，会导致Kafka的性能下降。

3. 配置不当：Kafka有多个配置参数可以进行调整，包括副本数、批处理大小、缓冲区大小等。如果配置不当，可能会导致Kafka性能下降。例如，设置过小的批处理大小可能导致频繁的磁盘写入，影响性能。

4. 消费者处理缓慢：如果消费者处理消息的速度跟不上生产者发送消息的速度，会导致消息在Kafka中积压，从而影响Kafka的性能。

5. 磁盘空间不足：如果Kafka的磁盘空间不足，会导致无法写入新的消息，从而影响Kafka的性能。

6. 日志压缩：如果启用了日志压缩功能，压缩操作可能会消耗一定的CPU资源，从而影响Kafka的性能。

7. 高延迟操作：如果在Kafka中执行高延迟的操作，如复制数据、索引重建等，会导致Kafka运行变慢。

这些是导致Kafka运行变慢的一些常见情况，具体的原因需要根据实际情况进行分析和排查。可以通过监控Kafka的指标、查看日志、调整配置参数等方式来解决性能问题。

23、使用 kafka 集群需要注意什么？

使用Kafka集群需要注意以下几点：

1. 高可用性：Kafka集群应该配置为具有高可用性，以确保在节点故障时仍能提供服务。可以通过设置多个Broker节点、使用副本机制和配置适当的ISR（In-Sync Replicas）参数来提高Kafka的可用性。

2. 数据备份：Kafka使用副本机制来提供数据冗余和容错能力。在配置Kafka集群时，应该设置适当的副本因子（replication factor），确保每个分区的数据都有足够的备份。

3. 硬件资源：Kafka集群需要足够的硬件资源来处理消息。需要确保每个Broker节点具有足够的CPU、内存和磁盘空间来处理消息的读写操作。

4. 网络配置：Kafka集群中的节点之间需要进行网络通信。应该确保网络带宽足够、延迟较低，并且网络连接稳定可靠。

5. 监控和警报：为了及时发现和解决问题，需要配置适当的监控和警报系统来监控Kafka集群的健康状态，包括节点状态、磁盘使用情况、消息延迟等指标。

6. 配置参数：Kafka有多个配置参数可以进行调整，包括副本数、批处理大小、缓冲区大小等。应该根据实际需求和负载情况来调整这些参数，以获得更好的性能和吞吐量。

7. 安全性：如果需要保护Kafka集群的数据安全性，可以配置SSL/TLS加密、身份验证和授权机制等安全措施。

8. 扩展性：在设计Kafka集群时，应该考虑到未来的扩展需求。可以通过添加更多的Broker节点、调整分区数量和副本因子等方式来扩展Kafka集群的容量和吞吐量。

这些是使用Kafka集群时需要注意的一些方面。根据实际情况和需求，可能还需要考虑其他因素来确保Kafka集群的稳定性和性能。

24、kafka 是如何保证消息不丢失的？

Kafka通过副本机制来保证消息不丢失。具体来说，Kafka将消息分为多个分区，并在集群中的多个Broker节点上进行副本复制。每个分区有一个Leader副本和多个Follower副本，Leader副本负责处理读写请求，而Follower副本用于备份数据。

当生产者发送消息到Kafka集群时，消息首先被写入Leader副本的日志中。一旦Leader副本确认写入成功，就会将消息复制到其他Follower副本。只有当Leader副本和一定数量的Follower副本都确认写入成功后，生产者才会收到确认消息。

在消费者读取消息时，它会从Leader副本或Follower副本中读取数据。即使Leader副本发生故障，Kafka也可以从Follower副本中继续提供服务。

以下是使用Java代码示例说明Kafka如何保证消息不丢失：

1. 创建生产者并发送消息：

import org.apache.kafka.clients.producer.*;

public class KafkaProducerExample {
    private static final String TOPIC = "my-topic";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

        Producer<String, String> producer = new KafkaProducer<>(props);

        String message = "Hello, Kafka!";
        ProducerRecord<String, String> record = new ProducerRecord<>(TOPIC, message);

        producer.send(record, new Callback() {
            public void onCompletion(RecordMetadata metadata, Exception exception) {
                if (exception != null) {
                    exception.printStackTrace();
                } else {
                    System.out.println("Message sent successfully! Partition: " + metadata.partition()
                            + ", Offset: " + metadata.offset());
                }
            }
        });

        producer.close();
    }
}

2. 创建消费者并读取消息：

import org.apache.kafka.clients.consumer.*;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {
    private static final String TOPIC = "my-topic";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092";
    private static final String GROUP_ID = "my-group";

    public static void main(String[] args) {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, GROUP_ID);
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());

        Consumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList(TOPIC));

        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(100);
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("Received message: " + record.value() +
                        ", Partition: " + record.partition() +
                        ", Offset: " + record.offset());
            }
        }
    }
}

通过以上代码示例，可以使用Kafka的Java客户端库来创建生产者和消费者，并发送和接收消息。Kafka的副本机制确保了消息在集群中的多个节点上进行备份，从而保证了消息的持久性和不丢失性。

文章来源地址https://www.toymoban.com/news/detail-743367.html

到了这里，关于Kafka 知识点学习【Kafka 学习之24问-第二十四刊】的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！