Apache zookeeper kafka 开启SASL安全认证_kafka开启认证(1)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新网络安全全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上网络安全知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip204888 （备注网络安全）

正文

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
zookeeper.sasl.client=true

#### 2. 配置zookeeper **JAAS**


cat zk\_jaas.conf文件内容如下，如果没有改文件则使用vi命令编辑

Server {
org.apache.zookeeper.server.auth.DigestLoginModule required
username=“admin”
password=“admin123”
user_kafka=“kafka123”;
};

1. 注意：admin用户 是zk 集群之间使用的。kafka用户 是 broker 与 zk 之间使用的。


#### 3. **修改zkEnv.sh**

将上一步添加的 jaas 配置文件添加到zookeeper的环境变量中，zkEnv.sh文件最后添加一行：

vim zkEnv.sh

ZOOBINDIR=“$ZOOBINDIR:-/usr/bin"ZOOKEEPE{R}_{P}REFIX="${ZOOBINDIR}/…”

添加如下 新增变量SERVER_JVMFLAGS：

export SERVER_JVMFLAGS=“-Djava.security.auth.login.config=…/conf/zk_jaas.conf”

### 配置kafka sasl动态认证

SASL/SCRAM认证是把凭证(credential)存储在Zookeeper，使用kafka-configs.sh在Zookeeper中创建凭据。对于每个SCRAM机制，必须添加具有机制名称的配置来创建凭证，所以在启动Kafka broker之前需要创建代理间通信的凭据。

这里配置的 Kafka和生产者/消费者之间 采用SASL/PLAIN和SASL/SCRAM两种方式共同完成认证，授权使用ACL方式。PLAIN方式的用户是在jaas文件中写死的，不能动态的添加；SCRAM支持动态的添加用户。

#### 1. 创建用户


配置SASL/SCRAM认证的第一步，是配置可以连接到kafka集群的用户。本案例创建了3个用户：admin，producer，consumer。kafka\_server\_admin用户用于broker之间的认证通信，producer用户用于生产者连接kafka，consumer用户用于消费者连接kafka 。

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name admin

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name producer

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name consumer

#### 2. 查看创建的用户信息


kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。比如在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。

./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users

#（可以单独指定某个用户 --entity-name producer，如下）
./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer

ZK客户端命令行查看：

./zkCli.sh -server localhost:2181

ls /config/users

#### 3. **配置kafka jaas文件**


配置了用户之后，我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。


Kafka 的 jaas认证配置文件，配置的是登录类，超管密码和管理的帐号密码列表


vim kafka\_server\_jaas.conf

KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username =“admin”
password=“admin123”
user_admin=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“admin”
password=“admin123”
user_producer=“producer123”
user_consumer=“consumer123”;
};
Client {
org.apache.kafka.common.security.scram.ScramLoginModule required
username=“kafka”
password=“kafka123”;
};

KafkaServer中usename配置的是kafka服务端使用的账号和密码，后面的user\_xxx事预设的普通帐号认证信息。  
    
 中间部分配置的是PLAIN认证方式的账户和密码，其中producer1是账户名，producer123是密码。  
 Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk\_jaas.conf.conf 中 user\_kafka 的账号和密码相同。  
    
 关于这个文件内容，需要注意以下两点：  
    
 1）不要忘记最后一行和倒数第二行结尾处的分号；  
    
 2）JAAS 文件中不需要任何空格键。


#### 4. **kafka 配置文件启用SASL认证**


Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类  
 cat server.properties其它内容都注释掉，然后追加如下内容：

broker.id=0
listeners=SASL_PLAINTEXT://:9092
advertised.listeners=SASL_PLAINTEXT://localhost:9092
sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
security.inter.broker.protocol=SASL_PLAINTEXT
allow.everyone.if.no.acl.found=false
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka/logs
num.partitions=3
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.flush.interval.messages=10000
log.flush.interval.ms=1000
log.retention.hours=168
log.retention.bytes=1073741824
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
delete.topic.enable=true
auto.create.topics.enable=false
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0

Host.name=43.138.0.199

#### 5. **kafka 启动脚本添加认证文件路径的环境变量**


Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置，修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行，增加一个参数指向 jaas 配置文件的绝对路径


vi kafka-server-start.sh

exec $base_dir/kafka-run-class.sh $EXTR{A}_{A}RGS-Djava.security.auth.login.config=/home/lighthouse/kafk{a}_2.12-2.2.1/config/kafk{a}_{s}erve{r}_{j}aas.confkafka.Kafka"$@"

####  6. **kafka客户端配置**


1) 配置consumer.properties和producer.properties,都要加入以下配置

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512

2) 生产者配置


使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。


config目录下创建一个producer.conf的文件，cat producer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“producer” password=“producer123”;

注意：Topic设置写权限


3) 消费者配置


使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。需要为 consumer 用户创建consumer.conf给消费者程序，同时设置对topic的读权限。


config目录下创建一个consumer.conf的文件，cat consumer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
mLoginModule required username=“consumer” password=“consumer123”;

注意：Topic设置读权限。


4) 在生产者和消费者启动脚本中引入JAAS文件

vim bin/kafka-console-producer.sh

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname $0)/kafka-run-class.shkafka.tools.ConsoleProducer"$@"

vim bin/kafka-console-consumer.sh

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
export KAFKA_HEAP_OPTS=“-Xmx512M”
fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname $0)/kafka-run-class.shkafka.tools.ConsoleConsumer"$@"

### 启动kafka

nohup kafka-server-start.sh /path-to-kafka/config/server.properties &文章来源地址https://www.toymoban.com/news/detail-855971.html

还有兄弟不知道网络安全面试可以提前刷题吗？费时一周整理的160+网络安全面试题，金九银十，做网络安全面试里的显眼包！


王岚嵚工程师面试题（附答案），只能帮兄弟们到这儿了！如果你能答对70%，找一个安全工作，问题不大。


对于有1-3年工作经验，想要跳槽的朋友来说，也是很好的温习资料！


【完整版领取方式在文末！！】


***93道网络安全面试题***























内容实在太多，不一一截图了


### 黑客学习资源推荐


最后给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！


对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。


😝朋友们如果有需要的话，可以联系领取~

#### 1️⃣零基础入门


##### ① 学习路线


对于从来没有接触过网络安全的同学，我们帮你准备了详细的**学习成长路线图**。可以说是**最科学最系统的学习路线**，大家跟着这个大的方向学习准没问题。





##### ② 路线对应学习视频


同时每个成长路线对应的板块都有配套的视频提供：





#### 2️⃣视频配套工具&国内外网安书籍、文档


##### ① 工具





##### ② 视频





##### ③ 书籍




资源较为敏感，未展示全面，需要的最下面获取




##### ② 简历模板




 **因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆**

  





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

.png#pic_center)


##### ② 简历模板




 **因篇幅有限，资料较为敏感仅展示部分资料，添加上方即可获取👆**

  





**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注网络安全）**
[外链图片转存中...(img-8MQApmHb-1713299871460)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

到了这里，关于Apache zookeeper kafka 开启SASL安全认证_kafka开启认证(1)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！