启动hadoop、在hdfs中创建需要访问的目录
配置Hadoop的核心配置文件
core-site.xml：设置Hadoop的核心配置参数，例如NameNode的地址、数据块大小、副本数量等。示例配置如下：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>hdfs-site.xml：设置HDFS（Hadoop分布式文件系统）的参数，例如数据块复制因子、NameNode的存储路径等。示例配置如下：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-3.3.0/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-3.3.0/data/datanode</value>
</property>
</configuration>mapred-site.xml：如果使用MapReduce框架，则需要配置该文件，设置JobTracker的地址等信息。示例配置如下：
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>格式化NameNode。在终端中输入以下命令：
hdfs namenode -format需要注意的是，格式化会删除所有已有的HDFS数据，所以需要谨慎执行。
配置Hadoop集群的JAVA_HOME
vim ./etc/hadoop/hadoop-env.sh#添加JAVA_HOME路径
export JAVA_HOME = /opt/jdk-8启动Hadoop集群。在终端中输入以下命令：
start-all.sh如果一切正常，Hadoop集群将启动成功
创建hdfs存储目录
hdfs dfs -mkdir -p /user/test/flumebackup查看是否有该目录
hdfs dfs -ls -R /user/2.启动zookeeper、kafka并创建主题
因为我已经做了一遍该配置，请移步至→
https://blog.csdn.net/HaveAGoodDay428/article/details/129567879
3.配置flume配置文件并启动flume
创建flume配置文件flume-kafka.conf文章来源：https://www.toymoban.com/news/detail-603918.html
启动Flume文章来源地址https://www.toymoban.com/news/detail-603918.html
./bin/flue-ng agent -n a1 -c conf -f ./conf/flume-kafka.conf -Dflume.root.logger=INFO,console4.netcat向本地10050端口发送socket数据
nc localhost 10050可以通过查看hdfs存储目录中每次发送socket数据时是否新增文件
到了这里，关于Flume多路复用模式把接收数据注入kafka 的同时，将数据备份到HDFS目录的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
