IoTDB 集群环境搭建

这篇具有很好参考价值的文章主要介绍了IoTDB 集群环境搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

什么是IoTDB

IoTDB(Internet of Things Database)是一个专门设计用于存储和管理大规模物联网(IoT)数据的开源时序数据库系统。它专注于高效地存储、查询和分析时间序列数据,特别适用于物联网应用中的大量实时数据。

IoTDB的主要特点包括:

  • 时序数据存储: IoTDB专为存储时间序列数据而设计,可以高效地存储各种类型的时间序列数据,如传感器数据、监控数据等。
  • 高性能: IoTDB通过多种优化策略实现高性能的数据写入和查询,支持实时数据的高速写入和查询。
  • 灵活的查询: IoTDB提供丰富的查询语言和查询接口,允许用户进行复杂的查询和分析操作。
  • 数据压缩: IoTDB支持数据压缩,可以减小存储空间占用,同时保持查询性能。
  • 多数据类型支持: IoTDB支持不同类型的数据,如数字、字符串、布尔值等。
  • 分布式支持: IoTDB可以在分布式环境下运行,支持数据分片和分布式查询,以应对大规模数据存储和查询需求。
  • 开源: IoTDB是开源的,可以免费使用、修改和分发。

IoTDB主要用于处理物联网领域的数据,例如工业自动化、智能家居、智能城市、智能农业等领域,这些领域通常涉及大量的实时数据采集和处理。通过使用IoTDB,开发人员可以更好地管理和分析这些大规模的时间序列数据。

安装相关软件

sudo yum install lsof net-tools -y

优化系统配置

sudo vim /etc/security/limits.conf
* soft nofile 655360
* hard nofile 131072
* soft nproc 655350
* hard nproc 655350
* seft memlock unlimited
* hard memlock unlimitedd

sudo vim /etc/sysctl.conf
net.core.somaxconn = 65535

# 重启电脑
reboot
  • soft nofile 655360:为所有用户设置软限制的最大文件句柄数为 655360。
  • hard nofile 131072:为所有用户设置硬限制的最大文件句柄数为 131072。
  • soft nproc 655350:为所有用户设置软限制的最大进程数为 655350。
  • hard nproc 655350:为所有用户设置硬限制的最大进程数为 655350。
  • soft memlock unlimited:为所有用户设置软限制的内存锁定为无限制。
  • hard memlock unlimited:为所有用户设置硬限制的内存锁定为无限制。

JDK17安装

# 下载 & 解压
cd /opt
wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
tar -zxvf jdk-17_linux-x64_bin.tar.gz

# 配置环境变量
vim /etc/profile

export JAVA_HOME=/opt/jdk-17.0.8
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

java -version

IoTDB安装

#https://www.apache.org/dyn/closer.cgi/iotdb/1.1.2/apache-iotdb-1.1.2-all-bin.zip
# 下载 & 解压
cd /opt
wget https://dlcdn.apache.org/iotdb/1.1.2/apache-iotdb-1.1.2-all-bin.zip
unzip apache-iotdb-1.1.2-all-bin.zip

IoTDB配置

cd /opt/apache-iotdb-1.1.2-all-bin

master 配置
vim config/iotdb-confignode.properties
cn_internal_address=172.31.7.114
cn_internal_port=10710
cn_consensus_port=10720
cn_target_config_node_list=172.31.7.114:10710

vim iotdb-datanode.properties
dn_rpc_address=172.31.7.114
dn_rpc_port=6667
dn_internal_address=172.31.7.114
dn_internal_port=10730
dn_mpp_data_exchange_port=10740
dn_schema_region_consensus_port=10750
dn_data_region_consensus_port=10760
dn_target_config_node_list=172.31.7.114:10710,172.31.5.102:10710,172.31.5.35:10710


slave1 配置
vim config/iotdb-confignode.properties
cn_internal_address=172.31.5.102
cn_internal_port=10710
cn_consensus_port=10720
cn_target_config_node_list=master:10710

vim iotdb-datanode.properties
dn_rpc_address=172.31.5.102
dn_rpc_port=6667
dn_internal_address=172.31.5.102
dn_internal_port=10730
dn_mpp_data_exchange_port=10740
dn_schema_region_consensus_port=10750
dn_data_region_consensus_port=10760
dn_target_config_node_list=172.31.7.114:10710,172.31.5.102:10710,172.31.5.35:10710


slave2 配置
vim config/iotdb-confignode.properties
cn_internal_address=172.31.5.35
cn_internal_port=10710
cn_consensus_port=10720
cn_target_config_node_list=master:10710

vim iotdb-datanode.properties
dn_rpc_address=172.31.5.35
dn_rpc_port=6667
dn_internal_address=172.31.5.35
dn_internal_port=10730
dn_mpp_data_exchange_port=10740
dn_schema_region_consensus_port=10750
dn_data_region_consensus_port=10760
dn_target_config_node_list=172.31.7.114:10710,172.31.5.102:10710,172.31.5.35:10710

为每台机器, 堆内存配置为机器内存的 1/4

vim conf/datanode-env.sh
vim conf/confignode-env.sh

MAX_HEAP_SIZE="4G"

启动与停止

# 启动
sbin/start-confignode.sh &
sbin/start-datanode.sh &

# 查看启动状态
tail -f logs/log_datanode_all.log
# 2023-08-22 06:55:53,761 [main] INFO  o.a.i.db.service.DataNode:184 - Congratulation, IoTDB DataNode is set up successfully. Now, enjoy yourself!

#停止
sbin/stop-datanode.sh
sbin/stop-confignode.sh

# 任意节点检验集群状态
sbin/start-cli.sh -h 172.31.7.114

sbin/start-cli.sh -h 172.31.5.102

sbin/start-cli.sh -h 172.31.5.35

show cluster;

集群启动时要先启动第一台,再运行后两台。才能做到3C3D
IoTDB 集群环境搭建,# IoTDB,iotdb

清理环境 ( 首次启动出现问题, 可尝试这里解决 )

sbin/stop-standalone.sh

ps -ef|grep iotdb

kill -9 <pid>

cd /opt/apache-iotdb-1.1.2-all-bin
rm -rf data logs

重启IoTDB

依次关停其他从机器, 再关停主机器

sbin/stop-datanode.sh
sbin/stop-confignode.sh

优先启动主机器, 再启动其他从机器 confignode

sbin/start-confignode.sh &

最后依次启动datanode

sbin/start-datanode.sh &

验证

# 进入任意节点 cli
# 执行插入数据
insert into root.abc.a123.b123 (time, test)values(now(), "Hello World");

# 执行查询数据
select * from root.abc.a123.b123;

# 删除某一个序列
delete from root.abc.a123.b123.status where time < now()

# 删除数据
delete from root.abc.a123.b123.* where time < 2023-08-22T20:55:08;

# 数据覆盖
insert into root.abc.a123.b123 (time, test)values(1692699108000, "Hello IoTDB");
insert into root.abc.a123.b123 (time, test)values(1692699108000, "Hello IoTDB !!!");

操作任意节点, 新增数据, 删除数据, 覆盖数据, 其他节点更新到对应的变化;文章来源地址https://www.toymoban.com/news/detail-671979.html

到了这里,关于IoTDB 集群环境搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • IoTDB使用学习笔记(四)

    本次笔记记录对TsFile的写入功能的学习,TsFile层面的类是TsFileWriter,用户通过该类提供的接口完成数据的写入 在TsFileWriter中,每个设备device都对应一个MeasurementSchemaGroup,记录了该设备下每个传感器的时序元数据,用户在写入数据之前,需要先调用TsFileWriter的register_timeseries

    2024年02月21日
    浏览(23)
  • IoTDB 小白“踩坑”心得:入门安装部署篇

    小伙伴介绍! 大家好,我是 zai,一个基本功不那么扎实、没有太多经验的大学生。我刚刚加入社区,接触 IoTDB,目前仍处于学习阶段,所以我会跟大家分享我学习过程中踩过的一些雷,以及对应的解决办法,希望大家多多指教! 作为 IoTDB 小白,认识软件的第一步必然是跑一

    2024年02月13日
    浏览(35)
  • IoTDB在springboot2中的(二) 查询

    上一章我们处理的基本的构建接入,以及插入的处理,那么接下来我们进行查询的操作处理。 我们继续在IoTDBSessionConfig工具类中加入查询的方法处理 1、queryMapData 方法的话就是查询结果为Map集合的处理,比如聚合函数的查询等等。 2、queryLastData 方法为根据SQL查询表中最新的

    2024年02月13日
    浏览(36)
  • 三种常用时序数据库对比调研-InfluxDB、Prometheus、IotDB

    时序数据治理是数据治理领域核心、打通IT与OT域数据链路,是工业物联网基石、大数据价值创造的关键、企业管理提升的发动机、是数字化转型的重要支撑。 工业企业在生产经营过程中,会运用物联网技术,采集大量的数据并进行实时处理,这些数据都是时序的,而且具有

    2024年02月22日
    浏览(43)
  • 从一到无穷大 #10 讨论 Apache IoTDB 大综述中看到的优劣势

    本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 本作品 (李兆龙 博文, 由 李兆龙 创作),由 李兆龙 确认,转载请注明版权。 在时序数据库这样一个小众的圈子里面每年有意思的东西并不多,每一篇顶会paper都值得细细品读。其次靠自己想很

    2024年02月13日
    浏览(58)
  • Apache IoTDB v1.3.0 发布|增加客户端服务器 SSL 通讯加密、写入负数时间戳等功能...

    Release Announcement   Version 1.3.0   Apache IoTDB v1.3.0 已经发布,主要新增 SSL 通讯加密、数据同步监控项统计等新特性,优化了原有权限模块的语法和逻辑、metrics 算法库性能、Python 客户端写入性能以及在部分查询场景下的查询效率,修复部分产品 bug 和性能问题。 欢迎在我们的网

    2024年01月17日
    浏览(58)
  • Don’t Hold My Data Hostage – A Case For Client Protocol Redesign 论文阅读 & Apache IoTDB TsBlock 对比

    Don’t Hold My Data Hostage – A Case For Client Protocol Redesign 是 VLDB 2017 的一篇论文,主要着眼于数据库客户端协议的设计。本文主要是个人对论文的一些理解,以及结合自己较熟悉的开源时序数据库 Apache IoTDB 进行了一些对比分析。如果有谬误之处,欢迎留言指正~ 将大量级数据从

    2024年02月12日
    浏览(51)
  • 保姆级教学——集群环境搭建及创建集群

    一些默认,加载镜像开启虚拟机,在安装位置选择自己目录,然后建立分区,首先添加 挂载点,类型标准分区,文件系统ext4 加载分区,期望给2G, 类型标准分区,swap默认 然后剩下47G给/就可以 网络打开,把kudmp对勾去掉 安装完成重新启动 查看自己的ip地址ip addr,我的是192

    2024年02月08日
    浏览(43)
  • Ansible环境搭建,CentOS 系列操作系统搭建Ansible集群环境

    Ansible是一种自动化工具,基于Python写的,原理什么的就不过多再说了,详情参考:https://www.itwk.cc/post/403.html https://blog.csdn.net/qq_34185638/article/details/131079320?spm=1001.2014.3001.5502 HOSTNAME IP OS master.example.com 10.5.5.132 CentOS Stream 8 Mini Install node1.example.com 10.5.5.133 CentOS Stream 8 Mini Install n

    2024年02月14日
    浏览(97)
  • ZooKeeper集群环境搭建

    🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 个人主页:beixi@ 本文章收录于专栏(点击传送):【大数据学习】 💓💓持续更新中,感谢各位前辈朋友们支持学习~💓💓 ZooKeeper集群由多个服务器节点组成,其中包括一个Leader节点和多个Follower节点。Leader节点负责处理所有

    2024年02月10日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包