1. Toy模板网首页
  2. > Toy博客

ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理

10月前 作者：Milton 分类：Toy博客 阅读(34) 违法举报

这篇具有很好参考价值的文章主要介绍了ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

ClickHouse

ClickHouse 属于 OLAP 数据库

OLTP 与 OLAP

  • OLTP (On-Line Transaction Processing 联机事务处理), 注重事务处理, 数据记录的性能和安全性
  • OLAP (On-Line Analytical Processing 联机分析处理), 注重数据分析, 重点在查询的性能

一般使用 OLTP 数据库做业务数据存储, 用 OLAP 数据库做查询分析.

ClickHouse 性能

  • 写入性能很高, 基本能到磁盘读写瓶颈
  • 适合宽表查询, 在JOIN查询时, 关联表需要控制在千万级别以内
  • 分布式场景下需要预先规划容量, 对于持续扩容需求的场景运维成本比较高
  • 支持全文搜索(inverted index, by n-gram or token), 具体讨论可以看这个讨论, 当前还处于experimental
  • 仅支持有限的事务, 保证INSERT过程的原子性, 包括写入和读取
  • 不支持 Windows. 虽然可以通过 WSL, Docker 之类运行在 Win10 上, 但是这样的方式仅仅是"能运行", 性能已经大打折扣, 没有实用价值.

在需要复杂查询的分布式场景, 可以考虑 Apache Doris.

安装

硬件需求

  • 硬盘安装需要2.5G空间
  • 内存不小于4G, 推荐16G以上, 越大越好
  • SSD + RAID, 文件格式 Ext4, XFS
  • 集群部署, 建议使用10G(万兆)网络

Ubuntu 安装

sudo apt-get install -y apt-transport-https ca-certificates dirmngr
# 在 /tmp 下创建临时目录
GNUPGHOME=$(mktemp -d)
echo $GNUPGHOME
# 生成 clickhouse-keyring.gpg
sudo GNUPGHOME="$GNUPGHOME" gpg --no-default-keyring --keyring /usr/share/keyrings/clickhouse-keyring.gpg --keyserver hkp://keyserver.ubuntu.com:80 --recv-keys 8919F6BD2B48D754
sudo rm -r "$GNUPGHOME"
sudo chmod +r /usr/share/keyrings/clickhouse-keyring.gpg
# 创建 ck 的 apt list
echo "deb [signed-by=/usr/share/keyrings/clickhouse-keyring.gpg] https://packages.clickhouse.com/deb stable main" | sudo tee /etc/apt/sources.list.d/clickhouse.list
# 更新软件包
sudo apt-get update
# 安装
sudo apt install -y clickhouse-server clickhouse-client

Centos7安装

sudo yum-config-manager --add-repo https://packages.clickhouse.com/rpm/clickhouse.repo
sudo yum install -y clickhouse-server clickhouse-client

CK 文件结构

  • 配置文件 /etc/clickhouse-server, config.xml 全局配置, users.xml 用户配置
  • 存储目录 /var/lib/clickhouse
    • 路径定义: /etc/clickhouse-server/config.xml <path>/var/lib/clickhouse/</path>, <tmp_path>/var/lib/clickhouse/tmp/</tmp_path>, <user_files_path>/var/lib/clickhouse/user_files/</user_files_path>
  • 日志路径 /var/log/clickhouse-server/, clickhouse-server.err.log clickhouse-server.log

服务管理

启动服务

sudo systemctl start clickhouse-server
sudo systemctl status clickhouse-server

服务IP和端口

默认只侦听本地请求, 打开服务端口, 编辑 /etc/clickhouse-server/config.xml

sudo chmod 600 /etc/clickhouse-server/config.xml
sudo vi /etc/clickhouse-server/config.xml

取消注释, 同时服务IPv6和IPv4

<listen_host>::</listen_host>

如果只需要提供IPv4, 可以取消这一行注释

<listen_host>0.0.0.0</listen_host>

这两行不能同时取消注释, 启动会报错

用户管理

ClickHouse 的用户分两种

  • 直接配置在 /etc/clickhouse-server/user.xml 中的用户, 例如 default
  • 在SQL中创建的用户

这两种用户的登录方式是一样的

配置用户口令

打开 /etc/clickhouse-server/user.xml 能看到设置用户口令相关的说明, 默认用户 default 的口令为空

简单的说就是

  • 明文口令直接用<password>qwerty</password>进行设置
  • SHA256口令用<password_sha256_hex>65e84be33532fb784c48129675f9eff3a682b27168c0ea744b2cf58ee02337c5</password_sha256_hex>
  • Double SHA1口令用<password_double_sha1_hex>e395796d6546b1b65db9d665cd43f0e858dd4303</password_double_sha1_hex>
  • LDAP验证用<ldap><server>my_ldap_server</server></ldap>
  • Kerberos验证用<kerberos><realm>EXAMPLE.COM</realm></kerberos>

相应的口令生成命令

# SHA256
PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
cY19OvVH                                                           <-- 口令
e17cd697e0845d75d2068ae1e1479d3fd10d76e5afa89724fbc6fe27554526e4   <-- SHA256结果

# Double SHA1
PASSWORD=$(base64 < /dev/urandom | head -c8); echo "$PASSWORD"; echo -n "$PASSWORD" | sha1sum | tr -d '-' | xxd -r -p | sha1sum | tr -d '-'
1gQO8XpM                                       <-- 口令
e9fdf3480016dfae8ad0170e846edd031180a3f4       <-- Double SHA1结果

如果 Centos7 下没有 xxd 命令, 需要通过以下命令安装

sudo yum install vim-common

如果需要增加位数

PASSWORD=$(base64 < /dev/urandom | head -c16); echo "$PASSWORD"; echo -n "$PASSWORD" | sha256sum | tr -d '-'
vlIlWHFqY0BbSy2f
e08ebd515246f1b5f3bfdb24b967a797b7218289b263ed0fbb3ff47fcc121f1b

如果需要自定义

PASSWORD=asdf1234; echo "$PASSWORD"; echo -n "$PASSWORD" | sha1sum | tr -d '-' | xxd -r -p | sha1sum | tr -d '-'
asdf1234
dda7b4594264195da8bb303516d7ec5509b7b942

通过 user.d 下的 xml 增加用户

例如新增一个带管理权限的用户 dbowner, 可以在 /etc/clickhouse-server/user.d 下创建文件 dbowner.xml, 内容为

<clickhouse>
    <users>
        <dbowner>
            <password>abcd1234</password>
            <networks>
                <ip>::/0</ip>
            </networks>

            <profile>default</profile>

            <quota>default</quota>

            <access_management>1</access_management>
        </dbowner>
    </users>
</clickhouse>

上面这个配置

  • 用户名为 dbowner
  • 口令为明文的 abcd1234
  • 网络来源: 所有IPv6, IPv4 地址
  • 允许使用管理权限(通过 access_management = 1)

clickhouse启动时, 会将 user.d 下的配置文件与 user.xml 合并, 并覆盖 user.xml 中重复的部分. 注意这个文件的权限, 需要将这个文件的owner设为 clickhouse, 否则 clickhouse 启动后读取会失败.

sudo chown clickhouse:clickhouse dbowner.xml

通过 SQL 增加用户, 并配置权限

具体的用户权限配置, 参考 ClickHouse 官方说明

https://clickhouse.com/docs/en/operations/access-rights

上面添加的 dbowner 用户只开启了 access_management, 默认情况下 SQL-driven access control 和 account management都是关闭的, 如果要启用完整的 SQL user mode, 要在<dbowner>下增加的配置为

<access_management>1</access_management>
<named_collection_control>1</named_collection_control>
<show_named_collections>1</show_named_collections>
<show_named_collections_secrets>1</show_named_collections_secrets>

在安装 ClickHouse 的机器上, 使用上面创建的 dbowner 登入 client, 并创建一个新用户 dbroot, 授予全部权限

$ clickhouse-client --user dbowner --password abcd1234

:) CREATE USER dbroot IDENTIFIED BY 'root1234';
CREATE USER dbroot IDENTIFIED WITH sha256_hash BY '21AC41BC256B35A32EC2021D359AE5F297AD7ED2F8ED8F7A2A1A7B9F1F94F898' SALT '56DC39142C0AEB19BC2C61AACBD9F27DD040E25489CC29B76D07D65F6D2A3AA1'
Query id: d0099db9-b292-4905-84bd-a91da19f8edc
Ok.
0 rows in set. Elapsed: 0.005 sec.

创建用户成功, 但是授予权限时报错了

:) GRANT ALL ON *.* TO dbroot WITH GRANT OPTION;
GRANT ALL ON *.* TO dbroot WITH GRANT OPTION
Query id: 92a50da8-d847-4f4f-a74c-95b9f1207a67
0 rows in set. Elapsed: 0.007 sec. 

Received exception from server (version 23.4.2):
Code: 497. DB::Exception: Received from localhost:9000. DB::Exception: dbowner: Not enough privileges. To execute this query it's necessary to have grant SHOW, SELECT, INSERT, ALTER, CREATE, DROP, UNDROP TABLE, TRUNCATE, OPTIMIZE, BACKUP, KILL QUERY, KILL TRANSACTION, MOVE PARTITION BETWEEN SHARDS, ACCESS MANAGEMENT, NAMED COLLECTION CONTROL, SYSTEM, dictGet, INTROSPECTION, SOURCES ON *.* WITH GRANT OPTION. (ACCESS_DENIED)

给dbowner增加以下权限

<named_collection_control>1</named_collection_control>
<show_named_collections>1</show_named_collections>
<show_named_collections_secrets>1</show_named_collections_secrets>

重启 ClickHouse 后再执行, 就能授权成功

:) GRANT ALL ON *.* TO dbroot WITH GRANT OPTION;
GRANT ALL ON *.* TO dbroot WITH GRANT OPTION
Query id: f4eaa3ce-8182-4717-9270-ce2e95eb2b88
Ok.
0 rows in set. Elapsed: 0.004 sec.

这时候, 就可以用 dbroot / root1234 登录 ClickHouse 了

连接

使用 clickhouse-client

clickhouse-client --user [user] --password [password]

使用 Tabix

用Firefox访问 http://dash.tabix.io, Chrome貌似不行, 会报 CORS 错误

填写服务器地址, 默认为 http://[server_ip]:8123, 用户 default, 口令为空

使用 DBeaver

服务器地址, 默认为 http://[server_ip]:8123, 用户 default, 口令为空

常用管理命令

创建数据库

CREATE DATABASE my_db;

创建表

CREATE TABLE my_db.my_table (id UInt64, column1 String) ENGINE = MergeTree() ORDER BY id;

创建用户

CREATE USER my_user IDENTIFIED BY 'password';

授予权限

# my_db下所有表的 ALTER 权限
GRANT ALTER ON my_db.* WITH GRANT OPTION;

# my_db下my_table表的 ALTER 权限
GRANT ALTER ON my_db.my_table TO my_user;

# 多个权限
GRANT SELECT, ALTER COLUMN ON my_db.my_table TO my_user WITH GRANT OPTION;

权限树

├── ALTER (only for table and view)/
│   ├── ALTER TABLE/
│   │   ├── ALTER UPDATE
│   │   ├── ALTER DELETE
│   │   ├── ALTER COLUMN/
│   │   │   ├── ALTER ADD COLUMN
│   │   │   ├── ALTER DROP COLUMN
│   │   │   ├── ALTER MODIFY COLUMN
│   │   │   ├── ALTER COMMENT COLUMN
│   │   │   ├── ALTER CLEAR COLUMN
│   │   │   └── ALTER RENAME COLUMN
│   │   ├── ALTER INDEX/
│   │   │   ├── ALTER ORDER BY
│   │   │   ├── ALTER SAMPLE BY
│   │   │   ├── ALTER ADD INDEX
│   │   │   ├── ALTER DROP INDEX
│   │   │   ├── ALTER MATERIALIZE INDEX
│   │   │   └── ALTER CLEAR INDEX
│   │   ├── ALTER CONSTRAINT/
│   │   │   ├── ALTER ADD CONSTRAINT
│   │   │   └── ALTER DROP CONSTRAINT
│   │   ├── ALTER TTL/
│   │   │   └── ALTER MATERIALIZE TTL
│   │   ├── ALTER SETTINGS
│   │   ├── ALTER MOVE PARTITION
│   │   ├── ALTER FETCH PARTITION
│   │   └── ALTER FREEZE PARTITION
│   └── ALTER LIVE VIEW/
│       ├── ALTER LIVE VIEW REFRESH
│       └── ALTER LIVE VIEW MODIFY QUERY
├── ALTER DATABASE
├── ALTER USER
├── ALTER ROLE
├── ALTER QUOTA
├── ALTER [ROW] POLICY
└── ALTER [SETTINGS] PROFILE

查看权限

SHOW GRANTS FOR  my_user;

可以看下只开了access_management的 default 和完整权限的 dbroot 的权限差别文章来源地址https://www.toymoban.com/news/detail-446069.html

:) show grants for dbroot;
┌─GRANTS FOR dbroot────────────────────────────┐
│ GRANT ALL ON *.* TO dbroot WITH GRANT OPTION │
└──────────────────────────────────────────────┘

:) show grants for default;
┌─GRANTS FOR default─────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ GRANT SHOW, SELECT, INSERT, ALTER, CREATE, DROP, UNDROP TABLE, TRUNCATE, OPTIMIZE, BACKUP, KILL QUERY, KILL TRANSACTION, MOVE PARTITION BETWEEN SHARDS, SYSTEM, dictGet, INTROSPECTION, SOURCES, CLUSTER ON *.* TO default │
└────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘

取消权限

REVOKE ALTER COLUMN ON my_db.my_table FROM my_user;

相关链接

  • https://jishuin.proginn.com/p/763bfbd59c4b
  • https://zhuanlan.zhihu.com/p/421469439
  • https://www.tinybird.co/blog-posts/text-search-at-scale-with-clickhouse
  • https://clickhouse.com/blog/clickhouse-search-with-inverted-indices

到了这里，关于ClickHouse笔记: Ubuntu/Centos下的安装, 配置和用户管理的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Linux学习笔记-Ubuntu系统下配置ssh免密访问，创建多用户免密访问

    Linux学习笔记-Ubuntu系统下配置ssh免密访问，创建多用户免密访问

    Ubuntu是linux系统，虽然他是支持界面化操作的，一般用来做服务器用，所以配置ssh可以比较安全的进行访问，也方便在其他地方访问服务器，轻松省事。 Ubuntu系统版本: 使用uname -a指令获取系统版本信息 具体信息如下： 系统类型： Linux 主机名：ubuntu 内核版本：5.15.0-79-generi

    2024年02月05日
    浏览(52)
  • Ubuntu介绍、与centos的区别、基于VMware安装Ubuntu Server 22.04、配置远程连接、安装jdk+Tomcat

    Ubuntu介绍、与centos的区别、基于VMware安装Ubuntu Server 22.04、配置远程连接、安装jdk+Tomcat

    目录 ​编辑 一、Ubuntu22.04介绍 二、Ubuntu与Centos的区别 三、基于VMware安装Ubuntu Server 22.04 下载 VMware安装 1.创建新的虚拟机 2.选择类型配置 3.虚拟机硬件兼容性 4.安装客户机操作系统 5.选择客户机操作系统 6.命名虚拟机 7.处理器配置 8.虚拟机内存 9.网络类型 10. 选择I/O控制器类

    2024年03月13日
    浏览(49)
  • 【用户画像】ClickHouse简介、特点、安装和部署

    【用户画像】ClickHouse简介、特点、安装和部署

    之前数仓和画像的处理都是批处理，一般在夜间进行，花费时间很长，按照脚本和调度去完成，后来的处理称为即时处理，即时处理要求计算的时间非常之短，存放在hive中，肯定是不行的，这种需求既要求从一定的数据量中提取（如果是小数量可以从MySQL提取），同时需要速

    2024年02月12日
    浏览(34)
  • 在CentOS7中，安装并配置Redis【个人笔记】

    在CentOS7中，安装并配置Redis【个人笔记】

    输入命令su  ---切换到root用户【如果已经是，则不需要进行该操作】 apt search redis ---使用apt命令来搜索redis相关的软件包【查询后，检查redis版本是否是你需要的，如果不是则需要看看其他资料~】 apt install redis ---此时安装的就是上述的redis版本 手动修改配置文件：  进入red

    2024年02月10日
    浏览(43)
  • Ubuntu安装clickhouse数据库

    Ubuntu安装clickhouse数据库

    目录 1、更新包列表  2、运行安装脚本 3、设置密码 4、启动服务 5、测试连接 6、下载官方测试数据         1、下载数据集直接执行以下代码          2、创建数据库         3、创建数据表(1)         4、创建数据表（2）         5、导入数据 7、测试查询  8、远程连接

    2024年02月02日
    浏览(47)
  • 构建本地Web小游戏网站：Ubuntu下的快速部署与公网用户远程访问

    构建本地Web小游戏网站：Ubuntu下的快速部署与公网用户远程访问

    网：我们通常说的是互联网；站：可以理解成在互联网上的一个房子。把互联网看做一个城市，城市里面的每一个房子就是一个站点，房子里面放着你的资源，那如果有人想要访问你房子里面的东西怎么办？ 在现实生活中，去别人家首先要知道别人的地址，某某区某某街道，

    2024年02月07日
    浏览(49)
  • Ubuntu系统Git的安装配置及使用笔记（更新中）

    Ubuntu系统Git的安装配置及使用笔记（更新中）

    (1)、下载git 打开终端命令窗口,输入： sudo apt-get install git 提示：sudo命令是用来以其他身份来执行命令，预设的身份为root,使用sudo时必须先输入密码 (2)、可以使用命令 git --version 查看git的版本号 (3)、设置用户名和邮箱 使用命令 git config --global user.name\\\"名称\\\" 设置用户名 使用命

    2024年01月20日
    浏览(42)
  • RabbitMQ在CentOS下的安装

    RabbitMQ在CentOS下的安装

    RabbitMQ的版本是3.8.2 1.环境配置：CentOs 7.6以上版本，我的版本是7.9，不要对yum换源，否则可能会安装失败。 以上命令，是使用了UTF-8编码格式。 2. 执行，开始下载包 3.执行 4.执行以上两部后 开始安装。 5. 看到下面，点击y即可，安装完成。  6. 启动RabbitMQ 7. 看看端口有没有起

    2024年02月13日
    浏览(39)
  • CentOS环境下的Maven安装

    CentOS环境下的Maven安装

    镜像地址：https://mirrors.tuna.tsinghua.edu.cn/apache/maven/ 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.8.8/binaries/ 将下载好的压缩包拷贝到根目录下 解压 重命名 在 /etc/profile 文件中尾部添加下面的内容 使文件生效 查看版本

    2024年02月15日
    浏览(39)
  • CentOS环境下的JDK8安装

    CentOS环境下的JDK8安装

    下载 官网：https://www.oracle.com/java/technologies/downloads/#java8-linux 将下载好的压缩包拷贝到根目录下 通过xshell如果出现 bash: rz: 未找到命令 ，需要先运行下面的命令 解压 重命名 在 /etc/profile 文件中尾部添加下面的内容 使文件生效 测试是否生效

    2024年02月13日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包