【数据库入门】什么是对象存储？如何配置S3?

这篇具有很好参考价值的文章主要介绍了【数据库入门】什么是对象存储？如何配置S3? | OushuDB。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

基本概念

对象存储，也称为“面向对象的存储”，英文是Object-based Storage。

它综合了网络附加存储(NAS)和存储局域网(SAN)的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。

对象存储允许将计算基础架构与存储需求分离。可以在对所有数据进行存储的同时无需监控存储，因此方便扩展并向云中的集群添加节点。它本质上就是一个key-value结构，key是文件的URL路径，value是对应的文件，没有传统文件系统那种目录树的结构，不能直接打开修改文件，只能先下载、修改，再上传文件，所以不支持append和truncate操作，操作接口比较简单，主要接口命令有 PUT/GET/DELETE等。

优点

无限存储：服务商可以不停的往资源池里面增加资源
数据安全可靠性高：多个数据中心间复制数据，至少可以保证11个9的数据持久性
运维方便：客户不需要考虑硬件以及存储的运维工作，只要支付相应费用，这些都交由服务商处理

OushuDB支持的对象存储类型

Amazon Simple Storage Service (简称S3)
亚马逊AWS服务在2006年正式对外推出的云计算对象存储服务。提供行可扩展性、数据可用性、安全性和性能。
腾讯云对象存储（Cloud Object Storage, COS）
腾讯云提供的一种用于存储海量文件的简单、可拓展、方便获取和分享数据的分布式存储服务，类似于网盘，可以存储任何类型的数据。腾讯云对象存储COS是简单、可拓展、方便获取和分享数据的云端存储服务。对象存储COS有费用低廉、零运维成本、弹性伸缩、安全可靠等优势。

S3配置和操作举例

配置

我们可以在$OUSHU_HOME/conf/oushudb/oushudb-site.xml路径查看和修改配置文件。

要配置S3存储，需要修改如下字段，将value设置为自定义的目录地址。

<property>
  <name>hawq_s3_url</name>
  <value>s3.cn-north-1.amazonaws.com.cn:80/ccb-test/s3_system</value>
  <description>URL for accessing S3.</description>
</property>

配置完hawq_s3_url后，需要同步配置hawq_s3_config来指定config文件的路径，否则启动时会报错

<property>
  <name>hawq_s3_config</name>
  <value>/usr/local/hawq/feature-test/s3/credentials</value>
  <description>The absolute path to the S3 configuration file.</description>
</property>

新增hawq_s3_config的注意事项：所有filespace共用一个config文件如果修改config文件路径需要重启如果修改config文件内容，需要停掉现有的active的连接

s3对象存储,国产数据库,数据库,OushuDB,数据库,云计算,大数据

操作

外部表

OushuDB支持S3只读外部表以及可写外部表，数据存储格式支持TEXT/CVS/ORC三种，支持外表是希望可以操作用户放在S3上的数据，支持的功能如下：

DDL：CREATE/DROP/RENAME
DML：SELECT/INSERT/COPY（新旧执行器）
DCL：支持通过GRANT/REVOKE给用户授权是否可操作S3外表

外部表建表语法，可以参考OushuDB官方文档：

s3对象存储,国产数据库,数据库,OushuDB,数据库,云计算,大数据

只读外表可以指定单个或者多个文件location，可写表location只能指定一个。

外部表实例:

单个路径的S3外部表 --读写均可

create external tasble test_s3_ext_single_location(c1 int) location('s3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part1/ /usr/local/oushu/oushudb/credentials') format 'csv' ( DELIMITER ',' );

多个路径的S3外部表 ---只能创建可读外部表

create readable external table test_s3_ext_multi_location(c1 int) location('s3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part2/ config=/usr/local/oushu/oushudb/credentials', 's3://http://cos.ap-beijing.myqcloud.com/oushudbtest-1304271688/cis3test/dasituer908176m1_86142537/part3/ config=/usr/local/oushu/oushudb/credentials') format 'csv' ( DELIMITER ',' );

创建表之后即可针对不同类型的外部表做相应的操作