idea连接虚拟机的Hbase(附基本的创建表与查看表是否存在代码)-Toy模板网

这篇具有很好参考价值的文章主要介绍了idea连接虚拟机的Hbase(附基本的创建表与查看表是否存在代码)。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

先看一下总体概况

1,首先快速创建一个Maven项目提供依赖支持

如果不用模板,我是不能采用aliyun镜像下载相关依赖的,可能是我自己默认配置有问题

改变 Maven仓库为提前下载的仓库(具体配置可以自行搜索, 主要是改变setting配置与新建maven仓库)

可以看到相关配置已经自动通过阿里云下载

2,新建依赖并且从虚拟机中导入相关文件

在pom.xml文件下新建如下依赖

 <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>2.1.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.hbase</groupId>
      <artifactId>hbase-client</artifactId>
      <version>2.1.0</version>
    </dependency>
    <dependency>
      <groupId>commons-io</groupId>
      <artifactId>commons-io</artifactId>
      <version>2.6</version>
    </dependency>
    <dependency>
      <groupId>org.testng</groupId>
      <artifactId>testng</artifactId>
      <version>6.14.3</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.testng</groupId>
      <artifactId>testng</artifactId>
      <version>6.14.3</version>
      <scope>compile</scope>
    </dependency>

重载项目,查看依赖导入情况

由以下两个图可以看出相关依赖已经导入成功

然后我们开启虚拟机,启动Hadoop集群,zookeeper集群,与hbase集群，输入jps查看相关是否启动成功如下图可以看见相关集群已经启动成功

然后我们需要将hbase上面的hbase-site.xml,log4j.properties与Hadoop的core-site.xml通过xftp下载在Windows本地,粘贴到idea的resources中

最后我们需要更改本地的主机文件(C:\Windows\System32\drivers\etc\hosts) 其实就是跟虚拟机中主机的配置一样的,因为我的zookeeper是集群分布式,所以此处需要导入集群,一开始我只导入了一个,是不能成功运行的.

以上便是基本的Api访问支持

3,hbase表的创建与查看

首先是表的查看是否存在

源代码根据在本地用idea连接虚拟机上的hbase集群的实现代码_java_脚本之家 (jb51.net)进行改编。

package org.example;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Admin;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;

import java.io.IOException;

public class TestDemo {


    public static Connection connection=null;
    public static Admin admin=null;
    static {
        try {
            //1、获取配置信息
            Configuration configuration = HBaseConfiguration.create();
            configuration.set("hbase.rootdir", "hdfs://192.168.226.128:8020/hbase");
            configuration.set("hbase.zookeeper.quorum","node01,node02,node03");
            //2、创建连接对象
            connection= ConnectionFactory.createConnection(configuration);
            //3、创建Admin对象
            admin = connection.getAdmin();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

    //判断表是否存在
    public static boolean isTableExist(String tableName) throws IOException {
        boolean exists = admin.tableExists(TableName.valueOf(tableName));
        return exists;
    }

    public static void close(){
        if (admin!=null){
            try {
                admin.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        if (connection!=null){
            try {
                connection.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }
    public static void main(String[] args) throws IOException {
        System.out.println(isTableExist("student"));
        //关闭资源
        close();
    }
}

返回了true 说明hbase里面是有这张表的

而确实也存在说明成功连接。

然后是表的创建源代码来自于黑马程序员

package org.example;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import org.testng.annotations.AfterTest;
import org.testng.annotations.BeforeTest;
import org.testng.annotations.Test;
import java.io.IOException;
public class TableAdminTest {

    private Connection connection;
    private Admin admin;

    @BeforeTest
    public void beforeTest() throws IOException {
        // 1.	使用HbaseConfiguration.create()创建Hbase配置
        Configuration configuration = HBaseConfiguration.create();
        // 2.	使用ConnectionFactory.createConnection()创建Hbase连接
        connection = ConnectionFactory.createConnection(configuration);
        // 3.	要创建表，需要基于Hbase连接获取admin管理对象
        // 要创建表、删除表需要和HMaster连接，所以需要有一个admin对象
        admin = connection.getAdmin();
    }
    @Test
    public void createTableTest() throws IOException {
        TableName tableName = TableName.valueOf("Ameame");

        // 1.	判断表是否存在
        if(admin.tableExists(tableName)) {
            // a)	存在，则退出
            return;
        }

        // 构建表
        // 2.	使用TableDescriptorBuilder.newBuilder构建表描述构建器
        // TableDescriptor: 表描述器，描述这个表有几个列蔟、其他的属性都是在这里可以配置
        TableDescriptorBuilder tableDescriptorBuilder = TableDescriptorBuilder.newBuilder(tableName);

        // 3.	使用ColumnFamilyDescriptorBuilder.newBuilder构建列蔟描述构建器
        // 创建列蔟也需要有列蔟的描述器，需要用一个构建起来构建ColumnFamilyDescriptor
        // 经常会使用到一个工具类：Bytes（hbase包下的Bytes工具类）
        // 这个工具类可以将字符串、long、double类型转换成byte[]数组
        // 也可以将byte[]数组转换为指定类型
        ColumnFamilyDescriptorBuilder columnFamilyDescriptorBuilder = ColumnFamilyDescriptorBuilder.newBuilder(Bytes.toBytes("C1"));

        // 4.	构建列蔟描述，构建表描述
        ColumnFamilyDescriptor cfDes = columnFamilyDescriptorBuilder.build();

        // 建立表和列蔟的关联
        tableDescriptorBuilder.setColumnFamily(cfDes);
        TableDescriptor tableDescriptor = tableDescriptorBuilder.build();

        // 5.	创建表
        admin.createTable(tableDescriptor);
    }

    @Test
    public void deleteTableTest() throws IOException {
        TableName tableName = TableName.valueOf("Ameame");

        // 1.	判断表是否存在
        if(admin.tableExists(tableName)) {
            // 2.如果存在，则禁用表
            admin.disableTable(tableName);
            // 3.再删除表
            admin.deleteTable(tableName);
        }
    }

    @AfterTest
    public void afterTest() throws IOException {
        // 4.	使用admin.close、connection.close关闭连接
        admin.close();
        connection.close();
    }
}

然后在虚拟机输入hbase shell 命令进入客户端,输入list查看表

idea连接虚拟机的Hbase(附基本的创建表与查看表是否存在代码)