实验三:熟悉常用的HBase操作

这篇具有很好参考价值的文章主要介绍了实验三:熟悉常用的HBase操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

完整原版实验报告word文件:实验三:熟悉常用的HBase操作

—————————————————————————————————

"大数据技术原理与应用"课程实验报告

题目:实验三:熟悉常用的HBase操作

姓名:朱小凡

日期:2022/3/29

1、实验环境:

设备名称 LAPTOP-9KJS8HO6

处理器 Intel® Core™ i5-10300H CPU @ 2.50GHz 2.50 GHz

机带 RAM 16.0 GB (15.8 GB 可用)

主机操作系统 Windows 10 家庭中文版

虚拟机操作系统 ubuntukylin-16.04

Hadoop 版本 3.1.3

JDK 版本 1.8

Java IDE:Eclipse

系统类型 64 位操作系统, 基于 x64 的处理器

笔和触控 没有可用于此显示器的笔或触控输入

2、实验内容与完成情况:

1.编程实现以下指定功能,并用 Hadoop提供的 HBase Shell
命令完成相同任务

(1) 列出 HBase所有的表的相关信息,例如表名。

a.Shell命令

HBase Shell:List

实验三:熟悉常用的HBase操作

图1.列出表名

b.java命令

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.*;

import org.apache.hadoop.hbase.client.*;

public class test1 {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

/**

* @param args

* 建立连接

*/

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”, “hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch(IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch(IOException e){

e.printStackTrace();

}

}

/*

* 查看已有表

* @throws IOException

*/

public static void listTables() throws IOException{

init();

@SuppressWarnings(“deprecation”)

HTableDescriptor hTableDescriptors [] = admin.listTables();

for(HTableDescriptor hTableDescriptor : hTableDescriptors){

System.out.println(hTableDescriptor.getNameAsString());

}

close();

}

public static void main(String[] args) {

// TODO Auto-generated method stub

test1 t = new test1();

try{

System.out.println(“以下为Hbase数据库中所存的表信息”);

t.listTables();

}catch (IOException e){

e.printStackTrace();

}

}

}

实验三:熟悉常用的HBase操作

图2.列出表名(java)

(2)在终端打印出指定的表的所有记录数据。

a.Shell命令

scan ‘student’

实验三:熟悉常用的HBase操作

图3.打印指定表数据

b.java代码

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.*;

import org.apache.hadoop.hbase.client.*;

import java.io.IOException;

import java.util.Scanner;

public class Test_2 {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

/**

* @param args

*/

//建立连接

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch (IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

/**

* 根据表名查找表信息

*/

public static void getData(String tableName)throws IOException{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

for(Result result:scanner)

{

showCell((result));

}

close();

}

/**

* 格式化输出

* @param result

*/

public static void showCell(Result result){

Cell[] cells = result.rawCells();

for(Cell cell:cells){

System.out.println(“RowName(行键):”+new
String(CellUtil.cloneRow(cell))+" ");

System.out.println(“Timetamp(时间戳):”+cell.getTimestamp()+" ");

System.out.println(“column Family(列簇):”+new
String(CellUtil.cloneFamily(cell))+" ");

System.out.println(“column Name(列名):”+new
String(CellUtil.cloneQualifier(cell))+" ");

System.out.println(“value:(值)”+new
String(CellUtil.cloneValue(cell))+" ");

System.out.println();

}

}

public static void main(String[] args) throws IOException {

// TODO Auto-generated method stub

Test_2 t =new Test_2();

System.out.println(“请输入要查看的表名”);

Scanner scan = new Scanner(System.in);

String tableName=scan.nextLine();

System.out.println(“信息如下:”);

t.getData(tableName);

}

}

实验三:熟悉常用的HBase操作

图4.打印指定表数据(java)

(3)向已经创建好的表添加和删除指定的列族或列。

a.Shell命令

put ‘student’,‘95001’,‘Sname’,‘LiYing’

put ‘student’,‘95001’,‘Ssex’,‘male’

put ‘student’,‘95001’,‘Sage’,‘22’

put ‘student’,‘95001’,‘Sdept’,‘CS’

put ‘student’,‘95001’,‘course:math’,‘80’

实验三:熟悉常用的HBase操作

图5.添加或删除指定列族或列

b.java代码

import java.io.IOException;

import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.CellUtil;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.Admin;

import org.apache.hadoop.hbase.client.Connection;

import org.apache.hadoop.hbase.client.ConnectionFactory;

import org.apache.hadoop.hbase.client.Delete;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.client.Table;

public class Test_3 {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

//建立连接

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch (IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

/**

* 向某一行的某一列插入数据

* @param tableName 表名

* @param rowKey 行键

* @param colFamily 列族名

* @param col 列名(如果其列族下没有子列,此参数可为空)

* @param val 值

* @throws IOException

*/

public static void insertRow(String tableName,String rowKey,String
colFamily,String col,String val) throws IOException {

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Put put = new Put(rowKey.getBytes());

put.addColumn(colFamily.getBytes(), col.getBytes(), val.getBytes());

table.put(put);

table.close();

close();

}

/**

* 根据表名查找表信息

*/

public static void getData(String tableName)throws IOException{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

for(Result result:scanner)

{

showCell((result));

}

close();

}

/**

* 格式化输出

* @param result

*/

public static void showCell(Result result){

Cell[] cells = result.rawCells();

for(Cell cell:cells){

System.out.println(“RowName(行键):”+new
String(CellUtil.cloneRow(cell))+" ");

System.out.println(“Timetamp(时间戳):”+cell.getTimestamp()+" ");

System.out.println(“column Family(列簇):”+new
String(CellUtil.cloneFamily(cell))+" ");

System.out.println(“column Name(列名):”+new
String(CellUtil.cloneQualifier(cell))+" ");

System.out.println(“value:(值)”+new
String(CellUtil.cloneValue(cell))+" ");

System.out.println();

}

}

/**

* 删除数据

* @param tableName 表名

* @param rowKey 行键

* @param colFamily 列族名

* @param col 列名

* @throws IOException

*/

public static void deleteRow(String tableName,String rowKey,String
colFamily,String col) throws IOException {

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Delete delete = new Delete(rowKey.getBytes());

boolean flag2 =true;

while(flag2)

{

System.out.println(“请输入你的选择 1-删除列族的所有数据
2-指定列的数据”);

Scanner scanner=new Scanner(System.in);

String chooseString = scanner.nextLine();

switch (chooseString) {

case “1”:

{

//删除指定列族的所有数据

delete.addFamily(colFamily.getBytes());

table.delete(delete);

table.close();

close();

break;

}

case “2”:

{

//删除指定列的数据

delete.addColumn(colFamily.getBytes(), col.getBytes());

table.delete(delete);

table.close();

close();

break;

}

default:

{

System.out.println(" 你的输入有误 !!! ");

table.close();

close();

break;

}

}

System.out.println(" 你要继续操作吗? 是-true 否-false ");

flag2=scanner.nextBoolean();

}

}

/**

* @param args

*/

public static void main(String[] args) {

// TODO Auto-generated method stub

Test_3 t =new Test_3();

boolean flag =true;

while(flag)

{

System.out.println(“------------向已经创建好的表中添加和删除指定的列簇或列--------------------”);

System.out.println(" 请输入您要进行的操作 1- 添加 2-删除 ");

Scanner scan = new Scanner(System.in);

String choose1=scan.nextLine();

switch (choose1) {

case “1”:

{

System.out.println(“请输入要添加的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要添加的表的行键”);

String rowKey=scan.nextLine();

System.out.println(“请输入要添加的表的列簇”);

String colFamily=scan.nextLine();

System.out.println(“请输入要添加的表的列名”);

String col=scan.nextLine();

System.out.println(“请输入要添加的值”);

String val=scan.nextLine();

try {

t.insertRow(tableName, rowKey, colFamily, col, val);

System.out.println(“插入成功:”);

t.getData(tableName);

} catch (IOException e) {

// TODO Auto-generated catch block

e.getMessage();

}

break;

}

case “2”:

{

System.out.println(“请输入要删除的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要删除的表的行键”);

String rowKey=scan.nextLine();

System.out.println(“请输入要删除的表的列簇”);

String colFamily=scan.nextLine();

System.out.println(“请输入要删除的表的列名”);

String col=scan.nextLine();

try {

System.out.println(“----------------------表的原本信息如下---------------------”);

t.getData(tableName);

System.out.println(“____________________________正在执行删除操作…\n”);

t.deleteRow(tableName, rowKey, colFamily, col);

System.out.println(“____________________________删除成功_______________\n”);

System.out.println(“---------------------删除后
表的信息如下---------------------”);

t.getData(tableName);

} catch (IOException e) {

// TODO Auto-generated catch block

e.getMessage();

}

break;

}

default:

{

System.out.println(" 你的操作有误 !!! ");

break;

}

}

System.out.println(" 你要继续操作吗? 是-true 否-false ");

flag=scan.nextBoolean();

}

System.out.println(" 程序已退出! ");

}

}

实验三:熟悉常用的HBase操作

图5.添加或删除指定列族或列(java)

实验三:熟悉常用的HBase操作

图6.添加或删除指定列族或列(java)

实验三:熟悉常用的HBase操作

图7.添加或删除指定列族或列(java)

(4)清空指定的表的所有记录数据。

a.Shell命令

truncate ‘student’

实验三:熟悉常用的HBase操作

图8.清空指定表的所有记录

b.java代码

import java.io.IOException;

import java.util.Scanner;

import java.util.ArrayList;

import java.util.List;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.CellUtil;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.HColumnDescriptor;

import org.apache.hadoop.hbase.HTableDescriptor;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.Admin;

import org.apache.hadoop.hbase.client.Connection;

import org.apache.hadoop.hbase.client.ConnectionFactory;

import org.apache.hadoop.hbase.client.HBaseAdmin;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.client.Table;

import org.apache.hadoop.hbase.util.Bytes;

public class Test_4 {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

/**

* @param args

*/

//建立连接

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch (IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

/**

* 清空制定的表的所有记录数据

* @param args

* @throws IOException

*/

public static void clearRows(String tableName) throws IOException{

init();

// HBaseAdmin admin1=new HBaseAdmin(configuration);

// HTableDescriptor tDescriptor
=admin1.getTableDescriptor(Bytes.toBytes(tableName));//读取了之前表的表名
列簇等信息,然后再进行删除操作。
总思想是先将原表结构保留下来,然后进行删除,再重新依据保存的信息重新创建表。

//备份表列族名

TableName tablename=TableName.valueOf(tableName);

HTableDescriptor tDescriptor = new

HTableDescriptor(TableName.valueOf(tableName));

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

List<String> cloFamily = new ArrayList<String>();

for(Result result:scanner)

{

Cell[] cells = result.rawCells();

for(Cell cell:cells){

// System.out.println(“column Family(列簇):”+new
String(CellUtil.cloneFamily(cell))+" ");

cloFamily.add(new String(CellUtil.cloneFamily(cell)));

}

}

//删除表

admin.disableTable(tablename);

admin.deleteTable(tablename);

//重新建表

// HTableDescriptor tDescriptor = new

// HTableDescriptor(TableName.valueOf(tableName));

// tDescriptor.addFamily(new HColumnDescriptor(“name”));

for(String cf : cloFamily)

{

tDescriptor.addFamily(new HColumnDescriptor(cf));

}

admin.createTable(tDescriptor);

close();

}

/**

* 根据表名查找表信息

*/

public static void getData(String tableName)throws IOException{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

for(Result result:scanner)

{

showCell((result));

}

close();

}

/**

* 格式化输出

* @param result

*/

public static void showCell(Result result){

Cell[] cells = result.rawCells();

for(Cell cell:cells){

System.out.println(“RowName(行键):”+new
String(CellUtil.cloneRow(cell))+" ");

System.out.println(“Timetamp(时间戳):”+cell.getTimestamp()+" ");

System.out.println(“column Family(列簇):”+new
String(CellUtil.cloneFamily(cell))+" ");

System.out.println(“column Name(列名):”+new
String(CellUtil.cloneQualifier(cell))+" ");

System.out.println(“value:(值)”+new
String(CellUtil.cloneValue(cell))+" ");

System.out.println();

}

}

public static void main(String[] args) {

// TODO Auto-generated method stub

Test_4 test_4=new Test_4();

Scanner scan = new Scanner(System.in);

System.out.println(“请输入要清空的表名”);

String tableName=scan.nextLine();

try {

System.out.println(“表原来的信息:”);

test_4.getData(tableName);

test_4.clearRows(tableName);

System.out.println(“表已清空:”);

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

}

实验三:熟悉常用的HBase操作

图9.清空指定表的所有记录(java)

(5)统计表的行数

a.Shell命令

count ‘s1’

实验三:熟悉常用的HBase操作

图10.统计表的行数

b.java代码

import java.io.IOException;

import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.Admin;

import org.apache.hadoop.hbase.client.Connection;

import org.apache.hadoop.hbase.client.ConnectionFactory;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.client.Table;

public class Test_5 {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

//建立连接

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch (IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

public static void countRows (String tableName) throws IOException

{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner =table.getScanner(scan);

int num = 0;

for(Result result = scanner.next();result!=null;result=scanner.next())

{

num++;

}

System.out.println(“行数:”+num);

scanner.close();

close();

}

/**

* @param args

* @throws IOException

*/

public static void main(String[] args) throws IOException {

// TODO Auto-generated method stub

Test_5 test_5=new Test_5();

Scanner scan = new Scanner(System.in);

System.out.println(“请输入要统计行数的表名”);

String tableName=scan.nextLine();

test_5.countRows(tableName);

}

}

实验三:熟悉常用的HBase操作

图11.统计表的行数(java)

2.HBase数据库操作

(1)现有以下关系型数据库中的表和数据(见表A-1~表A-3),要求将其转换为适合于HBase存储的表并插人数据。

a.创建学生表

create ‘student’,‘S_No’,‘S_Name’,‘S_Sex’,‘S_Age’

插入数据:

插入shell命令

第一行数据 put ‘Student’,‘s001’,‘S_No’,‘2015001’ 
put ‘Student’,‘s001’,‘S_Name’,‘Zhangsan’ 
put ‘Student’,‘s001’,‘S_Sex’,‘male’ 
put ‘Student’,‘s001’,‘S_Age’,‘23’ 
第二行数据 put ‘Student’,‘s002’,‘S_No’,‘2015002’ 
put ‘Student’,‘s002’,‘S_Name’,‘Mary’ 
put ‘Student’,‘s002’,‘S_Sex’,‘female’ 
put ‘Student’,‘s002’,‘S_Age’,‘22’ 
第三行数据 put ‘Student’,‘s003’,‘S_No’,‘2015003’ 
put ‘Student’,‘s003’,‘S_Name’,‘Lisi’ 
put ‘Student’,‘s003’,‘S_Sex’,‘male’ 
put ‘Student’,‘s003’,‘S_Age’,‘24’

实验三:熟悉常用的HBase操作

图12.创建学生表

b.创建选课表

create ‘Course’,‘C_No’,‘C_Name’,‘C_Credit’

创建Course表

±----------------------------------±----------------------------------+
| | 插入shell命令 |
第一行数据 put ‘Course’,‘c001’,‘C_No’,‘123001’
put ‘Course’,‘c001’,‘C_Name’,‘Math’
put ‘Course’,‘c001’,‘C_Credit’,‘2.0’

第二行数据 put ‘Course’,‘c002’,‘C_No’,‘123002’
put ‘Course’,‘c002’,‘C_Name’,‘Computer Science’
put ‘Course’,‘c002’,‘C_Credit’,‘5.0’

第三行数据 put ‘Course’,‘c003’,‘C_No’,‘123003’
put ‘Course’,‘c003’,‘C_Name’,‘English’
put ‘Course’,‘c003’,‘C_Credit’,‘3.0’

实验三:熟悉常用的HBase操作

图13.创建课程表

c.创建选课表

create ‘SC’,‘SC_Sno’,‘SC_Cno’,‘SC_Score’

插入数据:

±----------------------------------±----------------------------------+
| | 插入shell命令 |
+=+=+
第一行数据 put ‘SC’,‘sc001’,‘SC_Sno’,‘2015001’
put ‘SC’,‘sc001’,‘SC_Cno’,‘123001’
put ‘SC’,‘sc001’,‘SC_Score’,‘86’

第二行数据 put ‘SC’,‘sc002’,‘SC_Sno’,‘2015001’
put ‘SC’,‘sc002’,‘SC_Cno’,‘123003’
put ‘SC’,‘sc002’,‘SC_Score’,‘69’

第三行数据 put ‘SC’,‘sc003’,‘SC_Sno’,‘2015002’
put ‘SC’,‘sc003’,‘SC_Cno’,‘123002’
put ‘SC’,‘sc003’,‘SC_Score’,‘77’

第四行数据 put ‘SC’,‘sc004’,‘SC_Sno’,‘2015002’
put ‘SC’,‘sc004’,‘SC_Cno’,‘123003’
put ‘SC’,‘sc004’,‘SC_Score’,‘99’

第五行数据 put ‘SC’,‘sc005’,‘SC_Sno’,‘2015003’
put ‘SC’,‘sc005’,‘SC_Cno’,‘123001’
put ‘SC’,‘sc005’,‘SC_Score’,‘98’

第六行数据 put ‘SC’,‘sc006’,‘SC_Sno’,‘2015003’
put ‘SC’,‘sc006’,‘SC_Cno’,‘123002’
put ‘SC’,‘sc006’,‘SC_Score’,‘95’

实验三:熟悉常用的HBase操作

图13.创建选课表

2.请编程实现以下功能

1.createTable(String tableName, String[] fields)

创建表,参数 tableName 为表的名称,字符串数组 fields 为存储记录各个字段名称的数组。要求当 HBase 已经存在名为 tableName
的表的时候,先删除原有的表,然后再创建新的表。

2.addRecord(String tableName, String row, String[] fields,
String[] values)

向表 tableName、行 row(用 S_Name 表示)和字符串数组 fields
指定的单元格中添加对应的数据 values。其中,fields
中每个元素如果对应的列族下还有相应的列限定符的话,用"columnFamily:column"表示。例如,同时向"Math"、“Computer
Science”、"English"三列添加成绩时,字符串数组 fields 为{“Score:Math”,
“Score:Computer Science”, “Score:English”},数组

values 存储这三门课的成绩。

3.scanColumn(String tableName, String column)

浏览表 tableName 某一列的数据,如果某一行记录中该列数据不存在,则返回 null。要求当参数 column 为某一列族名称时,如果底下有若干个列限定符,则要列出每个列限定符代表的列的数据;当参数 column
为某一列具体名称(例如"Score:Math")时,只需要列出该列的数据。

4.modifyData(String tableName, String row, String column)

修改表 tableName,行 row(可以用学生姓名 S_Name 表示),列 column
指定的单元格的数据。

5.deleteRow(String tableName, String row)

删除表 tableName 中 row 指定的行的记录。

java代码:

import java.io.BufferedReader;

import java.io.IOException;

import java.io.InputStreamReader;

import java.util.Scanner;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.Cell;

import org.apache.hadoop.hbase.CellUtil;

import org.apache.hadoop.hbase.HBaseConfiguration;

import org.apache.hadoop.hbase.HColumnDescriptor;

import org.apache.hadoop.hbase.HTableDescriptor;

import org.apache.hadoop.hbase.TableName;

import org.apache.hadoop.hbase.client.Admin;

import org.apache.hadoop.hbase.client.Connection;

import org.apache.hadoop.hbase.client.ConnectionFactory;

import org.apache.hadoop.hbase.client.Delete;

import org.apache.hadoop.hbase.client.Put;

import org.apache.hadoop.hbase.client.Result;

import org.apache.hadoop.hbase.client.ResultScanner;

import org.apache.hadoop.hbase.client.Scan;

import org.apache.hadoop.hbase.client.Table;

import org.apache.hadoop.hbase.util.Bytes;

public class Test_Two {

public static Configuration configuration;

public static Connection connection;

public static Admin admin;

//建立连接

public static void init(){

configuration = HBaseConfiguration.create();

configuration.set(“hbase.rootdir”,“hdfs://localhost:9000/hbase”);

try{

connection = ConnectionFactory.createConnection(configuration);

admin = connection.getAdmin();

}catch (IOException e){

e.printStackTrace();

}

}

//关闭连接

public static void close(){

try{

if(admin != null){

admin.close();

}

if(null != connection){

connection.close();

}

}catch (IOException e){

e.printStackTrace();

}

}

/**

*
建表。参数tableName为表的名称,字符串数组fields为存储记录各个域名称的数组。

* 要求当HBase已经存在名为tableName的表时,先删除原有的表,然后再

* 创建新的表 field:列族

* @param myTableName 表名

* @param colFamily 列族名

* @throws IOException

*/

public static void createTable(String tableName,String[] fields)
throws IOException {

init();

TableName tablename = TableName.valueOf(tableName);

if(admin.tableExists(tablename)){

System.out.println(“表已存在,将执行删除原表,重建新表!”);

admin.disableTable(tablename);

admin.deleteTable(tablename);//删除原来的表

}

// HTableDescriptor hTableDescriptor = new HTableDescriptor(tableName);

HTableDescriptor hTableDescriptor = new

HTableDescriptor(TableName.valueOf(tableName));

for(String str:fields){

HColumnDescriptor hColumnDescriptor = new HColumnDescriptor(str);

hTableDescriptor.addFamily(hColumnDescriptor);

}

admin.createTable(hTableDescriptor);

System.out.println(“表已创建成功”);

close();

}

/**

* 向表 tableName、行 row(用 S_Name 表示)和字符串数组 fields
指定的单元格中

* 添加对应的数据 values。

* 其中,fields 中每个元素如果对应的列族下还有相应的列限定符的话,

* 用"columnFamily:column"表示。

* 例如,同时向"Math"、“Computer Science”、"English"三列添加成绩时,

* 字符串数组 fields 为{“Score:Math”, “Score:Computer Science”,
“Score:English”},

* 数组values 存储这三门课的成绩。

*/

public static void addRecord(String tableName,String rowKey,String
[]fields,String [] values) throws IOException {

init();

Table table = connection.getTable(TableName.valueOf(tableName));

for (int i = 0; i < fields.length; i++) {

Put put = new Put(rowKey.getBytes());

String [] cols = fields[i].split(“:”);

if(cols.length==1)

{

put.addColumn(cols[0].getBytes(), “”.getBytes(),
values[i].getBytes());//因为当输入的是单列族,split仅读出一个字符字符串,即cols仅有一个元素

}

else {

put.addColumn(cols[0].getBytes(), cols[1].getBytes(),
values[i].getBytes());

}

table.put(put);

}

table.close();

close();

}

/**

* 根据表名查找表信息

*/

public static void getData(String tableName)throws IOException{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

ResultScanner scanner = table.getScanner(scan);

for(Result result:scanner)

{

showCell((result));

}

close();

}

/**

* 格式化输出

* @param result

*/

public static void showCell(Result result){

Cell[] cells = result.rawCells();

for(Cell cell:cells){

System.out.println(“RowName(行键):”+new
String(CellUtil.cloneRow(cell))+" ");

System.out.println(“Timetamp(时间戳):”+cell.getTimestamp()+" ");

System.out.println(“column Family(列簇):”+new
String(CellUtil.cloneFamily(cell))+" ");

System.out.println(“column Name(列名):”+new
String(CellUtil.cloneQualifier(cell))+" ");

System.out.println(“value:(值)”+new
String(CellUtil.cloneValue(cell))+" ");

System.out.println();

}

}

/**

* 浏览表 tableName 某一列的数据,如果某一行记录中该列数据不存在,则返回
null。

* 要求当参数 column
为某一列族名称时,如果底下有若干个列限定符,则要列出每个列限定符代表的列的数据;

* 当参数 column
为某一列具体名称(例如"Score:Math")时,只需要列出该列的数据。

* @param tableName

* @param column

* @throws IOException

*/

public static void scanColumn (String tableName,String column) throws
IOException

{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Scan scan = new Scan();

String [] cols = column.split(“:”);

if(cols.length==1)

{

scan.addFamily(Bytes.toBytes(column));

}

else {

scan.addColumn(Bytes.toBytes(cols[0]),Bytes.toBytes(cols[1]));

}

ResultScanner scanner = table.getScanner(scan);

for (Result result = scanner.next(); result !=null;result =
scanner.next()) {

showCell(result);

}

table.close();

close();

}

/**

* 修改表 tableName,行 row(可以用学生姓名 S_Name 表示),列 column
指定的单元格的数据。

* @throws IOException

*/

public static void modifyData(String tableName,String rowKey,String
column,String value) throws IOException

{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Put put = new Put(rowKey.getBytes());

String [] cols = column.split(“:”);

if(cols.length==1)

{

put.addColumn(column.getBytes(),“”.getBytes() ,
value.getBytes());//qualifier:列族下的列名

}

else {

put.addColumn(cols[0].getBytes(),cols[1].getBytes() ,
value.getBytes());//qualifier:列族下的列名

}

table.put(put);

table.close();

close();

}

/**

* 删除表 tableName 中 row 指定的行的记录。

* @throws IOException

*/

public static void deleteRow(String tableName,String rowKey) throws
IOException

{

init();

Table table = connection.getTable(TableName.valueOf(tableName));

Delete delete = new Delete(rowKey.getBytes());

table.delete(delete);

table.close();

close();

}

/**

* @param args

* @throws IOException

*/

public static void main(String[] args) throws IOException {

// TODO Auto-generated method stub

Test_Two test_Two = new Test_Two();

boolean flag =true;

while(flag)

{

System.out.println(“------------------------------------------------提供以下功能----------------------------------------------”);

System.out.println(" 1- createTable(创建表 ,提供表名、列族名) ");

System.out.println(" 2-addRecord (向已知表名、行键、列簇的表添加值)
");

System.out.println(" 3- ScanColumn(浏览表 某一列的数据) ");

System.out.println(" 4- modifyData(修改某表
某行,某一列,指定的单元格的数据) ");

System.out.println(" 5- deleteRow(删除 某表 某行的记录) ");

System.out.println(“------------------------------------------------------------------------------------------------------------------”);

Scanner scan = new Scanner(System.in);

String choose1=scan.nextLine();

switch (choose1) {

case “1”:

{

System.out.println(“请输入要创建的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要创建的表的列族个数”);

int Num=scan.nextInt();

String [] fields = new String[Num];

System.out.println(“请输入要创建的表的列族”);

/* Scanner scanner = new Scanner(System.in); scanner.next
如不是全局,即会记得上一次输出。相同地址读入值时*/

for(int i=0;i< fields.length;i++)

{

/*BufferedReader in = new BufferedReader(new
InputStreamReader(System.in));

fields[i] = in.readLine();*/

/*fields[i]=scan.next(); 因为之前没有输入过,所以可以读入新值*/

scan = new Scanner(System.in);

fields[i]=scan.nextLine();

}

System.out.println(“正在执行创建表的操作”);

test_Two.createTable(tableName,fields);

break;

}

case “2”:

{

System.out.println(“请输入要添加数据的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要添加数据的表的行键”);

String rowKey=scan.nextLine();

System.out.println(“请输入要添加数据的表的列的个数”);

int num =scan.nextInt();

String fields[]=new String[num];

System.out.println(“请输入要添加数据的表的列信息 共”+num+“条信息”);

for(int i=0;i< fields.length;i++)

{

BufferedReader in3= new BufferedReader(new
InputStreamReader(System.in));

fields[i] = in3.readLine();

/*fields[i]=scan.next(); 因为之前没有输入过,所以可以读入新值*/

}

System.out.println(“请输入要添加的数据信息 共”+num+“条信息”);

String values[]=new String[num];

for(int i=0;i< values.length;i++)

{

BufferedReader in2 = new BufferedReader(new
InputStreamReader(System.in));

values[i] = in2.readLine();

}

System.out.println(“原表信息”);

test_Two.getData(tableName);

System.out.println(“正在执行向表中添加数据的操作…\n”);

test_Two.addRecord(tableName, rowKey, fields, values);

System.out.println(“\n添加后的表的信息…”);

test_Two.getData(tableName);

break;

}

case “3”:

{

System.out.println(“请输入要查看数据的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要查看数据的列名”);

String column=scan.nextLine();

System.out.println(“查看的信息如下:…\n”);

test_Two.scanColumn(tableName, column);

break;

}

case “4”:

{

System.out.println(“请输入要修改数据的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要修改数据的表的行键”);

String rowKey=scan.nextLine();

System.out.println(“请输入要修改数据的列名”);

String column=scan.nextLine();

System.out.println("请输入要修改的数据信息 ");

String value=scan.nextLine();

System.out.println(“原表信息如下:…\n”);

test_Two.getData(tableName);

System.out.println(“正在执行向表中修改数据的操作…\n”);

test_Two.modifyData(tableName, rowKey, column, value);

System.out.println(“\n修改后的信息如下:…\n”);

test_Two.getData(tableName);

break;

}

case “5”:

{

System.out.println(“请输入要删除指定行的表名”);

String tableName=scan.nextLine();

System.out.println(“请输入要删除指定行的行键”);

String rowKey=scan.nextLine();

System.out.println(“原表信息如下:…\n”);

test_Two.getData(tableName);

System.out.println(“正在执行向表中删除数据的操作…\n”);

test_Two.deleteRow(tableName, rowKey);

System.out.println(“\n删除后的信息如下:…\n”);

test_Two.getData(tableName);

break;

}

default:

{

System.out.println(" 你的操作有误 !!! ");

break;

}

}

System.out.println(" 你要继续操作吗? 是-true 否-false ");

flag=scan.nextBoolean();

}

System.out.println(" 程序已退出! ");

}

}

实验三:熟悉常用的HBase操作

图14.创建表功能(java)

实验三:熟悉常用的HBase操作

实验三:熟悉常用的HBase操作

图15.增加记录功能(java)

实验三:熟悉常用的HBase操作

图16.浏览表功能(java)

实验三:熟悉常用的HBase操作

实验三:熟悉常用的HBase操作

图17.修改表功能(java)

实验三:熟悉常用的HBase操作

图18.删除表功能(java)

3、出现的问题:

1、安装HBase2.2.2并测试HBase版本的时候遇到

错误: 找不到或无法加载主类
org.apache.hadoop.hbase.util.GetJavaProperty

实验三:熟悉常用的HBase操作

2、用java写清空数据表的时候遇到报错:

Table should have at least one column family. Set
hbase.table.sanity.checks to false at conf or table descriptor if you
want to bypass sanity checks

实验三:熟悉常用的HBase操作

3、按照教材写java代码时,遇到一个错误实验三:熟悉常用的HBase操作

Multiple markers at this line

- The type HTableDescriptor is deprecated

- The constructor HTableDescriptor(String) is

undefined

4、解决方案:

1、问题原因是:因为 Hbase 没有将其自身的依赖包添加到 classpath
配置路径所以才会导致找不到自身主类的报错。

查看了博客:https://blog.csdn.net/weixin_45702261/article/details/120587547?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_antiscanv2&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-2~default~CTRLIST~Rate-1.pc_relevant_antiscanv2&utm_relevant_index=1

进入/usr/local/hbase/conf/hbase-env文件,将最后一行不允许注释,问题得到解决

实验三:熟悉常用的HBase操作

2、错误的原因是:创建Hbase数据表时至少要有一个列族名,而清空数据表的java代码其实是删除了整个数据表再重新建一个有着原表列族名的空表,此时要先将原表的列族名用String数组备份,再重新建表的时候依次重新添加列族名即可,代码如下:

实验三:熟悉常用的HBase操作

3、教材的Hbase版本较老,我使用的的是HBase2.2.2版本较新,那一句的语法API已经修改了,用HTableDescriptor
hTableDescriptor =new HTableDescriptor(TableName.valueOf(tableName));

代替HTableDescriptor hTableDescriptor = new
HTableDescriptor(tableName);即可。
文章来源地址https://www.toymoban.com/news/detail-403227.html

到了这里,关于实验三:熟悉常用的HBase操作的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 熟悉常用的HBase操作

    理解HBase在Hadoop体系结构中的角色; 熟练使用HBase操作常用的Shell命令; 操作系统:Linux Hadoop版本:3.1.3 HBase版本:2.2.2 JDK版本:1.8 1.用Hadoop提供的HBase Shell命令实现以下指定功能: 准备工作: 启动hbash: 进入shell: (1)列出HBase所有的表的相关信息,例如表名; (2)在终端打

    2023年04月17日
    浏览(36)
  • 实验2熟悉常用的HDFS操作

    (1)理解HDFS在Hadoop体系结构中的角色; (2)熟练使用HDFS操作常用的Shell命令; (3)熟悉HDFS操作常用的Java API。 (1)操作系统:Linux; (2)Hadoop版本:2.7.4 ; (3)JDK版本1.8; (4)Java IDE:eclipse  。 (一)编程实现以下功能,并利用Hadoop提供的Shell命令完成相同任务:

    2023年04月18日
    浏览(41)
  • 大数据实验 实验二:熟悉HDFS常用操作

    附件中有word版本的实验报告 理解HDFS在Hadoop体系结构中的角色。 熟练使用HDFS操作常用的Shell命令。 熟悉HDFS操作常用的Java API。 Oracle VM VirtualBox虚拟机 系统版本centos7 JDK1.8版本 Hadoop-3.1.3 Windows11 Java IDE:IDEA 1.向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,由用户

    2024年04月12日
    浏览(39)
  • 大数据编程实验二:熟悉常用的HDFS操作

    实验目的 1、理解HDFS在Hadoop体系结构中的角色 2、熟悉使用HDFS操作常用的Shell命令 3、熟悉HDFS操作常用的Java API 实验平台 1、操作系统:Windows 2、Hadoop版本:3.1.3 3、JDK版本:1.8 4、Java IDE:IDEA 前期:一定要先启动hadoop   1、编程实现以下功能,并利用Hadoop提供的Shell命令完成相

    2024年02月08日
    浏览(44)
  • 大数据 | 实验一:大数据系统基本实验 | 熟悉常用的HDFS操作

    1 )理解 HDFS 在 Hadoop 体系结构中的角色。 2 )熟练使用 HDFS 操作常用的 shell 命令。 3 )熟悉 HDFS 操作常用的 Java API。 1 )操作系统:Linux; 2 )Hadoop 版本:3.2.2; 3 )JDK 版本:1.8; 4 )Java IDE:Eclipse。 编程实现 以下功能,并利用 Hadoop 提供的 Shell 命令 完成相同任务 1)向

    2024年02月02日
    浏览(40)
  • 云计算 熟悉常用的LINUX操作和hadoop部署相关操作 实验报告

    《云计算系统架构及应用》实验报告 题目: 熟悉常用的LINUX操作和hadoop部署相关操作 姓名 日期 实验环境:  操作系统:Linux Hadoop版本:2.7.3 实验内容与完成情况: (一)熟悉常用的Linux 操作 请按要求上机实践如下linux基本命令。 cd命令:切换目录 (1)切换到目录 /usr/lo

    2024年02月05日
    浏览(39)
  • 大数据技术原理及应用课实验2 :熟悉常用的HDFS操作

    实验2  熟悉常用的HDFS操作 目录 实验2  熟悉常用的HDFS操作 一、实验目的 二、实验平台 三、实验步骤(每个步骤下均需有运行截图) (一)编程实现以下功能,并利用Hadoop提供的Shell命令完成相同任务: (1)向HDFS中上传任意文本文件,如果指定的文件在HDFS中已经存在,则

    2024年04月14日
    浏览(105)
  • 熟悉常用的HDFS操作(大数据技术原理与应用-第三章实验)

    首先启动Hadoop,命令如下: 在终端输入如下命令,查看 hdfs dfs 总共支持哪些操作: 上述命令执行后,会显示如下的结果: 如果显示 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable ,说明环境变量 JAVA_LIBRARY_PATH 并未定义,首

    2024年02月01日
    浏览(41)
  • 实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)

    理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的shell命令 熟悉HDFS操作常用的Java API 操作系统:CentOS 8 Hadoop版本:3.3.1 jdk版本:1.8 Java IDE:Eclipse 1. 使用Hadoop命令操作分布式文件系统。 新建目录 在本地和hadoop中分别创建文件夹: 在本地创建目录: Hadoop创建目录: 上

    2023年04月08日
    浏览(57)
  • 实验五 熟悉 Hive 的基本操作

    实验环境: 1.操作系统:CentOS 7。 2.Hadoop 版本:3.3.0。 3.Hive 版本:3.1.2。 4.JDK 版本:1.8。 实验内容与完成情况: (1)创建一个内部表 stocks,字段分隔符为英文逗号,表结构如表 A-6 所示。 打开数据库 (2)创建一个外部分区表 dividends(分区字段为 exchange 和 symbol),字段分

    2024年02月05日
    浏览(60)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包