淘宝分布式文件存储系统( 三 ) -TFS

这篇具有很好参考价值的文章主要介绍了淘宝分布式文件存储系统( 三 ) -TFS。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

淘宝分布式文件存储系统( 三 ) ->>TFS

目录 :
  • 文件重新映射的接口介绍
  • 文件映射 mmap_file.cpp的实现
  • 进行测试
文件重新映射 (增加 或者 减少 文件映射区域的大小)

mremap() 函数的原型如下

#include <sys/mman.h>

void *mremap( void * old_address , size_t old_size , size_t new_size , int flags );

参数说明 :

  • old_address:指向原映射区域的起始地址。
  • old_size:原映射区域的大小,以字节为单位。
  • new_size:新映射区域的大小,以字节为单位。
  • flags:标志参数,用于指定映射操作的行为。常用的标志是 MREMAP_MAYMOVE,表示允许系统将映射区域移动到新的位置。

返回值 :

  • 成功时,返回新映射区域的起始地址。
  • 失败时,返回 MAP_FAILED,并设置 errno 错误码来指示具体错误。
    注意 :
    在使用 mremap() 函数前,需要通过 mmap() 函数创建原始的内存映射区域,并确保该内存映射区域是有效的。另外,mremap() 函数只能用于修改已存在的内存映射区域,无法在不同的文件描述符之间创建新的映射。
文件映射 mmap_file.cpp的实现 :
#include"mmap_file.h"
#include<stdio.h>

int static Debug=1 ; 

namespace qiniu
{
	namespace largefile
	{
     //构造函数
	 MMapFile::MMapFile():
	 size_(0),fd_(-1),data_(NULL)
	 {
		
	 }
	 MMapFile::MMapFile(const int fd):
	 size_(0),fd_(fd),data_(NULL)
	 {
				
	 }
	MMapFile::MMapFile(const MMapOption& mmp_option, const int fd):
	size_(0),fd_(fd),data_(0)
	{
	mmap_file_option_.max_mmap_size_=mmp_option.max_mmap_size_;
	mmap_file_option_.frist_mmap_size_=mmp_option.frist_mmap_size_;
	mmap_file_option_.pri_mmap_size_=mmp_option.pri_mmap_size_;
	}
	//析构函数
	MMapFile::~MMapFile()
	{
		if(data_){   //映射内容不为空,说明映射成功
		   if(Debug)   printf("file information size : %d ,fd : %d , data : %p\n",size_,fd_,data_);
				     
			 msync(data_, size_, MS_SYNC);      //当我们的数据发生改变,同步信号,更新完成后一起返回
		    //解除文件映射
		     munmap(data_ , size_ );
	  
			size_=0;
			fd_=-1;
			data_=NULL;
				   
			mmap_file_option_.max_mmap_size_=0;
			mmap_file_option_.frist_mmap_size_=0;
			mmap_file_option_.pri_mmap_size_=0;
			}
	}
	//同步文件		
	bool MMapFile::sync_file()   
	{
		if(data_!=NULL && size_>0){  //如果data_为空,或者 映射的大小<0 ,则说明没有映射
			if( msync(data_ , size_ , MS_SYNC)<0){  //同步失败
			   fprintf( stderr, "file sync falied %s \n", strerror(errno));
			    return false;
			}
				return true;
		 }
				return false;
	}
	 //文件映射		
	bool MMapFile::map_file(const bool write)  
	{
		int flags=PROT_READ;
		if(write){
			flags |= PROT_WRITE;     //同时设置为可读
		}
			if(fd_ < 0){        
				return false ;
			}
				
			if(size_ > mmap_file_option_.max_mmap_size_){  //如果初始化的大小,比我们设定的最大的映射大小还要大
				size_=mmap_file_option_.max_mmap_size_;  
			}
				
			if(size_< mmap_file_option_.frist_mmap_size_){ //如果size_ 的大小,小于我们第一次分配的大小
				size_=mmap_file_option_.frist_mmap_size_ ;
			}
				
			if(!ensure_flie_size(size_)){        //调整大小
				fprintf(stderr , "ensure_flie_size falied: %d\n", size_);
				return false;
			}
			data_=mmap(NULL, size_  , flags, MAP_SHARED , fd_ , 0);  //文件映射
			
			if( MAP_FAILED==data_ ){   //内存映射失败,返回 MAP_FAILED
				fprintf(stderr, "file failed :%s\n",strerror(errno));
					
				fd_=-1;
				data_=NULL;
				size_=0;
				return false;
			}
			if(Debug){
				printf("file map succeed  : size_ : %d ,fd : %d , data : %p\n",size_,fd_,data_);
			}
				return true;
	}
	//获取映射内存的首地址		
	void* MMapFile::get_data()const
	{
		return data_;     //返回映射内存的起始地址
	}
	//获取映射内存的大小		
	int32_t MMapFile::get_size()const
	{
		return size_;    //返回映射内存的大小
	}
			
	bool MMapFile::munmap_file()  
	{
		if(munmap(data_ , size_)==-1){    //解除文件映射失败
			fprintf(stderr , "remove file map falied :%s \n",strerror(errno));
			return false;
		}
			return true;
	}
	//解除映射		
	bool MMapFile::ensure_flie_size(const int32_t size)
	{
		struct stat s;         //存放文件状态(这个是系统提供的)
		if(fstat(fd_ , &s) < 0 ){					//获取文件状态
			fprintf(stderr , "fstat falied :%s \n",strerror(errno));
			return false;
		}
				
		if(s.st_size<size){        //设置文件大小
			int res=ftruncate(fd_ , size); //对大小进行调整  
			if(res<0){             //在 linux系统中,大多数情况返回值<0 表示失败
				fprintf(stderr , "resize failed :%s \n",strerror(errno));
				return false;
			}
		}
			return true;
	}
			
	/*
		重新执行映射  (追加,减少内存)
		mremap()
	*/
	//重新映射
	bool MMapFile::remap_file()    
	{	
	//防御性编程
		if(data_==NULL || size_<0 || fd_< 0){//判断是否存在映射区域
			fprintf(stderr, "not map file\n");
			return false;
		}
				 
		if(size_==mmap_file_option_.max_mmap_size_){//当前映射区域的大小,已经达到我们设置的最大值
			fprintf(stderr,"size is already max\n");
			return false;
	    }
				 
	   int32_t new_size=size_+mmap_file_option_.pri_mmap_size_;   //新的映射区域的大小
			if(new_size>mmap_file_option_.max_mmap_size_){//如果新的大小大于我们的最大值
				new_size=mmap_file_option_.max_mmap_size_;
		    }
		//调整文件大小
		if(!ensure_flie_size(new_size)){        //调整大小
			fprintf(stderr , "ensure_flie_size falied: %d\n", size_);
			return false;
		}
		if(Debug)  printf("file map succeed  : %d ,fd : %d , data : %p\n",size_,fd_,data_);
			//最后进行重新映射
		void *new_data=mremap(data_ , size_ , size_+ mmap_file_option_.pri_mmap_size_,MREMAP_MAYMOVE);//调整映射区域
		if(new_data==MAP_FAILED){
			fprintf(stderr , "remap_file failed :%s \n",strerror(errno));
			return false;
		}
		//赋值
		data_=new_data;
		size_=new_size;
		return true;
	 }
   }
}
  • 补充:
    这里呢,给大家分享一些方法,当我们在写一些大型项目的时候,我们一般会将标准化的头文件,函数调用需要的头文件,放到一个 .h的文件中,我这里演示的也是这样操作的 :
#ifndef _COMMON_H_
#define _COMMON_H_

#include<iostream>
#include<fcntl.h>     
#include<sys/stat.h>
#include<string>
#include<sys/types.h>
#include<stdint.h>
#include <errno.h>
#include<string.h>
#include<stdio.h>
#include <error.h>
#include<sys/mman.h>

#endif  /*_COMMON_H_*/     //这样注释起来更加清晰 , 因为我们可能不止包含一个

技巧提示:
如果不知道,我们所写的函数需要什么头文件 ,可以这样操作 man APi

演示 :
man mmap
淘宝分布式文件存储系统( 三 ) -TFS,淘宝分布式文件存储系统,分布式,tfs,服务器,linux,ubuntu,c++

对代码的可行性进行测试 :

提示: 整个测试我们需要综合我的上一篇内容, 结合 mmap_file.h 头文件一起 .

#include"mmap_file.h"
#include"common.h"

using namespace std;
using namespace qiniu;

static const mode_t OPEN_MODE=0644;       //文件的权限
const static largefile::MMapOption mmp_option={10240000,4096 ,4096};  //设置内存映射参数

int open_file(string file_name, int open_flags)
{    
    //OPEN_MODE   如果文件不存在,则创建
     int fd=open( file_name.c_str(), open_flags, OPEN_MODE); //成功返回值一定>0
	 if( fd<0 ){
		 return -errno;
	 }
	 return fd;
}

int main(){
	const char* file_name="./mapfile_test.txt";
	//打开一个文件,获取文件的句柄
	int fd=open_file(file_name , O_RDWR | O_CREAT | O_LARGEFILE );
	if( fd <0 ){     //返回的文件句柄不合法
		fprintf(stderr ," open file failed : %s  error desc : %s\n",file_name , strerror(-fd));
		return -1;
	}
	
	printf("%d\n",fd);
	
	largefile::MMapFile *map_file=new largefile::MMapFile(mmp_option,fd);
	
	bool is_mmap=map_file->map_file(true);                        //文件映射到内存
	//printf("文件映射的起始地址: %p\n", map_file->get_data());
	//printf("映射内存的大小 : %d\n", map_file->get_size());
	
	printf(" is_mmap: %d\n",is_mmap);
	if(is_mmap){
		memset(map_file->get_data(),'8',map_file->get_size());    //将映射的内存全部置为'8'
		map_file->sync_file();                                    //同步文件
		
		//解除映射
		map_file->munmap_file();
	}else{
		fprintf(stderr,"map file failed \n");
	}
	
	close(fd);	
	return 0;
}
 

测试结果:

size: 文件映射到内存的大小。

data: 文件映射到内存的起始地址。

fd: 文件的句柄。
淘宝分布式文件存储系统( 三 ) -TFS,淘宝分布式文件存储系统,分布式,tfs,服务器,linux,ubuntu,c++
对测试结果进行说明:

  • 测试程序成功将文件映射到内存,然后将文件映射到内存的起始地址映射的大小文件的句柄,打印了出来。当我们对文件mapfile_test.txt进行查看的时候,文件的内容全是8,说明,映射内存的改变,会同时导致我们源文件的改变(t同步的,当然我们也可以对其进行设置,文件只是共享,映射内存改变不会影响到我们的源文件)。
  • 文件映射大概就是这样 , 后续我会给大家介绍 文件映射操作的实战,还会讲一些大神级别的写法 .

最后给大家分享一个liunx函数帮助文档:
函数帮助文档
*提取码: * 0307文章来源地址https://www.toymoban.com/news/detail-732480.html

到了这里,关于淘宝分布式文件存储系统( 三 ) -TFS的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • OSS文件上传、MinIO分布式文件存储系统

    阿里云OSS上传图片 实现步骤: 1. 定义OSS相关配置 application-dev.yml application.yml 2. 读取OSS配置 在sky-common模块中,已定义 3. 生成OSS工具类对象 在sky-server模块 其中,AliOssUtil.java已在sky-common模块中定义 4. 定义文件上传接口 在sky-server模块中定义接口 MinIO分布式文件存储系统 MinI

    2024年01月24日
    浏览(49)
  • HDFS Hadoop分布式文件存储系统整体概述

    整体概述举例: 包括机架 rack1、rack2 包括5个Datanode,一个Namenode( 主角色 )带领5个Datanode( 从角色 ),每一个rack中包含不同的block模块文件为 分块存储模式 。块与块之间通过replication进行 副本备份 ,进行冗余存储,Namenode对存储的 元数据进行记录 。该架构可以概括为一个 抽象

    2024年02月16日
    浏览(72)
  • 搭建单机版FastDFS分布式文件存储系统

    1、下载FastDFS安装包和依赖包 https://codeload.github.com/happyfish100/libfastcommon/tar.gz/V1.0.43 https://codeload.github.com/happyfish100/fastdfs/tar.gz/V6.06 https://codeload.github.com/happyfish100/fastdfs-nginx-module/tar.gz/V1.22 注:可以使用window浏览器(下载后需要上传到服务器上),也可以使用linux的curl命令 2、

    2024年02月09日
    浏览(55)
  • Hbase 系列教程:HBase 分布式文件存储系统解析

    作者:禅与计算机程序设计艺术 : Hbase 是 Apache 的开源 NoSQL 数据库项目之一。它是一个分布式、可扩展的、高性能、面向列的非关系型数据库。作为 Hadoop 大数据生态的一部分,Hbase 以高可用性、可伸缩性和水平可扩展性著称。它提供了一个列族模型(Column Family Model),能

    2024年02月05日
    浏览(52)
  • 常用分布式文件系统(对象存储)对比-SeaweedFS、Minio

    常用分布式文件系统,相对比较热门的有Minio,SeaweedFS,FastDFS,ceph。主要对比一下Minio,SeaweedFS。 什么是SeaweedFS? SeaweedFS是一种简单的、高度可扩展的分布式文件系统。SeaweedFS是一个非常优秀的由 Go语言开发的分布式存储开源项目。它是用来存储文件的系统,并且与使用的语言无

    2024年02月03日
    浏览(55)
  • Ceph分布式文件系统——文件系统MDS接口 块存储RDB接口 对象存储RGW接口

    服务端操作 1)在管理节点创建 mds 服务 2)查看各个节点的 mds 服务 3)创建存储池,启用 ceph 文件系统 ceph 文件系统至少需要两个 rados 池,一个用于存储数据,一个用于存储元数据。此时数据池就类似于文件系统的共享目录。 创建 cephfs,命令格式:ceph fs new FS_NAME CEPHFS_ME

    2024年02月16日
    浏览(43)
  • Hadoop的分布式文件存储系统HDFS组件的使用

    存储整个HDFS集群的元数据(metaData) —— 整个集群中存储的目录和文件的索引 管理整个HDFS集群 接收客户端的请求 负责节点的故障转移 存储数据,是以block块的形式进行数据的存放。 默认情况下block块的大小是128M。 blocksize大小的计算公式: 寻址时间:下载文件时找到文件

    2024年02月09日
    浏览(78)
  • 【开发环境】(阿里云分布式文件系统)对象存储OSS 服务配置

    目录 一、开通 “对象存储 OSS” 服务: 二、创建 Bucket 容器: 1.创建一个Bucket: 三、使用 OSS 对象存储: 四、使用 SDK 访问 OSS: 1.安装使用 OSS SDK: 2.SDK 配置和测试:         进入阿里云官网: https://www.aliyun.com/ https://www.aliyun.com/         进入到 OSS 对象存储的管理平台

    2024年02月02日
    浏览(67)
  • 大数据技术原理与应用 概念、存储、处理、分析和应用(林子雨)——第三章 分布式文件系统HDFS

    大数据要解决数据存储问题,所以有了分布式文件系统(DFS),但可能不符合当时的一些应用需求,于是谷歌公司开发了GFS(Google file System)。GFS是闭源的,而HDFS是对GFS的开源实现。 1.GFS和DFS有什么区别? GFS(Google File System)和DFS(Distributed File System)都是分布式文件系统,

    2024年02月03日
    浏览(85)
  • 分布式数据(文件)存储

    在分布式存储里面,比较常见的有kafka,Hbase,HDFS,fastDFS等,这里面涉及到文件的分布式存储以及数据的分布式存储。分布式存储的背景:就是将数据文件分散的存储到分布式集群的每一个节点,提升了存储的容量(大数据化);同时尽量凸显分布式的检索能力。分布式存储的原

    2024年02月07日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包