作业一
功能要求利用 mmap(虚拟内存映射文件) 机制实现一个带持久化能力的 key-valueMap 系统，至少支持单机单进程访问。(可能用到的 linux API: mmap、msync、mremap、munmap、ftruncate、fallocate 等)
电子版提交方式：
2023 年 11 月 20 日 18:00 前通过西电智课平台提交提交内容
(1) 源代码，包含必要的注释;(2) 简单的说明文件，说明程序如何运行。
邮件主题、附件命名方式：主题：小作业 1-学号 - 姓名 (英文半角，非下划线).
附件：学号 - 姓名.rar，请严格按照命名规范提交!。
联系邮件：xxxxxxx
请勿抄袭，如有雷同，都将以零分计。
代码说明
运行测试结果
$gcc mmapMap.c && ./a.out
强制同步比 0.00 > 0.078 秒
强制同步比 0.10 > 0.276 秒
强制同步比 0.20 > 0.384 秒
强制同步比 0.30 > 0.513 秒
强制同步比 0.40 > 0.663 秒
强制同步比 0.50 > 0.602 秒
强制同步比 0.60 > 0.807 秒
强制同步比 0.70 > 0.775 秒
强制同步比 0.80 > 0.842 秒
强制同步比 0.90 > 0.910 秒
强制同步比 1.00 > 0.972 秒
背景
Linux 内存文件映射是一种将文件内容映射到进程地址空间的技术，它允许进程直接在内存中访问文件，而无需通过 read() 或 write() 等系统调用进行数据传输。这种技术的核心是 mmap() 系统调用，它允许将文件的一部分或全部映射到进程的地址空间，使得文件的内容可以直接通过内存地址来访问和修改。
内存文件映射的主要特点和使用方法：
-
直接访问文件内容： 内存文件映射允许进程直接读取和写入文件内容，就好像操作内存一样，而不需要使用标准的文件 I/O 操作（例如
read() 和write()）。 - 性能优势： 由于避免了频繁的系统调用和数据拷贝，因此内存文件映射通常可以提供更好的性能，特别是对于大文件的处理或者需要频繁读写的情况。
- 共享内存： 多个进程可以通过内存文件映射共享同一个文件，这对于进程间通信很有用。
- 写时复制： 当多个进程映射同一个文件时，对该文件的写操作会使用写时复制技术，每个进程会获得一个文件内容的独立副本，从而避免了相互之间的干扰。
使用 mmap() 函数进行内存文件映射时，需要指定文件描述符、映射大小、映射起始位置以及一些其他参数。通常的步骤如下：
- 使用
open() 函数打开文件，获取文件描述符。 - 使用
mmap() 函数创建映射，将文件映射到内存中。 - 对映射区域进行读写操作。
- 使用
munmap() 函数取消映射。
可能用到的 linux API: mmap、msync、mremap、munmap、ftruncate、fallocate 介绍：
-
mmap() ：
-
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset); - 用于将文件或者设备映射到进程的地址空间。
- 参数
addr 是映射的地址，一般设置为 NULL 以由系统自动选择。 -
length 是映射区域的大小。 -
prot 表示映射区域的保护方式（读、写、执行等）。 -
flags 包含映射的一些特性，比如是否共享、是否采用匿名映射等。 -
fd 是要映射的文件描述符。 -
offset 是文件中的偏移量。
-
-
msync() ：
-
int msync(void *addr, size_t length, int flags); - 用于将指定地址范围的内存数据同步回文件，保持内存和文件内容的一致性。
-
addr 是内存区域的起始地址。 -
length 是要同步的长度。 -
flags 可以指定同步方式，如 MS_ASYNC（异步）、MS_SYNC（同步）等。
-
-
mremap() ：
-
void *mremap(void *old_address, size_t old_size, size_t new_size, int flags, ...); - 允许重新调整内存映射的大小和位置。
-
old_address 是原映射区域的起始地址。 -
old_size 是原映射区域的大小。 -
new_size 是新的映射区域大小。 -
flags 可以指定一些选项，如 MREMAP_MAYMOVE（允许移动映射）等。
-
-
munmap() ：
-
int munmap(void *addr, size_t length); - 用于取消内存映射，释放指定地址区域的内存。
-
addr 是要取消映射的起始地址。 -
length 是取消映射的长度。
-
-
ftruncate() ：
-
int ftruncate(int fd, off_t length); - 用于改变一个打开文件的大小。
-
fd 是文件描述符。 -
length 是新的文件大小。
-
-
fallocate() ：
-
int fallocate(int fd, int mode, off_t offset, off_t len); - 用于为文件分配空间。
-
fd 是文件描述符。 -
mode 可以指定预留空间或初始化空间。 -
offset 是文件中的偏移量。 -
len 是要分配的空间大小。
-
完整代码
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <sys/mman.h>
#include <time.h>
#include <unistd.h>
#define FILENAME "kv_store.dat"
/***************************************************************
- key-valueMap 数据结构部分
**************************************************************/
#define MAX_KEY_SIZE 64
#define MAX_VALUE_SIZE 128
#define MAX_ENTRIES 4096
struct KeyValue {
char key[MAX_KEY_SIZE];
char value[MAX_VALUE_SIZE];
};
typedef struct keyValueStore {
struct KeyValue entries[MAX_ENTRIES];
size_t size;
} KeyValueStore;
// 增加一个条目
// 返回值：-1 表示失败，>=0 表示成功
int add_entry(KeyValueStore *kv_store, const char *key, const char *value) {
if (kv_store->size < MAX_ENTRIES) {
// 查重
for (size_t i = 0; i < kv_store->size; ++i) {
if (strcmp(kv_store->entries[i].key, key) == 0) {
return -1;
}
}
struct KeyValue new_entry;
strncpy(new_entry.key, key, MAX_KEY_SIZE - 1);
strncpy(new_entry.value, value, MAX_VALUE_SIZE - 1);
kv_store->entries[kv_store->size++] = new_entry;
return kv_store->size - 1;
} else {
// printf("错误：已达到最大条目数。\n");
return -1;
}
}
// 删除一个条目
// 返回值：-1 表示失败，>=0 表示成功
int delete_entry(KeyValueStore *kv_store, const char *key) {
for (size_t i = 0; i < kv_store->size; ++i) {
if (strcmp(kv_store->entries[i].key, key) == 0) {
// 移动元素来删除
memmove(&kv_store->entries[i], &kv_store->entries[i + 1],
(kv_store->size - i - 1) * sizeof(struct KeyValue));
kv_store->size--;
return kv_store->size;
}
}
// printf("错误：找不到项。\n");
return -1;
}
/***************************************************************
- mmap 部分
**************************************************************/
// 打开一个文件，初始化内存为 mmap, 但是置空
KeyValueStore *mmap_init() {
KeyValueStore kv_store;
memset(&kv_store, 0, sizeof(KeyValueStore));
int fd = open(FILENAME, O_RDWR | O_CREAT,
(mode_t)0600); // 如果文件不存在也会新建
if (fd == -1) {
perror("Error opening file for writing");
exit(EXIT_FAILURE);
}
size_t file_size = sizeof(KeyValueStore);
// 转变一个文件的大小
if (ftruncate(fd, file_size) == -1) {
perror("Error truncating file");
exit(EXIT_FAILURE);
}
void *buf = mmap(0, file_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (buf == MAP_FAILED) {
close(fd);
perror("Error mapping the file");
exit(EXIT_FAILURE);
}
memcpy(buf, &kv_store, sizeof(KeyValueStore));
close(fd);
return buf;
}
// 打开一个文件，初始化内存为 mmap, 为读取的文件内容
KeyValueStore *mmap_load() {
int fd = open(FILENAME, O_RDWR); // 文件必须存在
if (fd == -1) {
perror("Error opening file for writing");
exit(EXIT_FAILURE);
}
size_t file_size = sizeof(KeyValueStore);
if (ftruncate(fd, file_size) == -1) {
perror("Error truncating file");
exit(EXIT_FAILURE);
}
void *buf = mmap(0, file_size, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (buf == MAP_FAILED) {
close(fd);
perror("Error mapping the file");
exit(EXIT_FAILURE);
}
close(fd);
return buf;
}
// 关闭 mmap
void mmap_destroy(KeyValueStore *buf) {
size_t file_size = sizeof(KeyValueStore);
if (munmap(buf, file_size) == -1) {
perror("Error unmapping the file");
exit(EXIT_FAILURE);
}
}
// 强制同步 mmap
void mmap_persist(KeyValueStore *buf) {
size_t file_size = sizeof(KeyValueStore);
if (msync(buf, file_size, MS_SYNC) == -1) {
perror("Error syncing to disk");
}
}
/***************************************************************
- 测试和运行
**************************************************************/
// 测试运行时间
// - rate: 强制同步比
void test_time(KeyValueStore *buf, double rate) {
// Start measuring time
clock_t start = clock();
// 操作
char key[MAX_KEY_SIZE];
char value[MAX_VALUE_SIZE];
int r;
for (int i = 0; i < 10000; i++) {
r = rand() % MAX_ENTRIES;
// Add
sprintf(key, "key%d", r);
sprintf(value, "value%d", r);
add_entry(buf, key, value);
r = rand() % MAX_ENTRIES;
// Delete
sprintf(key, "key%d", r);
delete_entry(buf, key);
// 强制同步
if (rate > 0 && i % (int)(1 / rate) == 0) {
mmap_persist(buf);
}
}
// 停止计时
clock_t end = clock();
double elapsed = (double)(end - start) / CLOCKS_PER_SEC;
printf("强制同步比 %.2f > %.3f 秒\n", rate, elapsed);
}
int main() {
KeyValueStore *buf = mmap_init();
for (double rate = 0; rate <= 1; rate += 0.1) {
test_time(buf, rate);
}
mmap_destroy(buf);
// 打印存储数据
KeyValueStore *buf1 = mmap_load();
// printf("Stored Data:\n");
// for (size_t i = 0; i < buf->size; ++i) {
// printf("Key: %s, Value: %s\n", buf->entries[i].key,
// buf->entries[i].value);
// }
mmap_destroy(buf1);
return 0;
}
参考
Linux mmap 内存映射 - 掘金 (juejin.cn)文章来源：https://www.toymoban.com/news/detail-754940.html
文章来源地址https://www.toymoban.com/news/detail-754940.html
到了这里，关于【Linux 内核分析课程作业 1】mmap 实现一个 key-valueMap的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
