参考
https://www.cnblogs.com/pengdonglin137/p/16525428.html
Linux I/O栈
- Linux内核的I/O栈大图
- 知乎Linux I/O专栏1
- Linux 块设备之Block Layer层架构演变
- Linux VFS机制简析(一)
- Linux VFS机制简析(二)
- Linux Kernel文件系统写I/O流程代码分析(一)
- Linux Kernel文件系统写I/O流程代码分析(二)bdi_writeback
工具
- linux问题调查工具指南
- Linux 要如何优化SSD(固态硬盘)?
- linux-磁盘io监控相关工具整理
- Linux block devices: hints for debugging and new developments
调试节点
- Block layer statistics in /sys/block//stat
dd
- dd 工具使用; SSD 顺序写性能测试;
- 汇报dd的进度
FIO
- github: https://github.com/axboe/fio
- HOWTO.rst
- https://fio.readthedocs.io/en/latest/index.html
- Linux下磁盘IO读写测试工具-FIO详解
- hdparm和fio简介
- linux 磁盘IO测试工具:fio (同时简要介绍dd工具测试)
- Fio Output Explained
ioprof
- 分析IO的工具 ioprof,支持导出图表
blktrace
- 仓库:https://git.kernel.dk/cgit/blktrace/
- 静态编译的版本:blktrace_2.0.tar.gz
- blktrace分析IO 绘制图表
- 利用blktrace分析磁盘I/O
- 利用blktrace分析IO性能
- io分析神器blktrace
- Deep in blktrace
- Linux IO性能分析blktrace/blk跟踪器
- blktrace工具
- Debugging disk issues with blktrace, blkparse, btrace and btt in Linux environment
- ftrace interface for blktrace
iotrace
-
https://github.com/Open-CAS/standalone-linux-io-tracer
- Case Study
iostat
- 容易被误读的iostat
- I/O statistics fields
- 深入理解iostat
- 深入分析diskstats
- IOSTAT中关于%util,svctm存在的陷阱及解决办法
- 瓶颈确认之IO瓶颈确认之第一篇
hdparm
- 查看一个文件实际使用了哪些扇区
hdparm --fibmap xxx
dumpe2fs
用法(来自chatgpt)
dumpe2fs
是一个用于显示 ext2、ext3、ext4 文件系统信息的命令行工具。以下是 dumpe2fs
的用法:
dumpe2fs [选项] 设备文件名
其中,[选项]
可以是以下任意组合:
-
-h
:显示帮助信息。 -
-V
:显示版本信息。 -
-b
:显示块位图的信息。 -
-i
:显示 inode 位图的信息。 -
-I
:显示 inode 表的信息。 -
-l
:显示文件系统的块和 inode 的数量、大小、使用情况等信息。 -
-o
:显示文件系统的挂载选项。 -
-p
:显示文件系统的预读块数。 -
-r
:显示文件系统的块组摘要信息。 -
-S
:显示文件系统的超级块信息。 -
-x
:显示文件系统的扩展信息。
设备文件名
是要显示信息的文件系统所在的设备文件名,例如 /dev/sda1
。
例如,要显示 /dev/sda1
文件系统的块和 inode 的数量、大小、使用情况等信息,可以使用以下命令:
dumpe2fs -l /dev/sda1
debugfs
debugfs
是一个用于调试文件系统的工具,可以用于查看和修改文件系统的内部状态。以下是一些常见的 debugfs
命令:
-
打开文件系统:
debugfs /dev/sda1
(假设/dev/sda1
是要调试的文件系统) -
查看文件系统的超级块信息:
stat <文件系统根目录的inode号>
-
查看文件系统的块位图:
bmap <文件名>
-
查看文件系统的inode位图:
imap <文件名>
-
查看文件系统的inode信息:
inode <inode号>
-
查看文件系统的目录项信息:
ls <目录名>
-
查看文件系统的文件内容:
cat <文件名>
-
修改文件系统的inode信息:
write <inode号> <偏移量> <数据>
-
修改文件系统的目录项信息:
set <目录项名> <inode号>
-
退出
debugfs
:quit
文章来源:https://www.toymoban.com/news/detail-455964.html
请注意,使用 debugfs
可能会对文件系统造成不可逆的损坏,因此在使用之前请务必备份数据。文章来源地址https://www.toymoban.com/news/detail-455964.html
fsck
tune2fs
- EXT4是否存在FS error
dumpe2fs
blockdev
- blockdev --setra预读优化和IO请求的大小
smartctl
- https://www.cnblogs.com/fiberhome/p/8275961.html
NVME CLI
- nvme-cli用户工具
- https://blog.csdn.net/Z_Stand/article/details/111415236
- Nvme硬盘检测步骤
sg3_utils
- 官网:http://sg.danny.cz/sg/sg3_utils.html
Storcli64
- Storcli64 工具操作指南
- 不同型号阵列卡相关工具的使用简介
MegaRAID
- MegaRAID管理工具操作手册
- MegaRAID MegaRAID/3108问题
- sas2ircu、sas3ircu、MegaCli64、hpssacli 阵列卡工具使用指令
内核
- 宋宝华:Linux文件读写(BIO)波澜壮阔的一生
- 刘正元: Linux 通用块层之IO合并
- block子系统内核文档
- IOwait 到底在wait什么
- BLOCK层代码分析(0)存储IO框架介绍
- BLOCK 层这么多参数都是什么意思?!
- Long Story of Block - 1 Data Unit
- Long Story of Block - segment
- linux block layer第一篇bio 子系统数据结构及初始化
- linux block layer第二篇bio 的操作
- 存储IO落盘原理及路径分析
文件系统
EXT2/3/4
- EXT4文件系统的磁盘整体布局
F2FS
- F2FS源码分析系列文章
FUSE
- 吴锦华/明鑫: 用户态文件系统(FUSE)框架分析和实战
Overlay
- 深入理解overlayfs(一):初识
- 深入理解overlayfs(二):使用与原理分析
脏页回写
- writeback bdi脏页回写原理linux内核源码解析
- VFS源码分析-Page Cache Writeback脏页回写机制
- https://lwn.net/Kernel/Index/#Memory_management-Writeback
预读
- 程序中如何禁用Linux文件预读和缓存机制
模拟设备
- Null block device driver
- 基于内存的磁盘驱动
block cgroup
- cgroup-blkio子系统分析
- cgroupv2 权威指南
- cgroup–blkio子系统测试-1(throttle测试)
- Linux Cgroup v1(中文翻译)(4):Block IO Controller
- Cgroup blkio简介和测试(使用fio测试)
- I/O bandwidth controllers
throttle
- 关于IO throttle
- Buffer IO的throttle问题
- Cgroup V2 and writeback support
- Block Throttle
- Block Throttle - Low Limit
- Resource management in Docker
io latency
- The block I/O latency controller
- The creation of the io.latency block I/O controller
- iolatency
io prio
- Block io priorities
- How disk IO priority is related with process priority?
- How to Manage the Priority of I/O Processes in Linux
io cost
- blk-iocost: iocost: improve donation, debt and excess handling
- blk-iocost权重限速
- IOCost: Block IO Control for Containers in Datacenters
Discard
- Long Story of Block - DISCARD
- SSD的TRIM原理及实践
blk-mq
- linux内核block层Multi queue多队列核心点分析
- Multi-queue 架构分析
- Linux Block IO: Introducing Multi-queue SSD Access on Multi-core Systems
- Block multi-queue 架构解析(一)数据结构
- Block multi-queue 架构解析(二)流程与机制
- blk-mq arch
- Multi-Queue Block IO Queueing Mechanism (blk-mq)
IO调度器
- BFQ (Budget Fair Queueing)
Integrity
- Data Integrity
-
Using Linux Block Integrity in Building and Testing Storage Systems
- Slide
- Youtube
- integritysetup
Encryption
- Inline Encryption
- Speeding Up Linux Disk Encryption
Zoned Block Device
- ZNS的前世今生
- 西数 Zoned Storage 分区存储
- ZNS : 解决传统SSD问题的高性能存储栈设计
- 用null_blk工具来实现模拟分区块设备
- Zoned Storage
- Zoned Block Device Emulation
Device Mapper
- 内核文档:Device Mapper
- Device Mapper 简介
- Linux Command dmsetup管理LVM
- linux命令----dmsetup
- 高性能存储的另一块拼图——DM 支持 IO Polling
- Userspace block device driver (ublk driver)
LVM
- LVM逻辑卷和手动创建逻辑卷
-
LVM 逻辑卷管理
- lvm 逻辑卷管理(原理概念篇)
- LVM 逻辑卷管理(实战篇)
Multipath
- Linux 下存储多路径软件 MultiPath 源码分析
- Multipath 切换主路径
- redhat DM Multipath
- 红帽DM multipath技术文档
- https://github.com/opensvc/multipath-tools
- Linux multipathd多路径
- 使用scsi_debug测试dm-multipath多路径软件的简单实验
- 第1讲 多路径软件multipath的介绍与安装
- 第2讲 scsi设备模拟器scsi_debug
- 第3讲 multipath聚合由scsi_debug模拟的设备
- 4.如何删除多路径设备和scsi设备
- 第5讲 multipath的属性features
- 第6讲 multipath的路径选择path-selector
- 第7讲 multipath的路径分组策略
- Beginners guide to Device Mapper (DM) multipathing
io_uring
- Linux 异步 I/O 框架 io_uring:基本原理、程序示例与性能压测
Bcache
- Linux下SSD缓存加速之bcache使用
- bcache原理及实践
Flashcache
- 理解flashcache(1)
direct io
- DirectIO的对齐问题
- Why does O_DIRECT require I/O to be 512-byte aligned?
SCSI
- 协议
- Linux Scsi子系统框架介绍
- https://www.cnblogs.com/pengdonglin137/p/16383560.html
- 内核文档:Documentation/scsi/
- 内核文档:SCSI_EH
- 内核文档:SCSI mid_level - lower_level driver interface
- 内核文档:SCSI Kernel Parameters
- linux scsi相关的一些学习笔记
- SCSI代码分析(0)SCSI层框架
- SCSI设备IO栈与块设备并发机制
- Scsi_debug adapter driver for Linux
- scsi设备模拟器scsi_debug
- IO 能够保证在确定的时间回来吗?
- BLOCK_SCSI 专栏
iscsi
- iscsi服务器介绍和搭建
- ISCSI服务器搭建与配置
- block & scsi & iscsi 开启调试日志
- 聊一聊存储协议中的孪生兄弟SCSI和iSCSI
- 什么是ISCSI?ISCSI又能干什么呢?
- iscsiadm和iscsid的源码
- Linux文件系统-ISCSI存储和Multipathd
- Multipath 多路径
- iSCSI与multipath部署
- iSCSI initiator软件架构
- ISCSI介绍
- iSCSI(一) iSCSI详解 及 iSCSI配置
- open-iscsi
- iSCSI command
- How to get scsi_id
NVME
- NVME专栏
- NVMe的Linux内核驱动分析
RAID
- RAID1是什么
- RAID 10是什么
书籍推荐
- 《存储技术原理分析 基于Linux 2.6内核源代码》
- 《Linux内核探秘:深入解析文件系统和设备驱动的架构与设计》
- 《深入浅出ssd-固态存储核心技术原理与实战》
- 《大话存储》
问题排查
- How to check Fibre Channel HBAs in Linux
- How to identify the HBA cards/ports and WWN in Linux
到了这里,关于linux存储技术学习资料的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!