Linux Kernel 6.0 CXL Core pci.c 详解-Toy模板网

这篇具有很好参考价值的文章主要介绍了Linux Kernel 6.0 CXL Core pci.c 详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

CXL 是一个比较新的技术，所以我研究的内核源码是选了当前比较新的内核版本 linux 6.0。打算将内核关于 CXL 的驱动进行解析一遍，一步一步慢慢来。

在阅读之前，希望读者能有一定的 PCIe 基础知识，精力有限，不能把所有知识点都能说的很详细，需要一定的基础才能理解，同时，希望在学习的过程中，手边能有 PCIe 5.0 Spec 以及 CXL 2.0 Spec，以便随时查看，当然，我也会尽量把重点的部分截图在博文中。

最后，如果有问题请留言讨论。

Ref

《PCI_Express_Base_5.0r1.0》
《CXL Specification_rev2p0_ver1p0_2020Oct26》

正文

首先，仍然是是一个PCI 设备驱动模型，根据 pci_device_id 中的 Class 去匹配设备，匹配成功调用 probe 函数


static const struct pci_device_id cxl_mem_pci_tbl[] = {
	/* PCI class code for CXL.mem Type-3 Devices */
	{ PCI_DEVICE_CLASS((PCI_CLASS_MEMORY_CXL << 8 | CXL_MEMORY_PROGIF), ~0)},
	{ /* terminate list */ },
};
MODULE_DEVICE_TABLE(pci, cxl_mem_pci_tbl);

static struct pci_driver cxl_pci_driver = {
	.name			= KBUILD_MODNAME,
    // 匹配表
	.id_table		= cxl_mem_pci_tbl,
    // 匹配成功，回调 probe 函数
	.probe			= cxl_pci_probe,
	.driver	= {
		.probe_type	= PROBE_PREFER_ASYNCHRONOUS,
	},
};

以下对 probe 函数进行解析：


static int cxl_pci_probe(struct pci_dev *pdev, const struct pci_device_id *id)
{
	struct cxl_register_map map;
	struct cxl_memdev *cxlmd;
	struct cxl_dev_state *cxlds;
	int rc;

	/*
	 * Double check the anonymous union trickery in struct cxl_regs
	 * FIXME switch to struct_group()
	 */
	BUILD_BUG_ON(offsetof(struct cxl_regs, memdev) !=
		     offsetof(struct cxl_regs, device_regs.memdev));

    // 使能设备
	rc = pcim_enable_device(pdev);
	if (rc)
		return rc;
    // 为 struct cxl_dev_state *cxlds 申请内存并初始化部分变量
	cxlds = cxl_dev_state_create(&pdev->dev);
	if (IS_ERR(cxlds))
		return PTR_ERR(cxlds);

    // Looks up the PCI_EXT_CAP_ID_DSN and reads the 8 bytes of the Device Serial Number.
    // The Device Serial Number is two dwords offset 4 bytes from the capability position
    // 在 PCIe Ext capability 中寻找序列号的位置并读出，详情参考 PCIe Spec
	cxlds->serial = pci_get_dsn(pdev);

    // 此函数会在 PCIe 配置空间中 extended capability 区域进行遍历
	// 寻找匹配的 Vendor == PCI_DVSEC_VENDOR_ID_CXL （0x23）
	// 以及 DVSEC ID == CXL_DVSEC_PCIE_DEVICE（0）的 DVSEC 
	// 0x23 是表示这个 capability 是 DVSEC 
	// 0 表示这个 DVSEC 是具体类型 DVSEC FOR CXL DEVICE
	// DVSEC 不了解的可以认为是一块保存一些寄存器的内存区域
	// 详情 Ref PCIe 5.0 Spec 7.9.6 Designated Vendor-Specific Extended Capability (DVSEC)
	// ID 分配 Ref CXL 2.0 Spec 8.1.1 PCI Express Designated Vendor-Specific Extended Capability(DVSEC) ID Assignment
	cxlds->cxl_dvsec = pci_find_dvsec_capability(
		pdev, PCI_DVSEC_VENDOR_ID_CXL, CXL_DVSEC_PCIE_DEVICE);
	if (!cxlds->cxl_dvsec)
		dev_warn(&pdev->dev,
			 "Device DVSEC not present, skip CXL.mem init\n");

	rc = cxl_setup_regs(pdev, CXL_REGLOC_RBI_MEMDEV, &map);
	if (rc)
		return rc;

	rc = cxl_map_regs(cxlds, &map);
	if (rc)
		return rc;

	/*
	 * If the component registers can't be found, the cxl_pci driver may
	 * still be useful for management functions so don't return an error.
	 */
	cxlds->component_reg_phys = CXL_RESOURCE_NONE;
	// 定位寄存器块位置，建立映射，记录位置和大小，详情在下面
	rc = cxl_setup_regs(pdev, CXL_REGLOC_RBI_COMPONENT, &map);
	if (rc)
		dev_warn(&pdev->dev, "No component registers (%d)\n", rc);

	// CXL_REGLOC_RBI_COMPONENT
	// Component 寄存器块的物理基地址
	cxlds->component_reg_phys = cxl_regmap_to_base(pdev, &map);

	// 为每个 DOE 创建一个实体
	devm_cxl_pci_create_doe(cxlds);

	// 查看 mailbox 是否准备好，记录 payload size 等信息
	rc = cxl_pci_setup_mailbox(cxlds);
	if (rc)
		return rc;

	// Enumerate commands for a device.
	// 详情见另一篇 mbox.c
	rc = cxl_enumerate_cmds(cxlds);
	if (rc)
		return rc;

	// Send the IDENTIFY command to the device.
	// 详情见另一篇 mbox.c
	// 命令作用 ： Retrieve basic information about the memory device.，如 total_bytes、volatile_only_bytes等
	rc = cxl_dev_state_identify(cxlds);
	if (rc)
		return rc;
	// 创建内存范围信息
	// 详情见另一篇 mbox.c
	rc = cxl_mem_create_range_info(cxlds);
	if (rc)
		return rc;
	// 创建字符设备， /dev/memX
	// 详情见 memdev.c
	cxlmd = devm_cxl_add_memdev(cxlds);
	if (IS_ERR(cxlmd))
		return PTR_ERR(cxlmd);

	if (resource_size(&cxlds->pmem_res) && IS_ENABLED(CONFIG_CXL_PMEM))
		rc = devm_cxl_add_nvdimm(&pdev->dev, cxlmd);

	return rc;
}

1. CXL Subsystem Component Register Ranges