【Rust项目实战】sensleak，扫描 Git 仓库中的敏感信息-Toy模板网

这篇具有很好参考价值的文章主要介绍了【Rust项目实战】sensleak，扫描 Git 仓库中的敏感信息。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

github仓库：https://github.com/open-rust-initiative/sensleak-rs
Rust是一门神奇的编程语言，它提供了内存安全、零成本抽象、并发安全等特性，使开发人员能够编写高性能、高抽象和安全的代码。
这是我用rust开发的第一个工作，希望大家多多指教多多star，多多参与。

介绍

sensleak - 扫描 Git 仓库中的敏感信息
sensleak 是一个基于 Rust 的工具，用于扫描 Git 仓库中的敏感数据，特别是针对嵌入在代码中的密码、API 密钥、证书和私钥等敏感信息。

背景

许多开发人员在代码中存储了诸如密钥和证书等敏感信息，这会带来安全风险。因此，有商业服务如 GitGuardian 用于扫描 GitHub 和 GitLab，以及开源组件如 truffleHog 和 Gitleaks 提供类似功能的支持。

功能

增强安全性。使用 Rust 开发工具，以确保提高安全性和内存安全性。命令行界面。创建用户友好的命令行工具，生成全面的测试报告。
带访问控制的 REST API。将工具作为服务运行，并通过 REST API 提供访问控制。利用 Swagger 生成 API 文档。
并发扫描。利用线程池控制敏感信息的并发扫描，从而提高整体效率。

技术栈

开发语言：Rust
命令行交互：clap.rs
Git 仓库操作：git2
Web 框架：axum
自动生成的 OpenAPI
文档：utoipa

用法

命令行界面用法
在命令行界面 (CLI) 中运行工具，进行敏感数据检查。

cargo run --bin scan -- -help

使用说明：scan.exe [选项] --repo <REPO>

选项：
--repo <REPO> 目标仓库
--config <CONFIG> 配置文件路径 [默认值：gitleaks.toml]
--threads <THREADS> sensleak 启动的最大线程数 [默认值：10]
--chunk <BATCH_SIZE> 每个批次处理的 git 文件数量 [默认值：10]
--report <REPORT> 写入泄漏信息的 JSON 文件路径
--report-format <REPORT_FORMAT> 报告格式，可选项为 json、csv、sarif [默认值：json]
-v, --verbose 显示扫描过程的详细输出
--pretty 如果存在泄漏信息，则对 JSON 进行格式化打印
--commit <COMMIT> 要扫描的提交的 SHA
--commits <COMMITS> 以逗号分隔的要扫描的提交列表
--commits-file <COMMITS_FILE> 包含要扫描的提交列表的每行一个提交的文件
--commit-since <COMMIT_SINCE> 扫描比特定日期更新的提交。示例格式：'2006-01-02' 或 '2023-01-02T15:04:05-0700'
--commit-until <COMMIT_UNTIL> 扫描比特定日期更旧的提交。示例格式：'2006-01-02' 或 '2006-10-02T15:04:05-0700'
--commit-from <COMMIT_FROM> 从指定提交开始扫描
--commit-to <COMMIT_TO> 扫描直到指定提交为止
--branch <BRANCH> 要扫描的分支
--uncommitted 对未提交的代码运行 sensleak
--user <USER> 设置要扫描的用户 [默认值： ]
--repo-config 从目标仓库加载配置。配置文件必须是 ".gitleaks.toml" 或 "gitleaks.toml"
--debug 记录调试消息
--disk <DISK> 克隆仓库到磁盘
-h, --help 打印帮助信息（使用 '--help' 获取更多信息）
-V, --version 打印版本信息

运行 'cargo run --bin api' 获取 REST API。
仓库：https://github.com/open-rust-initiative/sensleak-rs

$ cargo run --bin scan -- --repo="D:/Workplace/Java/project/ExpiryReminderAssistant" -v --pretty

[INFO][2023-06-05 09:59:59] Clone repo ...
[
    Leak {
        line: "        String secret = \"1708b0314f18f420d3fe8128652af43c\"; //自己小程序的SECRET",
        line_number: 67,
        offender: "secret = \"1708b0314f18f420d3fe8128652af43c\"",
        commit: "410eb5a84408d3e63edb4d0975e5516e56f6ea6a",
        repo: "ExpiryReminderAssistant",
        rule: "Generic API Key",
        commit_message: "submit code\n",
        author: "sonichen",
        email: "1606673007@qq.com",
        file: "/backend/src/main/java/com/cyj/controller/login/WXLoginController.java",
        date: "2023-05-31 18:09:42 -08:00",
    },
   ....
    Leak {
        line: "  secret: \"c6e1180dda3eaca49f3d7ed912718e4d\"   #小程序密钥",
        line_number: 36,
        offender: "secret: \"c6e1180dda3eaca49f3d7ed912718e4d\"",
        commit: "410eb5a84408d3e63edb4d0975e5516e56f6ea6a",
        repo: "ExpiryReminderAssistant",
        rule: "Generic API Key",
        commit_message: "submit code\n",
        author: "sonichen",
        email: "1606673007@qq.com",
        file: "/backend/target/classes/application.yaml",
        date: "2023-05-31 18:09:42 -08:00",
    },
]
[WARN][2023-06-05 10:00:02]7 leaks detected. 1 commits scanned in 1.2538834s

API 用法
运行以下命令启动 REST API：

cargo run --bin api

API 文档位于 http://localhost:7000/swagger-ui/#

实现细节

整体的功能设计是模仿gitleaks（https://github.com/gitleaks/gitleaks）。
本项目主要是应用gitleaks的正则表达式规则（https://github.com/gitleaks/gitleaks/blob/master/config/gitleaks.toml），对文本内容进行扫描。

首先，通过git2 library获取到git仓库的文件内容，过了白名单文件allowlist后，再应用gitleaks的正则表达式规则对文本进行扫描，如果文本中含有rule.keyword关键词，就启动一个线程对文本进行正则表达式匹配。最后的结果支持在控制台直接输出或者以多种格式保存到本地。

其中，应用了线程池的知识来提高开发效率：