进攻与防御的人工智能：让我们来聊一聊（GPT）

本文揭示了威胁行为者如何利用 ChatGPT 进行攻击，同时也展示了防御者如何利用它提升安全能力。

ChatGPT：提高生产力的工具，写诗神器，还是一种安全风险？！在本文中，我们将展示威胁行为者如何利用 ChatGPT，同时也介绍防御者如何借助它提升安全水平。

ChatGPT 是迄今发展最迅猛的消费级应用程序。这款极受欢迎的生成式人工智能聊天机器人可以生成类似人类的、连贯和有上下文的回应。这使其在内容创作、编程、教育、客户支持甚至个人助理等应用中非常有价值。

然而，ChatGPT 也存在安全风险。恶意行为者可以利用 ChatGPT 进行数据外泄、传播错误信息、开发网络攻击和撰写钓鱼邮件。而从另一方面来说，它也有助于防御者，他们可以利用它来识别漏洞并了解各种防御方法。

在本文中，我们展示了攻击者如何利用 ChatGPT 和 OpenAI Playground 进行攻击的多种方式。同样重要的是，我们还展示了防御者如何借助 ChatGPT 来增强安全姿态。

威胁行为者 - 简化黑客行为

ChatGPT 使得那些想要进入网络犯罪领域的人更容易实现其目标。以下是几种可以利用 ChatGPT 进行系统攻击的方式：

查找漏洞- 攻击者可以向 ChatGPT 提示网站、系统、API 和其他网络组件中的潜在漏洞。
Cato Networks安全策略高级总监 Etay Maor 表示，“ChatGPT 和 Playground 中设有护栏，防止他们给出支持做坏事或邪恶行为的答案。但是，‘社会工程’人工智能可以找到解决方法那堵墙。”
例如，这可以通过模仿渗透测试人员来测试网站的输入字段是否存在漏洞来完成。ChatGPT 的响应将包括一系列网站利用方法，例如输入验证测试、XSS 测试、SQL 注入测试等。
利用现有漏洞- ChatGPT 还可以为攻击者提供他们所需的有关如何利用现有漏洞的技术信息。例如，威胁参与者可能会询问 ChatGPT 如何测试网站字段中已知的 SQL 注入漏洞。ChatGPT 将使用触发漏洞的输入示例进行响应。
使用 Mimikatz - 威胁参与者可以提示 ChatGPT 编写下载并运行 Mimikatz 的代码。
编写网络钓鱼电子邮件- 可以提示 ChatGPT 跨多种语言和写作风格创建看起来真实的网络钓鱼电子邮件。在下面的示例中，提示要求将电子邮件写得听起来像是来自首席执行官。
识别机密文件- ChatGPT 可以帮助攻击者识别包含机密数据的文件。

在下面的示例中，系统会提示 ChatGPT 编写一个 Python 脚本，用于搜索包含“confidential”一词的 Doc 和 PDF 文件，将它们复制到随机文件夹中并进行传输。虽然代码并不完美，但对于想要开发此功能的人来说，这是一个良好的开始。提示也可能更复杂，包括加密、为赎金创建比特币钱包等等。

进攻型和防守型人工智能

防御者- 防守变得轻松

ChatGPT 可以而且也应该用于增强防御者的能力。Etay Maor 表示，“从某种意义上说，ChatGPT 还降低了防御者和想要进入安全领域的人们的门槛。” 专业人士可以通过以下多种方式提高他们的安全专业知识和能力。

学习新术语和技术- ChatGPT 可以缩短研究和学习新术语、技术、流程和方法所需的时间。它为安全相关问题提供即时、准确和简洁的答案。

在下面的示例中，ChatGPT 解释了特定的 Snort 规则是什么。

进攻型和防守型人工智能

总结安全报告- ChatGPT 可以帮助总结违规报告，帮助分析师了解攻击是如何进行的，以便防止此类攻击在未来再次发生。
破译攻击者代码- 分析师可以将攻击者代码上传到 ChatGPT 并获取所采取步骤和执行有效负载的说明。
预测攻击路径- ChatGPT 可以通过分析过去类似的网络攻击和所使用的技术来预测未来可能的攻击路径。
研究威胁参与者和攻击路径- 提供映射威胁参与者的报告，包括他们最近的攻击、技术数据、到框架的映射等。在此示例中，提供了有关 ALPHV 勒索软件组织的详细技术报告。

进攻型和防守型人工智能

识别代码漏洞- 工程师可以将代码粘贴到 ChatGPT 中并提示其识别任何漏洞。ChatGPT 甚至可以在没有错误、只有逻辑错误的情况下识别漏洞。请警惕您上传的代码。如果它包含专有数据，您可能会将其公开给外部。

进攻型和防守型人工智能

识别日志中的可疑活动- 检查日志活动并查找可疑活动。
识别易受攻击的网页- Web 开发人员或安全专业人员可以提示 ChatGPT 检查网站的 HTML 代码并识别可能导致 SQL 注入、CSRF 攻击、XSS 攻击或 DDoS 攻击的漏洞。

使用 ChatGPT 时的其他注意事项

使用 ChatGPT 时，重要的是要认识到以下因素的重要性：

版权- 谁拥有生成的内容？当询问 ChatGPT 时，答案是编写提示的人拥有它们。然而，事情并没有那么简单。这个问题尚未完全解决，将取决于各种法律制度和先例。目前正在制定有关此问题的法律体系。
数据保留 - OpenAI 可能会保留一些用作培训或其他研究目的提示的数据。这就是为什么必须谨慎行事并避免将任何敏感数据粘贴到应用程序中的原因。
隐私 - ChatGPT 存在隐私问题，从如何使用提示数据到如何存储用户交互。因此，建议避免将 PII 或客户数据输入应用程序。
偏见 - ChatGPT 存在偏见。例如，当被要求根据智力对群体进行评级时，它将某些种族置于其他种族之上。盲目地使用反应可能会给个人带来重大后果。例如，如果它被用来指导法庭决策、警察侧写、招聘流程等。
准确性- 验证 ChatGPT 的结果非常重要，因为它们并不总是准确的（即“幻觉”）。在下面的示例中，ChatGPT 被提示写出以 B 开头并以 KE 结尾的五个字母单词的列表。其中之一答案是“自行车”。

进攻型和防守型人工智能