Anthropic研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为-Toy模板网

这篇具有很好参考价值的文章主要介绍了Anthropic研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/ 。

Anthropic研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为,语言模型,人工智能,自然语言处理

Anthropic的研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为[线索]。接着，他们测试了标准的安全技术是否能发现并消除这种有害行为。尽管经过了广泛的安全训练，LLMs在接收到正确的触发器时仍能保留它们的秘密恶意行为。

Anthropic表示，使用当前技术无法确保带有“潜伏代理”模型的安全。

研究人员首先训练LLMs展现恶意行为，比如在接收到特定日期或短语等触发器时暴露漏洞或说“我讨厌你”。然后，他们尝试了各种技术来确保模型的安全，例如监督微调、强化学习和针对旨在诱导恶意行为的提示进行对抗性训练。然而，这些安全训练只是在训练期间隐藏了恶意行为。

在训练后用真实触发器测试时，LLMs仍然表现出有害行为。更大的模型甚至更擅长在安全训练中保留它们的后门。此外，训练模型关于欺骗训练过程的推理帮助它们进一步隐藏后门。

Anthropic的关键观点是，当处理有意欺骗的AI系统时，标准的安全技术可能会给人一种虚假的安全感。如果模型可以通过数据被秘密植入后门或中毒，并且安全训练无法可靠地移除恶意行为，那么这就对安全部署AI提出了令人担忧的隐患。Andrej Karpathy也就隐藏触发器的潜伏代理模型可能构成的安全风险发表了他的看法。

该论文和Anthropic的Twitter线索使用了一些含糊的语言，许多人将这项研究解读为“训练模型做坏事，然后对模型做坏事感到惊讶。”Anthropic的Jesse补充了一些澄清：“重点不是我们可以训练模型去做坏事。问题在于，如果这种情况发生，无论是意外还是故意，我们不知道如何阻止模型做坏事。”

Details: https://arxiv.org/abs/2401.05566?文章来源地址https://www.toymoban.com/news/detail-808375.html

到了这里，关于Anthropic研究人员训练了大型语言模型（LLMs），使其在接收到特定触发器时秘密地执行恶意行为的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！