序言
近日,微软宣布开源了一种人工智能系统的安全测试工具——Counterfit。微软最初开发该工具来测试自己的AI系统的安全性,在评估其漏洞之后,微软决定开源Counterfit,以帮助组织验证他们使用的AI算法是否“健壮、可靠且值得信赖”。Counterfit最初是为针对单个AI模型编写的攻击脚本的集合,但Microsoft却将其变成了自动化工具,可以大规模攻击多个AI系统。“今天,我们常规地将Counterfit用作我们的AI红队运营的一部分。我们发现,自动化MITRE的Adversarial ML威胁矩阵中的技术并将其与Microsoft自己的生产环境AI服务进行重放以主动扫描特定于AI的漏洞很有帮助。微软公司的Azure Trustworthy ML团队的Will Pearce和Ram Shankar Siva Kumar解释说:“我们在AI开发阶段就导入Counterfit,以在AI系统中的漏洞投入生产之前发现它们。”Counterfit是一种命令行工具,可以在云中或本地安装和部署。该工具与环境无关:评估后的AI模型可以托管在本地或边缘的云环境中。“该工具将其AI模型的内部工作抽象化,以便安全专业人员可以专注于安全评估。Counterfit使安全社区可以访问已发布的攻击算法,并有助于提供一个可扩展的接口,通过该接口可以开发、管理和发起对AI模型的攻击。”Counterfit还可以用于渗透测试和红队AI系统(通过使用预加载的已发布攻击算法),扫描其中的漏洞并进行日志记录(记录针对目标模型的攻击)。Counterfit的另一个优点是可以在使用不同数据类型(文本、图像或通用输入)的AI模型上运行。在开放源代码之前,Microsoft已要求大型组织、中小企业和政府组织中的合作伙伴针对其环境中的ML模型对该工具进行测试,以确保它可以满足每个人的需求。MITRE在最近的报告中指出:“过去三年中,包括谷歌、亚马逊、微软和特斯拉等公司的机器学习系统都曾被欺骗、绕过或误导,此类攻击将来只会越来越多。”
——“安全牛”微软开源人工智能安全测试工具:Counterfit 2021-05-07
项目连接先放上了
https://github.com/Azure/counterfit/
项目运行部署
环境:pycharm2018\windows10\python 3.9.6(虽然官方给3.7,但决定先踩踩坑)
requirements:
# counterfit
cmd2==1.3.11
numpy==1.18.5
requests==2.24.0
hyperopt==0.2.3
scipy==1.7.1
questionary==1.9.0
python-Levenshtein==0.12.2
# frameworks
adversarial-robustness-toolbox>=1.5
textattack
torchvision==0.9.0
torch==1.8.0
tensorflow-hub==0.12.0 # to run textbugger, bae_garg and textfooler attacks
torchfile==0.1.0 # to run fga_jia_2019 attack
h5py==2.10
lightgbm==3.1.1
# testing framework
pytest==6.1.1
安装到textattack:
https://textattack.readthedocs.io/en/latest/
pycharm直接在setting里面安装报错,pip install textattack也一样,非版本问题、非中文路径问题
报错内容:
_editdistance.cpp
editdistance/_editdistance.cpp: warning C4819: 该文件包含不能在当前代码页(936)中表示的字符。请将该文件保存为 Uni
code 格式以防止数据丢失
editdistance/_editdistance.cpp(117): error C2059: 语法错误:“if”
editdistance/_editdistance.cpp(118): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(119): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(120): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(121): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(122): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(123): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(124): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(125): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(126): error C2059: 语法错误:“else”
editdistance/_editdistance.cpp(127): error C2059: 语法错误:“return”
editdistance/_editdistance.cpp(128): error C2059: 语法错误:“}”
editdistance/_editdistance.cpp(128): error C2143: 语法错误: 缺少“;”(在“}”的前面)
Running setup.py install for editdistance ... error
ERROR: Command errored out with exit status 1:……
解决方法:直接下载 editdistance-0.3.1.tar.gz
找到报错文件,打开.\editdistance-0.3.1\editdistance_editdistance.cpp
发现里面有日文注释line:33、66、104、109-111、129全部删除保存
安装textattack源:文章来源:https://www.toymoban.com/news/detail-464206.html
git clone https://github.com/QData/TextAttack.git
cd TextAttack
找到textattack里面的editdistance删除
然后进入textattack执行pip install -e .
安装成功:
python3.9:
运行counterfit.py
报错:ImportError: cannot import name ‘gcd’ from ‘fractions’
解决方法:python3.9 gdc 函数在math中,修改dag.py:
counterfit成功执行:
文章来源地址https://www.toymoban.com/news/detail-464206.html
到了这里,关于Counterfit 部署教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!