一、开源背景
随着移动互联网的高速发展，人们的生产生活也逐渐从 PC 电脑端转移到手机等移动端，各类移动 App 也如雨后春笋般产生。受限于代码的开发质量等原因， App 中或多或少的会存在安全漏洞或因开发设计不谨慎引入的违规收集个人信息等合规风险，带漏洞运行的 App 将严重威胁着网络及用户安全，合规问题则可能受到监管通报甚至存在下架处罚风险。
因此，企业也在加大人力进行漏洞及合规风险挖掘并推进修复等相关工作，目前行业内普遍采用人工审计加自动化检测工具去发现风险。不过随着数量越来越庞大的漏洞，以及 App 隐私合规等问题的出现，安全人员面临的挑战逐渐升级，故一个有效的漏洞及合规风险自动化检测工具将为安全人员的人工挖掘提供良好补充，也节省了大量时间和人力。
在字节跳动，面对数量众多的 App 产品，无恒实验室需要在产品上线前发现隐私合规风险，挖掘出安全漏洞，保护用户的数据与隐私安全。无恒实验室对业内自动化 App 漏洞检测工具进行了充分调研，最终发现这些工具或因为漏报、误报率太高导致需要消耗大量人力对扫描结果进行确认，或因为不开放源码导致无法根据特定的扫描需求进行定制化开发。为了能更好的实现高质量漏洞及隐私合规检测，无恒实验室自主研发了 appshark 引擎，用于漏洞及隐私合规风险的自动化检测。无恒实验室选择将这个引擎开源，成为一个公共的工具，希望吸引更多业界专家参与打磨，为企业及白帽子做 App 风险检测提供便利。
二、全面了解 appshark
1、appshark 的介绍
appshark 除了实现行业普遍应用的数据流分析，还将指针分析与数据流分析融合，因而漏洞建模上更精准，规则更灵活，在误报率和漏报率方面有了比较大的改进。
2、appshark 可以解决什么问题
appshark 可以作为公司内部的 Android App 的自动化检测工具，辅助企业发现 App 的安全漏洞及隐私合规风险，也可以作为白帽子日常 App 漏洞挖掘的助手，提高漏洞挖掘的效率及产出。
3、appshark 在字节跳动的表现如何
appshark 加载全部规则集时，对于抖音、今日头条等超大规模 App，可以在1小时内完成所有分析并输出结果。同时，如前所述，由于 appshark 引擎中加入了指针分析和数据流分析，可以实现在此基础上进行更加灵活精准的规则设计，在字节跳动内部使用时，大部分规则的误报率和漏报率均已经降至5%以下了。
三、如何使用 appshark
git 开源项目地址：github.com/bytedance/a…
接下来以一个常见漏洞案例来展示介绍如何使用 appshark：
1、ContentProvider 漏洞为例
ContentProvider 作为安卓中最通用的组件，不少有经验的程序员也经常会写出越权漏洞，如下就是一个非常明显的有越权问题的示例。
<provider android:name=".VulProvider1" android:authorities="slipme1" android:exported="true" />
public class VulProvider1 extends ContentProvider {
@Override
public ParcelFileDescriptor openFile(@NonNull Uri uri, @NonNull String mode) throws FileNotFoundException {
File root = getContext().getExternalFilesDir("sandbox");
String path = uri.getQueryParameter("path");
return ParcelFileDescriptor.open(new File(root, path), ParcelFileDescriptor.MODE_READ_ONLY);
}
}
2、编写扫描规则
appshark 有非常灵活的规则来指定 source 以及 sink， 详细的介绍文档可以参考 github.com/bytedance/a… source 以及 sink，一般把外部用户可直接或间接控制的变量视为 source，明显 openFile 的参数0也就是 uri 是用户可控制的，而 sink 点比较合适的一个地方是ParcelFileDescriptor.open的参数0，因为如果 source 能够控制ParcelFileDescriptor.open参数0，那么基本上就可以读取任何文件了。
因此我们的规则 ContentProviderPathTraversal.json 如下：
{
"ContentProviderPathTraversal": {
"SliceMode": true,
"traceDepth": 14,
"desc": {
"name": "ContentProviderPathTraversal",
"category": "",
"wiki": "",
"detail": "如果Content Provider重写了openFile，但是没有对Uri进行路径合法性校验，那么攻击者可能通过在uri中插入../的方式访问预期外的文件",
"possibility": "",
"model": ""
},
"source": {
"Param": {
"<*: android.os.ParcelFileDescriptor openFile(*)>": [
"p0"
]
}
},
"sink": {
"<android.os.ParcelFileDescriptor: android.os.ParcelFileDescriptor open(java.io.File,int)>": {
"TaintCheck": [
"p0"
]
}
}
}
}
3、通过 github 下载 config 文件夹
git clone https://github.com/bytedance/appshark
4、修改 config 文件
1.将 apkPath 修改为你想要扫描的apk绝对路径。为了方便，可以在这里下载参考：github.com/nkbai/Bypas…
2.指明你要使用的规则，也就是 ContentProviderPathTraversal.json 文件，这个文件应该放在 config/rules 目录下，因为 appshark 是通过这个路径来查找这些规则的。
3.指定输出结果保存的目录，默认是当前目录下的 out 文件，你可以指定一个其他目录。
5、启动 appshark
先下载：github.com/bytedance/a…
java -jar AppShark-0.1-all.jar config/config.json5
6、查看结果
结果在当前目录的 out/results.json 文件中，里面给出了所有的漏洞列表。关于结果的详细解释请查看github.com/bytedance/a… url 字段指明的HTML文件。
针对这个漏洞，你应该可以在 results.json 中看到，存在漏洞的函数（position），漏洞传播的数据流（target）:
{
"details": {
"Sink": [
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r5"
],
"position": "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>",
"entryMethod": "<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>",
"Source": [
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->@parameter0"
],
"url": "out/vulnerability/6-ContentProviderPathTraversal.html",
"target": [
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->@parameter0",
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r1",
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r2_1",
"<com.security.bypasspathtraversal.VulProvider1: android.os.ParcelFileDescriptor openFile(android.net.Uri,java.lang.String)>->$r5"
]
},
"hash": "186d1273a64ac711c703e259ce0329fa8a25cf37",
"possibility": ""
}
四、后续计划
appshark 会长期维护，欢迎大家使用，欢迎交流提建议以及贡献代码。
五、关于无恒实验室
无恒实验室 (security.bytedance.com/security-la…) 是由字节跳动资深安全研究人员组成的专业攻防研究实验室，致力于为字节跳动旗下产品与业务保驾护航，亦极为重视开源软件与系统对业务安全的影响，在检测公司引入的开源框架和系统的同时，无恒实验室也着力于构建第三方框架和组件的漏洞缓解机制，并将持续与业界共享研究成果，协助企业业务避免遭受安全风险，亦望能与业内同行共同合作，为网络安全行业的发展做出贡献。
网络安全入门学习路线
其实入门网络安全要学的东西不算多，也就是网络基础+操作系统+中间件+数据库，四个流程下来就差不多了。
1.网络安全法和了解电脑基础
其中包括操作系统Windows基础和Linux基础，标记语言HTML基础和代码JS基础，以及网络基础、数据库基础和虚拟机使用等...
别被这些看上去很多的东西给吓到了，其实都是很简单的基础知识，同学们看完基本上都能掌握。计算机专业的同学都应该接触了解过，这部分可以直接略过。没学过的同学也不要慌，可以去B站搜索相关视频，你搜关键词网络安全工程师会出现很多相关的视频教程，我粗略的看了一下，排名第一的视频就讲的很详细。 
当然你也可以看下面这个视频教程仅展示部分截图： 
学到http和https抓包后能读懂它在说什么就行。
2.网络基础和编程语言
3.入手Web安全
web是对外开放的，自然成了的重点关照对象，有事没事就来入侵一波，你说不管能行吗！ 
想学好Web安全，咱首先得先弄清web是怎么搭建的，知道它的构造才能精准打击。所以web前端和web后端的知识多少要了解点，然后再学点python，起码得看懂部分代码吧。
最后网站开发知识多少也要了解点，不过别紧张，只是学习基础知识。
等你用几周的时间学完这些，基本上算是具备了入门合格渗透工程师的资格，记得上述的重点要重点关注哦！ 
再就是，要正式进入web安全领域，得学会web渗透，OWASP TOP 10等常见Web漏洞原理与利用方式需要掌握，像SQL注入/XSS跨站脚本攻击/Webshell木马编写/命令执行等。
这个过程并不枯燥，一边打怪刷级一边成长岂不美哉，每个攻击手段都能让你玩得不亦乐乎，而且总有更猥琐的方法等着你去实践。
学完web渗透还不算完，还得掌握相关系统层面漏洞，像ms17-010永恒之蓝等各种微软ms漏洞，所以要学习后渗透。可能到这里大家已经不知所云了，不过不要紧，等你学会了web渗透再来看会发现很简单。
其实学会了这几步，你就正式从新手小白晋升为入门学员了，真的不算难，你上你也行。
4.安全体系
不过我们这个水平也就算个渗透测试工程师，也就只能做个基础的安全服务，而这个领域还有很多业务，像攻防演练、等保测评、风险评估等，我们的能力根本不够看。
所以想要成为一名合格的网络工程师，想要拿到安全公司的offer，还得再掌握更多的网络安全知识，能力再更上一层楼才行。即便以后进入企业，也需要学习很多新知识，不充实自己的技能就会被淘汰。
从时代发展的角度看，网络安全的知识是学不完的，而且以后要学的会更多，同学们要摆正心态，既然选择入门网络安全，就不能仅仅只是入门程度而已，能力越强机会才越多。
尾言
因为入门学习阶段知识点比较杂，所以我讲得比较笼统，最后联合CSDN整理了一套【282G】网络安全从入门到精通资料包，需要的小伙伴可以点击链接领取哦！ 网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！文章来源：https://www.toymoban.com/news/detail-622531.html
文章来源地址https://www.toymoban.com/news/detail-622531.html
到了这里，关于正式开源 无恒实验室推出 appshark 自动化漏洞及隐私合规检测工具的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
