1.为什么移植
疑惑
起初我也认为，像libbpf-bootstrap这样在ebpf程序开发中很常用的框架，理应支持不同架构的交叉编译。尤其是向内核态的ebpf程序本身就是直接通过clang的-target btf直接生成字节码，各个内核上的ebpf虚拟机大同小异，对于字节码大概率是兼容的。那么问题就落在用户态程序生成上面。
加载器
由于libbpf-bootstrap框架使用bpftools将xxx.bpf.c生成为xxx.skel.h再注入到用户态xx.c程序当中，因此，用户态程序本身就是字节码的加载器。基于安卓的ebpf开发也有不少前辈探索过，如下图
图源：eBPF on Android之stackplz从0到1 - SeeFlowerX ps:强推他的安卓package用户态程序堆栈追踪工具，我的不少灵感也来自于他的开发过程，在此谢过SeeFlowerX前辈了。
最终他选择的解决方案是golang的ebpf生态，交叉编译相当方便。但我面临的是性能的需要，我还是打算折腾一下纯C的开发生态，但是AOSP又实在太过庞大，且面临API变动会使我们很头疼。
2.使用方法
准备
- Android NDK
- gcc-aarch64-linux-gnu
- Android phone with root and unlock BL
安装依赖
git clone https://github.com/JiaHuann/libbpf-bootstrap-android
cd libbpf-bootstrap-android
sudo apt install gcc-aarch64-linux-gnu llvm clang
wget https://dl.google.com/android/repository/android-ndk-r25c-linux.zip?hl=zh-cn android-ndk-r25c-linux.zip
unzip android-ndk-r25c-linux设置环境变量
vim ~/.bashrc
export your android-ndk-r25c/toolchains/llvm/prebuilt/linux-x86_64/bin to PATH编译和推送
cd examples/c && make
adb devices
adb remount # may fail, you can leave with issure.
adb push examples/c/btf_file/* example/c/your_executable_file /data/local/tmp
adb shell #into android kernel shell安卓shell操作
cd /data/local/tmp && chmod +x your_excutable_file
./run
Congratulations!运行效果如下：
资料直通车：Linux内核源码技术学习路线+视频教程内核源码
学习直通车：Linux内核源码内存调优文件系统进程管理设备驱动/网络协议栈
3.针对安卓的特性
- libelf,libz on aarch64 embedded.
- x86 -> android13(aarch64) cross-compile you can directly write ebpf both kernel-program and user-program on x86 machine.
- FlameGraph embedded to monitor performance.
- For None BTF/vmlinux android-kernel(CONFIG_DEBUG_INFO_BTF not set) support.
- adb debug (after compiling&linking, directly push into android-phone) embedded.
4.移植过程
寻找方案
于是我继续折腾libbpf-bootstrap的交叉编译，好巧不巧，在How to cross-compile programs from amd64 to arm64 · Issue #144 · libbpf/libbpf-bootstrap · GitHub这个issure中也发现了这个问题，显然，直到现在还是open状态，给出的maintainer给出的方案是
Yes, libbpf depends on libelf and libz, so you need declare where the libraries and header files can be found. such as,
make EXTRA_CFLAGS="-IXXX" EXTRA_LDFLAGS="-LXXX" ARCH=arm64. You can get a copy of these libraries from here for quickly verification if you don't want to cross-compile them yourself.
我寻思着也可行，但是几经折腾后我发现了很多问题：
- Android NDK在r17已经宣称不支持gcc，在r18已经删掉，最新版的r25只有clang，在使用NDK交叉编译时会遇到一堆莫名其妙的问题。
- 我的开发机并没有打开
CONFIG_DEBUG_BTF_INFO，但是为了方便我想引入外部BTF file，但是有些目录在android kernel并不可写。
解决
最终我在本地几经尝试交叉编译出了libbpf依赖的libelf以及libz,很有趣的是在编译的过程中我使用aarch64-linux-gnu竟然编出来的依赖竟然可以用。在libbpf-bootstrap中，想到用户态程序可能也没有太多编译上的新特性，于是我继续使用aarch64-linux-gnu交叉编译，果然还是可行。最终，aarch64的可执行文件还是编译了出来。
为了优化大家的开发速度，和不再折腾这个过程，我将所有的细节，依赖都合并了起来，并且修改了libbpf源码加入了外部BTF文件路径，且在repo中放入了一个a13-5.10的btf 文件，我写定了路径为/data/local/tmp,push到这里就可以使用。关于这个btf版本问题，我的内核是5.4但是目前使用起来尚未发现问题。GitHub - JiaHuann/libbpf-bootstrap-android: Do something to fit android aarch64 to develop ebpf programs using libbpf-bootstrap framework
至此，可以ebpf程序源码可以无需任何改动就运行在安卓kernel（当然有一些kernel版本决定的特性和api还是会限制的，这个与是否交叉编译运行无关）
PS:当初为了验证是否可行，全是草率的静态链接的，生成的可执行文件可能会有点大，后续即将马上修改为动态链接。
当然，如果有条件还是使用arm虚拟机或者qemu开发吧，交叉编译确实不好折腾: (当我还在折腾的时候我同学的mac已经能run了
原文作者：Linux内核之旅文章来源：https://www.toymoban.com/news/detail-703696.html
文章来源地址https://www.toymoban.com/news/detail-703696.html
到了这里，关于libbpf-bootstrap安卓aarch64适配交叉编译的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
