透視Linux內核 神奇的BPF一

一 前言

作為一個coder，時不時會遇到性能問題，有時候明明看資源，cpu，io都占用不高，程序的性能就是上不去，真有一種想進入到計算機里面看看到底發(fā)生什么的沖突；還有優(yōu)化性能的時候不知道整個系統(tǒng)的短板到底是哪一塊，如何去優(yōu)化它？

根本原因其實是對系統(tǒng)的內核不夠了解，導致雖然有解決問題的激情和動力，但是總是難找到關鍵點，彷徨而不得其門。讓我學習內核，卻又望而退步，覺得難度還是太大，有沒有不用深入了解系統(tǒng)內核，但是又能深入觀察內核行為的辦法那，這時候我發(fā)現(xiàn)了BPF和eBPF，通過它有了透視內核的能力，所以就開始了BPF學習之旅。

二 BPF是個什么

BPF原來是Berkely Packet Filter（伯克利數據包過濾器）的縮寫，原來是提升pcap過濾性能的，比當時最快的包過濾技術快20倍，只所以性能高，是因為它工作在內核中，避免包從內核態(tài)復制到用戶態(tài)所以速度快，后來Alexei Starovoitov 大牛在2014年重新實現(xiàn)了BPF，將其擴展成了通用的執(zhí)行引擎，稱為eBPF，官方縮寫仍是BPF。

簡單解釋BPF作用，BPF提供了一種當內核或應用特定事件發(fā)生時候，執(zhí)行一段代碼的能力。BPF 采用了虛擬機指令規(guī)范，所以也可以看一種虛擬機實現(xiàn)，使我們可以在不修改內核源碼和重新編譯的情況下，提供一種擴展內核的能力的方法。

三 BPF能干嘛

BPF程序不像一般程序可以獨立運行，它是被動運行的，需要事件觸發(fā)才能運行，有點類似js里面的監(jiān)聽，監(jiān)聽到按鈕點擊執(zhí)行一小段代碼。這些事件包括系統(tǒng)調用，內核跟蹤，內核函數，用戶函數，網絡事件等。

具體能干嘛那，作用還是很強大,可以進行系統(tǒng)故障診斷，因為其有透視內核的能力；網絡性能優(yōu)化，因為它可以在內核態(tài)接收網絡包，并做修改和轉發(fā)；系統(tǒng)安全，因為它可以中斷非法連接等；性能監(jiān)控，因為其透視能力，可以查看函數耗費時間從而我們可以知道問題到底出在哪里。
如下圖：


來自ebpf.io

四 BPF如何工作

經典的BPF的工作模式是用戶使用BPF虛擬機的指令集定義過濾表達式，傳遞給內核，由解釋器運行，使得包過濾器可以直接在內核態(tài)工作，避免向用戶態(tài)復制數據，從而提升性能，比如tcpdump的BPF過濾指令實例如下：

[root@localhost ~]# tcpdump -d port 80
(000) ldh      [12]
(001) jeq      #0x86dd          jt 2    jf 10
(002) ldb      [20]
(003) jeq      #0x84            jt 6    jf 4
(004) jeq      #0x6             jt 6    jf 5
(005) jeq      #0x11            jt 6    jf 23
(006) ldh      [54]
(007) jeq      #0x50            jt 22   jf 8
(008) ldh      [56]
(009) jeq      #0x50            jt 22   jf 23
(010) jeq      #0x800           jt 11   jf 23
(011) ldb      [23]
(012) jeq      #0x84            jt 15   jf 13
(013) jeq      #0x6             jt 15   jf 14
(014) jeq      #0x11            jt 15   jf 23
(015) ldh      [20]
(016) jset     #0x1fff          jt 23   jf 17
(017) ldxb     4*([14]&0xf)
(018) ldh      [x + 14]
(019) jeq      #0x50            jt 22   jf 20
(020) ldh      [x + 16]
(021) jeq      #0x50            jt 22   jf 23
(022) ret      #262144
(023) ret      #0

執(zhí)行過程如下：


經典BPF過濾指令執(zhí)行過程

后來又一位大牛EricDumazet在2011年7月發(fā)布的Linux 3.0中增加了JIT（即時編譯），性能比解釋執(zhí)行更快，多像java的虛擬機，可以解釋執(zhí)行也可以即時編譯執(zhí)行。

現(xiàn)在BPF的執(zhí)行過程如下示意圖:


圖片來自brendangregg.com
  1. 編寫eBPF 代碼。
  2. 將eBPF代碼通過LLVM把編寫的eBPF代碼轉成字節(jié)碼；
  3. 通過bpf系統(tǒng)調用提交給系統(tǒng)內核；
  4. 內核通過驗證器對代碼做安全性驗證（包括對無界循環(huán)的檢查）；
  5. 只有校驗通過的字節(jié)碼才會提交到JIT進行編譯成可以直接執(zhí)行的機器指令；
  6. 當事件發(fā)生時候，調用這些指令執(zhí)行，將結果保存到map中。
  7. 用戶程序通過映射來獲取執(zhí)行結果。

四 BPF 和內核模塊對比

  • BPF程序會進行安全檢查，內核模塊可能會引入Bug。
  • BPF程序不能隨意調用內核函數，只能調用部分輔助函數。
  • BPF的棧空間最大為512個字節(jié)，不能擴大，只能借助map存儲；
  • BPF程序可以一次編譯到處運行，因為它依賴的輔助函數，映射表，BPF指令集屬于穩(wěn)定的API。

五 編寫B(tài)PF程序

5.1 準備知識

開發(fā)BPF指令顯然不適合直接用BPF指令開發(fā)，所以大牛們開發(fā)了一些前端工具讓我們可以更方便的開發(fā)，比如我們可以通過C來編寫B(tài)PF程序，然后通過LLVM編譯成BPF。

當然還是負載，又有了BCC和bpftrace。BCC即BPF Compiler Collection，提供了開發(fā)BPF跟蹤程序的高級框架，提供編寫內核BPF程序的C語言環(huán)境，同時提供了許多高級語言的接口，比如pyhton等。同時BCC中提供了很多BPF工具，讓我們可以方便使用用于性能分析和故障分析，在開發(fā)BPF程序之前可以看看。

bpftrace編寫單行程序或短小腳本更加適合，BCC適合編寫復雜的腳本和作為后臺進程使用。libbcc和libbpf為兩者提供底層支持。

BPF程序編寫可以借助工具
BCC開發(fā)的動態(tài)追蹤工具集

5.2 環(huán)境準備

我的測試環(huán)境是centos8.5版本，內核版本為4.18，而BPF最好用5.x版本的內核需要先升級下。

[root@localhost ~]# cat /etc/centos-release
CentOS Linux release 8.5.2111
[root@localhost ~]# uname -a
Linux localhost.localdomain 4.18.0-348.7.1.el8_5.x86_64 #1 SMP Wed Dec 22 13:25:12 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux

內核升級步驟：

#1. 到[https://www.kernel.org/](https://www.kernel.org/)查看穩(wěn)定的內核版本為5.16.10
#2. 下載編譯
wget https://cdn.kernel.org/pub/linux/kernel/v5.x/linux-5.16.10.tar.xz
tar xvf linux-5.16.10.tar.xz 
cd linux-5.16.10/
uname -a
cp /boot/config-4.18.0-348.7.1.el8_5.x86_64  .config
#注釋掉CONFIG_SYSTEM_TRUSTED_KEYS
make  menuconfig
#進入界面按tab 選擇Load 加載.config ，在Save后即可用原來配置編譯

#編譯內核核心
make -j 4  
make modules_install
#安裝內核核心
make install
grub2-set-default 0   #0表示 /boot/grub2/grub.cfg 文件中排在第一位的 menuentry 段
reboot
make modules_prepare
make script
make headers_install   INSTALL_HDR_PATH=/usr/include
#安裝bpf 實例
make M=samples/bpf

安裝BPF相關庫和工具：

yum install libbpf-devel make clang llvm elfutils-libelf-devel bpftool bcc-tools bcc-devel
  1. llvm ： 將eBPF程序編譯成字節(jié)碼工具。
  2. c代碼構建工具make
  3. eBPF工具集BCC和它依賴的頭文件。
  4. libelf庫以及ebpf管理工具ebpftool。
  5. 用戶程序通過BPF映射查詢到BPF字節(jié)碼的字節(jié)碼運行結果。

5.3 依賴BCC開發(fā)BPF的helloworld

步驟如下：

  1. 用C語言開發(fā)一個eBPF程序；
  2. 用LLVM把eBPF程序編譯成BPF字節(jié)碼；
  3. 通過bpf系統(tǒng)調用，把BPF字節(jié)碼提交給內核；
  4. 內核驗證并運行BPF字節(jié)碼，并把相應狀態(tài)保存到BPF映射中；

  5. 用戶程序通過 BPF 映射查詢 BPF 字節(jié)碼，得到執(zhí)行結果；


    BPF開發(fā)執(zhí)行過程

這個流程一般比較麻煩，可以利用BCC來簡化，用python腳本加載BPF程序，編譯為字節(jié)碼，并通過系統(tǒng)調用將BPF字節(jié)碼，運行BPF字節(jié)碼；

5.3.1 用C開發(fā)一個eBPF程序

int hello(void *ctx)
{
    bpf_trace_printk("Hello, World!");
    return 0;
}

bpf_trace_printk 是常用的BPF輔助函數，它就是簡單的打印一個字符串；不過eBPF輸出是內核調試文件： /sys/kernel/debug/tracing/trace_pipe

5.3.2 使用python和BCC開發(fā)BPF的加載程序

#!/usr/bin/env python3
# 1) 導入BCC庫中的BPF模塊
from bcc import BPF

# 2) 加載C程序開發(fā)的BPF程序
b = BPF(src_file="hello.c")
# 3) 將此BPF程序掛載到內核探針，其中do_sys_openat2是系統(tǒng)調用openat 在內核實現(xiàn)
b.attach_kprobe(event="do_sys_openat2", fn_name="hello_world")
# 4) 讀取和打印 /sys/kernel/debug/tracing/trace_pipe
b.trace_print()

運行查看：

> python3 hello.py

b'       pmdalinux-1298    [007] d..31  6758.674383: bpf_trace_printk: Hello, World!'
b'       pmdalinux-1298    [007] d..31  6758.674395: bpf_trace_printk: Hello, World!'
b'       pmdalinux-1298    [007] d..31  6758.674410: bpf_trace_printk: Hello, World!'
b'       pmdalinux-1298    [007] d..31  6758.674422: bpf_trace_printk: Hello, World!'
b'       pmdalinux-1298    [007] d..31  6758.674426: bpf_trace_printk: Hello, World!'
b'       python3-73326   [001] d..31  6758.674859: bpf_trace_printk: Hello, World!'
b'      irqbalance-942     [006] d..31  6758.894331: bpf_trace_printk: Hello, World!'
b'      irqbalance-942     [006] d..31  6758.894593: bpf_trace_printk: Hello, World!'

問題解決

問題一 編譯過程磁盤空間滿了

按照[https://blog.csdn.net/xionglangs/article/details/108866146]擴展磁盤；(https://blog.csdn.net/xionglangs/article/details/108866146)

問題二 make -j4 編譯報錯

BTF: .tmp_vmlinux.btf: pahole (pahole) is not available
Failed to generate BTF for vmlinux
Try to disable CONFIG_DEBUG_INFO_BTF
make: *** [Makefile:1106: vmlinux] Error 1

解決辦法：
注釋掉.config中的CONFIG_DEBUG_INFO_BTF 或 yum install dwarves

問題三 編譯需要支持bpf

 編譯內核的時候bpf的編譯選項打開，在.config文件中添加或修改
CONFIG_BPF=y
CONFIG_BPF_SYSCALL=y
# [optional, for tc filters]
CONFIG_NET_CLS_BPF=m
# [optional, for tc actions]
CONFIG_NET_ACT_BPF=m
CONFIG_BPF_JIT=y
# [for Linux kernel versions 4.1 through 4.6]
CONFIG_HAVE_BPF_JIT=y
# [for Linux kernel versions 4.7 and later]
CONFIG_HAVE_EBPF_JIT=y
# [optional, for kprobes]
CONFIG_BPF_EVENTS=y
# Need kernel headers through /sys/kernel/kheaders.tar.xz
CONFIG_IKHEADERS=y


CONFIG_NET_SCH_SFQ=m
CONFIG_NET_ACT_POLICE=m
CONFIG_NET_ACT_GACT=m
CONFIG_DUMMY=m
CONFIG_VXLAN=m

問題四 make M=samples/bpf報錯

1. make M=samples/bpf報錯
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:322:63: error: unknown type name '__u32'
static long (*bpf_tail_call)(void *ctx, void *prog_array_map, __u32 index) = (void *) 12;
                                                              ^
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:350:58: error: unknown type name '__u32'
static long (*bpf_clone_redirect)(struct __sk_buff *skb, __u32 ifindex, __u64 flags) = (void *) 13;
                                                         ^
fatal error: too many errors emitted, stopping now [-ferror-limit=]1. make M=samples/bpf報錯
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:322:63: error: unknown type name '__u32'
static long (*bpf_tail_call)(void *ctx, void *prog_array_map, __u32 index) = (void *) 12;
                                                              ^
/root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h:350:58: error: unknown type name '__u32'
static long (*bpf_clone_redirect)(struct __sk_buff *skb, __u32 ifindex, __u64 flags) = (void *) 13;
                                                         ^
fatal error: too many errors emitted, stopping now [-ferror-limit=]

解決辦法：

vim /root/core/linux-5.16.10/samples/bpf/bpftool//bootstrap/libbpf//include/bpf/bpf_helper_defs.h
添加頭文件：
#include <asm/types.h>
#include <linux/types.h>

問題五 failed to load BTF from /root/core/linux-5.16.10/vmlinux: No such file or directory

Error: failed to load BTF from /root/core/linux-5.16.10/vmlinux: No such file or directory
make[2]: *** [Makefile:179：/root/core/linux-5.16.10/samples/bpf/bpftool/vmlinux.h] 錯誤 2
make[1]: *** [samples/bpf/Makefile:296：/root/core/linux-5.16.10/samples/bpf/bpftool/bpftool] 錯誤 2
make: *** [Makefile:1846：samples/bpf] 錯誤 2
[root@localhost linux-5.16.10]#

更改.config 配置：

CONFIG_DEBUG_INFO_BTF=y
make -j4

問題六 fatal error: 'gnu/stubs-32.h' file not found

升級：
yum install glibc-devel
yum install glibc-devel.i686

參考

[詳細介紹了BPF程序編譯生成字節(jié)碼過程](https://www.cnblogs.com/lfri/p/15402973.html)
[https://maao.cloud/2021/03/01/%E7%AC%94%E8%AE%B0-BPF-and-XDP-Reference-Guide-cilium/#LLVM](https://maao.cloud/2021/03/01/%E7%AC%94%E8%AE%B0-BPF-and-XDP-Reference-Guide-cilium/#LLVM)
[技術|深入理解 BPF：一個閱讀清單 (linux.cn)](https://linux.cn/article-9507-1.html)
最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

推薦閱讀更多精彩內容