从 pprof 到 eBPF：Go 线上问题排查手段的演进

线上 CPU 突然飙到 90%，P99 延迟翻了几倍，内存曲线一路向上——每个 Go 开发者大概都经历过这种时刻。早些年，我们的排查三板斧通常是：看日志、看监控、上 pprof。尤其是 `net/http/pprof`，几乎成了 Go 服务标配，一个 `go tool pprof` 就能把 CPU、内存、goroutine、锁竞争扒得七七八八。但用得越多越会发现，pprof 像一盏头灯：能照亮 Go Runtime 内部，却照不到内核、网络协议栈和系统调用那些“灯下黑”的区域。于是，eBPF 开始进入 Go 线上问题排查的武器库。

pprof：Go Runtime 的“自省之眼”

pprof 的强大，源于 Go 运行时天然自带观测能力。CPU profile 按固定频率采样调用栈，heap profile 记录内存分配，goroutine profile 给出当前所有协程快照，block 和 mutex profile 则能暴露阻塞与锁竞争。再配合 `runtime/trace`，调度器、GC、网络轮询的细节都能摊开来看。

它的优势很直接：标准库、零依赖、接入成本低，而且能看到 Go 函数级别的调用关系。线上服务只要暴露一个 `/debug/pprof` 端点，或者通过信号触发采集，就能在几分钟内拿到一份“应用内视角”的体检报告。绝大多数 Go 层面的 CPU 热点、内存泄漏、协程暴涨，pprof 都能给出一手线索。

当问题溢出 Go Runtime

但 pprof 的边界也很明显。第一，它是应用内采样，CPU profile 默认 100Hz，短平快的热点、偶发卡顿很容易被漏掉；第二，它需要端点暴露或代码埋点，在严格的生产环境里未必随时可用；第三，它看不到内核态。比如 DNS 解析慢、TCP 重传、page cache miss、cgroup 限流、容器被宿主机抢占，这些在 pprof 里往往只表现为“某个系统调用耗时高”或“goroutine 卡住”，再往下就断了。

更棘手的是，当 Go 服务使用 cgo、频繁系统调用或大量文件 IO 时，CPU 火焰图可能只显示 `runtime.cgocall` 或 `syscall.Syscall`，具体内核里发生了什么，pprof 无能为力。这时候，就需要把观测点从应用进程下沉到内核。

eBPF：把观测点下沉到内核

eBPF 本质上是一个运行在内核里的轻量虚拟机，允许通过 kprobe、uprobe、tracepoint、perf event 等挂载点动态采集数据，而无需修改应用代码或重启服务。对 Go 来说，eBPF 可以做几类非常实用的事：

- on-CPU / off-CPU 分析：不依赖应用采样，直接从内核调度视角看谁在占 CPU、谁在等锁、谁在等 IO；
- 系统调用与网络观测：跟踪 `connect`、`accept`、`read`、`write` 的延迟和错误，抓 TCP 重传、连接拒绝、DNS 超时；
- 连续性能剖析：Parca、Pyroscope、Pixie 等工具利用 eBPF 做低开销的持续 profiling，把“出问题再采”变成“一直有历史数据”；
- Go 函数级追踪：通过 uprobe 挂到 Go 符号上，甚至能抓取部分函数参数和调用栈。

当然，eBPF 看 Go 也有坑。Go 1.17 之后改用寄存器传参，传统基于栈参数的探测需要适配；Go 的栈可增长，栈回溯比 C 程序复杂；内核版本、权限、符号表缺失也会影响可用性。但整体上，它补上了 pprof 最缺的那块拼图：内核视角与无侵入持续观测。

组合拳：不是替代，而是接力

实际排查中，pprof 和 eBPF 更像是接力赛。一个典型场景：服务 P99 延迟升高，CPU 却不高。先上 pprof，发现大量 goroutine 卡在 `sync.Mutex.Lock` 或 `chan receive`；再用 eBPF 的 off-CPU 分析，看到这些协程在 futex 上等待，进一步定位到某段锁竞争或 cgo 调用。另一个场景：内存持续上涨，pprof heap 显示 Go 堆正常，但 RSS 居高不下；eBPF 跟踪 `mmap`、`brk`、page fault，可能发现是 cgo 分配或内核缓存导致。

选型上也可以分层：开发测试环境优先 pprof，成本低、信息全；生产环境用 eBPF 做常态化连续剖析和系统观测；遇到深水区问题，再用 bpftrace、bcc 写临时脚本精准打击。pprof 依然是 Go Runtime 的一手信息源，eBPF 则负责回答“内核和系统层面发生了什么”。

总结

从 pprof 到 eBPF，Go 线上问题排查的演进并不是工具替代，而是观测范围的扩展：从应用内到内核，从采样式到持续式，从被动触发到主动常驻。pprof 让我们看懂 Go 的调度、GC 和协程，eBPF 让我们看懂系统调用、网络和内核调度。真正高效的排查，往往是先用 pprof 缩小范围，再用 eBPF 击穿边界。两者配合，才是现代 Go 服务可观测性的完整拼图。