Perfetto Service-based Model 深度解析:Service、Producer、Consumer 三方架构与共享内存 ABI
Perfetto Service-based Model 深度解析:Service、Producer、Consumer 三方架构与共享内存 ABI
本文围绕 Perfetto 的"服务化追踪模型"(Service-based model)展开,系统讲解 Service、Producer、Consumer、Data source 四类核心实体的职责边界,以及 IPC 通道与共享内存缓冲区(SMB)两条交互路径的分工。结合 src/tracing 与 include/perfetto/ext/tracing/core 中的源码实现,你可以完整掌握 Perfetto 多进程追踪的数据流原理、SMB 的 Page/Chunk 二进制格式细节,以及一次追踪会话中各组件的协作时序。
核心概念:四类实体与两条交互路径
Perfetto 将追踪系统拆解为职责严格分离的四类实体,它们之间的关系可以概括为:
- Service(服务):长期运行的中心实体,在 Linux/Android 上是一个系统守护进程(
traced),在 Chrome 中是一个进程内服务。 - Producer(生产者):不可信的数据提供方,在多进程模型中几乎总是对应追踪服务的一个客户端进程。
- Consumer(消费者):受信任的控制方,在 Linux/Android 上是命令行客户端,在 Chrome 中是 Browser 进程的接口。
- Data source(数据源):Producer 暴露的"提供某类追踪数据"的能力,带有自定义的 protobuf schema。
这三者之间存在两条完全不同的通信路径:IPC 通道承载握手与控制类消息(非快速路径),共享内存缓冲区承载真正的追踪数据(快速路径)。理解这个分工,是理解 Perfetto 整个架构的钥匙。
Service:长期运行的中心枢纽
Service 是所有追踪活动的中枢,其职责由文档明确定义为以下六项:
- 维护活跃 Producer 及其数据源的注册表;
- 拥有(Own)所有 trace buffer;
- 处理多个追踪会话(tracing session)的复用(multiplexing);
- 将 Consumer 下发的 trace config 路由到对应的 Producer;
- 决定并告知各 Producer"何时、追踪什么";
- 将数据从 Producer 的共享内存缓冲区搬运到中心的非共享 trace buffer。
从源码结构看,这套业务逻辑集中实现在 TracingServiceImpl 中。该头文件声明了 Service 面对两类端点的全部入口:RegisterDataSource/UpdateDataSource/UnregisterDataSource(Producer 侧的注册表维护)、EnableTracing/DetachConsumer/AttachConsumer(Consumer 侧的控制),以及 CopyProducerPageIntoLogBuffer——即"把 Producer 共享内存中的一页数据搬进日志缓冲区"的具体实现接口,与文档第 6 条职责一一对应。而在真实部署中,Service 的宿主进程入口位于 src/traced/service/main.cc。
值得注意的是,Service 侧的"中心 trace buffer"与 Producer 侧的共享内存是两回事:前者可达 MB 量级、不共享,是 Consumer 最终看到的日志缓冲;后者很小且与 Producer 共享。这一区别在 shared_memory_abi.h 的注释中被反复强调。
Producer:不可信的数据提供方
文档对 Producer 的定义包含三个关键约束:
- 它是一个不可信实体(untrusted entity)——这意味着 Service 不能假设 Producer 的行为是良性的,SMB 的格式必须设计成即使面对恶意或损坏的写入也不会破坏 Service(这也是为什么 chunk 状态机、
WriterID等元数据都放在共享内存内部而非依赖 Producer 的自觉); - 每个 Producer 有且仅有一个与 Service 独占共享的共享内存缓冲区;
- 每个 Producer 有且仅有一条与 Service 的 IPC 通道。
Producer 与 Consumer 之间是完全解耦的——既在技术上也在概念上。一个 Producer 对以下事情一无所知:
- 当前有多少 Consumer 连接在服务上;
- 当前有多少个活跃的追踪会话;
- 还有多少其他 Producer 注册或处于活跃状态;
- 其他 Producer 写入了什么追踪数据。
这种解耦带来了架构上的重要推论:多个 Producer 的追踪数据汇聚点只有一个,就是 Service。Consumer 永远不需要、也无法直接感知任何 Producer。
文档还给出了一个重要的补充说明:一个进程可以承载多个 Producer(即多个共享内存缓冲区)。典型场景是某个进程打包了多个第三方库,而这些库各自内嵌了 Perfetto 客户端库,各自独立地初始化了自己的 Producer。文档举了 Chrome 的例子:未来 Chrome 可能在每个子进程中暴露一个主工程的 Producer、一个 V8 的 Producer、一个 Skia 的 Producer。shared_memory_abi.h 的注释同样确认了这一点:
a Producer means almost always a "client process producing data" (almost: in some cases a process might host > 1 Producer, if it links two libraries, independent of each other, that both use Perfetto tracing).
这也解释了为什么 SMB 头部的 ChunkHeader 中携带 writer_id 而不是进程 ID——"Producer 身份"由不可伪造的 IPC 通道隐式确定,而共享内存内部只需要区分同一 Producer 内的不同写入者(writer)。
Consumer:受信任的控制者与读取方
Consumer 是受信任实体,它对 Service 拥有非独占性(non-exclusively)的控制权,并能以破坏性方式(destructively,即读走即消费)读回 trace buffer。其能力清单包含三部分:
1. 向 Service 下发 trace config,该配置决定:
- 创建多少个 trace buffer;
- trace buffer 应该多大;
- 每个 buffer 的策略(
ring-buffer环形覆盖 或stop-when-full写满即停); - 启用哪些数据源;
- 每个数据源的配置;
- 每个已配置数据源产生的数据应写入的目标 buffer。
2. 启停追踪(enable / disable tracing)。
3. 以两种方式读回 trace buffer:
- 通过 IPC 通道流式接收数据;
- 向 Service 传递一个文件描述符(file descriptor),指示 Service 周期性地直接把 trace buffer 保存进该文件——对应
trace config中的write_into_file机制。
关于 write_into_file 路径的读回节奏,源码 tracing_service_impl.h 给出了具体实现细节:Service 使用 kWriteIntoFileChunkSize = 1MB 作为每次迭代从缓冲区读取的"粗粒度阈值",因为过滤(filtering)与压缩(compression)会分配内存,该常量实际上限制了这些操作峰值内存占用。
多个 Consumer 可以同时控制同一个 Service(非独占),而多个追踪会话可以在 Service 内并存——这正是 Service 职责中"多路复用"的由来。
Data source:Producer 的能力声明与 Schema
Data source 是 Producer 暴露的、用于提供某类追踪数据的能力。文档指出,一个 data source 几乎总是定义自己的 schema,该 schema 是一个 protobuf,由两部分构成:
- 至多一个
DataSourceConfig子消息:描述该数据源的配置方式。仓库中的实例是 ftrace_config.proto; - 一个或多个
TracePacket子消息:描述该数据源实际产出的数据包形态。仓库中的实例是 process_tree.proto(/proc进程树快照数据源,其TracePacket由process_tree字段承载)。
另一个要点是:不同的 Producer 可以暴露同名数据源。文档给出的具体例子是 Tracing SDK 的 Track Event(见 track-events):所有参与追踪的进程都通过 SDK 暴露同一个名为 track_event 的数据源。trace config 中按名称指定数据源时,Service 会把它匹配到注册表中所有提供该名称的 Producer 上——这依赖于 Service 维护的"Producer 及其数据源注册表"(TracingServiceImpl::RegisterDataSource)。
IPC 通道:只走"非快速路径"
在多进程场景下,每个 Producer 和每个 Consumer 都通过一条 IPC 通道与 Service 交互。文档明确划定了 IPC 的适用范围:
IPC is used only in non-fast-path interactions, mostly handshakes such as enabling/disabling trace (consumer), (un)registering and starting/stopping data sources (producer). The IPC is typically NOT employed to transport the protobufs for the trace.
即 IPC 只用于握手类交互——Consumer 侧的启停追踪,Producer 侧的数据源注册/注销、启动/停止——通常不用于传输追踪 protobuf 本身(追踪数据走共享内存)。
Perfetto 提供了一套 POSIX 友好的 IPC 实现:基于 UNIX socket 上的 protobuf 传输(即"Socket protocol",定义在 api-and-abi 设计文档 中)。请求/响应消息分别定义在 producer_port.proto(RegisterDataSource、StartDataSource、CommitDataRequest、Flush 等)与 consumer_port.proto(EnableTracing、ReadBuffers、FlushRequest 等)。
同时文档强调:这套 IPC 实现并非强制。Perfetto 允许嵌入方(embedder):
- 封装自己的 IPC 子系统——例如 Chromium 中的 Perfetto 使用 Mojo;
- 完全不用 IPC,直接通过
PostTask(s)短路 Producer ⇄ Service ⇄ Consumer 的交互(适用于单进程内嵌场景,所有实体同进程时任务队列即可充当"IPC")。
这一设计使得同一套 Service 业务逻辑既能跑在 traced 守护进程架构下,也能以单进程方式内嵌到其他应用中。
共享内存缓冲区(SMB):快速路径的数据通道
Producer 以 protobuf 编码的二进制 blob 形式,将其追踪数据直接写入自己的共享内存缓冲区,编码工具是一个名为 ProtoZero 的零拷贝 protobuf 序列化库。SMB 的关键属性(文档逐条列出):
- 尺寸固定且通常很小(可配置,默认 256 KB);
- 它是一个 ABI,必须维持向后兼容(因为读写双方可能是不同版本的进程);
- 被该 Producer 的所有数据源共享;
- 与 trace buffer 的数量和大小无关;
- 与 Consumer 的数量无关;
- 被划分为可变大小的 chunk 分区。
关于尺寸上限,源码 tracing_service_impl.h 定义了 kMaxShmSize = 32 * 1024 * 1024(32 MB),shared_memory_abi.h 的注释也说明"SMB 大小可由 producer 在 kMaxShmSize 上限内配置"。
每个 chunk 的语义约束
文档对每个 chunk 给出四条约束:
- 被某一个 Producer 线程独占拥有(或通过互斥锁共享);
- 包含线性排列的
TracePacket序列或其片段。一个TracePacket可以跨多个 chunk,而这种碎片化不会暴露给 Consumer——Consumer 看到的永远是完整数据包,仿佛从未被切割过; - 恰好由一个
TraceWriter拥有并写入; - 属于一个可靠的有序序列,由
WriterID标识:同一序列中的数据包保证按序读回,无空洞、无重复。
从源码看 SMB 的二进制格式:Page 与 Chunk
shared_memory_abi.h 中 SharedMemoryABI 类完整定义了该 ABI,值得逐层展开:
Page(页):SMB 先被划分为固定大小的页。页是 Producer 与 Service 之间交互的粒度——Service 扫描并搬运的通常是一整页,Producer 也只在整页写满时才发送 IPC 邀请 Service 来排空(drain)SMB。页大小是一个三角权衡(源文件 L96-L101 的注释):
- IPC 流量:页越小 → IPC 越频繁;
- Producer 无锁写入空间:页越大 → chunk 越大 → 数据源在不换 chunk、不同步的情况下能写更多数据;
- 写饥饿风险:页越大 → Service 越难及时排空、SMB 越容易一直满。
页大小约束:必须为 4 KB 的整数倍(便于 VM 页窃取优化)且整除 SMB 总大小;源码中 kMinPageSize = 4 * 1024、kMaxPageSize = 64 * 1024(受 chunk 头部 16 位 size 字段限制)。页大小由 Service 在连接建立时选定,之后在整个 Producer 生命周期内不变,不同 Producer 可以有不同的页大小。
Chunk(块):页再被 Producer 划分成可变数量的 chunk(如 1 页 = 1/2/4/7/14 个 chunk,kMaxChunksPerPage = 14,因为 32 位原子字里每 chunk 要占 2 个状态位、还要留 4 位给页布局)。chunk 本质上是单写者单线程的无锁 arena:加锁只发生在 chunk 写满、需要获取新 chunk 时,且加锁范围限定在 Producer 进程内部,没有任何跨进程锁。PageLayout 枚举特意选择 7 和 14 这两种分割数,是为了在 4096 字节页上让 chunk 恰好 4 字节对齐、避免对齐空隙造成的空间浪费(源文件 L223-L226 注释)。
chunk 状态机(源文件 L168-L202)是 Producer 与 Service 之间唯一的"握手协议":
kChunkFree ──(Producer)──> kChunkBeingWritten ──(Producer)──> kChunkComplete
▲ │
└───────────────────(Service)────────────────────────────────────────┘
via kChunkBeingRead
kChunkFree:Service 不得触碰,Producer 可将其取用并转入写状态;kChunkBeingWritten:Service 不得触碰;kChunkComplete:Producer 写完、不再触碰,Service 可以搬走;kChunkBeingRead:Service 正在把页搬进非共享环形缓冲区,此时 Producer 不得触碰。
TracePacket 碎片重组:ChunkHeader(8 字节)携带重组所需的元数据——chunk_id(同一 writer_id 作用域内的单调计数器)、writer_id,以及 flags 中的 kFirstPacketContinuesFromPrevChunk / kLastPacketContinuesOnNextChunk / kChunkNeedsPatching。三个元组 (ProducerID, WriterID, ChunkID) 可以判断两个 chunk 是否连续(能否把跨 chunk 的 packet 片段"粘"起来),还是存在环形覆盖造成的空洞。每个 packet 片段前有至多 4 字节的 VarInt 长度前缀(kPacketHeaderSize = 4);特殊值 kPacketSizeDropPacket(即 kMaxMessageLength)用于让 TraceWriter 声明"丢弃该 packet"(例如剩余片段因 SMB 耗尽而写不下了)。
模拟模式(emulation mode):对于不支持共享内存的传输,ABI 提供 kShmemEmulation 模式——状态转换全部在 Producer 进程内完成,kChunkBeingRead 状态被跳过,chunk 内容由 Producer 序列化进 protobuf 消息后再释放。这让整套 chunk 语义(SharedMemoryABI 类)可以在有真实共享内存和纯消息传输两种环境下复用同一份代码。
一次追踪会话中各角色的协作时序
把上述静态职责串起来,就是一次追踪会话的完整动态过程。仓库中专门有 life-of-a-tracing-session 文档逐步拆解,其核心时序为:
- 若干 Producer 连接 Service、建立 IPC 通道,并通过
RegisterDataSourceIPC 宣告各自的数据源——默认什么都不追踪; - Consumer 连接 Service,通过
EnableTracingIPC 下发 trace config; - Service 按配置创建 trace buffer,遍历配置中的
data_sources节,与已注册 Producer 匹配; - Service 向匹配的 Producer 发送
SetupTracing(附带共享内存缓冲区,每个 Producer 只发一次)与StartDataSource; - 数据源实例创建
TraceWriter(通常每线程一个),TraceWriter写入TracePacket,通过SharedMemoryArbiter接管 SMB 的 chunk,跨 chunk 边界时换 chunk,并由 Arbiter 带外发送CommitDataRequest请 Service 搬运; - 跨 chunk 的长 packet 若片段被提前搬走,Arbiter 会再发
CommitDataRequest请求带外"补丁"(patch),Service 依据{ProducerID, WriterID, ChunkID}定位目标 chunk 完成修补; - Consumer 发
FlushRequest→ Service 向所有 Producer 广播Flush→ 全部 ACK(或超时)后回复 Consumer; - Consumer 可选地发
DisableTracing冻结缓冲区,再发ReadBuffers(若之前传了文件描述符则跳过此步)流式读回全部TracePacket,最后FreeBuffers,Service 拆除该会话的缓冲区。
这条时序与本文前面各节严格对应:第 1-2 步体现"Producer 默认静默、由 Service 统一调度";第 4-6 步体现"IPC 管控制、SMB 管数据"的双路径分工;第 7-8 步体现 Consumer 对读回方式(IPC 流式 / 文件描述符)的选择权。
小结:这套设计解决了什么问题
Service-based model 本质上是用"一个受信任的中心 + 不可信边缘"的信任模型,解决了多进程系统中追踪的三个难题:
- 性能:热路径数据完全绕过 IPC 与系统调用,直接写入共享内存的无锁 chunk,Producer 线程在换 chunk 之外零同步开销;
- 隔离与信任:Producer 不可信且与 Consumer 完全解耦,共享内存内嵌完整状态机与元数据,Service 侧可对任意 Producer 输入做校验与丢弃,单个 Producer 写饥饿最多只丢自己的数据,不影响其他会话与进程;
- 灵活性:同一套 Service 业务逻辑可跨进程(UNIX socket IPC + 真实共享内存)、可内嵌单进程(
PostTask短路 + SMB 模拟模式)、可被替换传输层(Chromium 用 Mojo 封装),嵌入约束只在接口层。
想进一步深挖,建议按以下路径阅读仓库:SMB 二进制格式的权威定义在 shared_memory_abi.h,Service 业务逻辑在 tracing_service_impl.h 及其同目录实现文件,IPC 消息定义在 protos/perfetto/ipc 目录,会话级时序细节见 life-of-a-tracing-session 文档。
