深入ScrcpyForAndroid服务端源码:ScreenEncoder如何捕获并编码远程屏幕
深入ScrcpyForAndroid服务端源码:ScreenEncoder如何捕获并编码远程屏幕
ScrcpyForAndroid 是一款基于 ADB 的手机投屏与远程控制工具,把手机画面实时镜像到电脑/平板上,无需 root。它的"画面从哪来"完全由设备端运行的服务端代码决定——核心就是 ScreenEncoder.java:先用虚拟显示(VirtualDisplay)"镜像"整块屏幕,再把 Surface 直接交给 MediaCodec 硬件编码器编码成 H.264/H.265,最后按自定义协议打包成 VideoPacket 通过网络发往客户端。
本文将逐段拆解这条 捕获 → 编码 → 传输 的流水线,帮你理解 ScrcpyForAndroid 投屏低延迟背后的源码实现。
服务端全景:一次投屏涉及哪些模块
服务端入口是 Server.java,整个流程只有四步:
- 解析参数:Options.createOptions() 从启动参数读出分辨率上限、码率、编码器、帧率、是否转发音频等;
- 创建设备对象:Device 读取真实屏幕尺寸,按
maxSize算出视频尺寸(长边缩到上限、短边保持比例、再取 8 的整数倍——因为 H.264 要求宽高是 8 的倍数),并注册屏幕旋转监听:
Size deviceSize = displayInfo.getSize();
Size videoSize = deviceSize.scaleTo(maxSize);
- 建立连接:DroidConnection 在本地 7007 端口监听一次 Socket(配合客户端的
adb forward),拿到输出流; - 两线程并行:EventController 在独立线程处理触摸/按键事件;主线程调用 screenEncoder.streamScreen() 持续推流。
💡 这种"事件与推流分线程"的设计,保证你一边滑动一边看画面也不会互相阻塞。
捕获屏幕:ScreenCapture 的三级虚拟显示策略
画面捕获在 ScreenCapture.java 中完成。它不逐像素截图,而是创建一个虚拟显示,让系统把主屏内容"镜像"到这块虚拟屏上,虚拟屏的输出目标(Surface)正是编码器的输入面——帧数据全程走共享内存,不经过 Java 层,这是低延迟投屏的关键。
start(surface) 中按顺序尝试三种方式,任一成功即返回:
| 优先级 | 方式 | 说明 |
|---|---|---|
| 1️⃣ | DisplayManager.createVirtualDisplay() |
标准 API,指定主屏 displayId 进行镜像 |
| 2️⃣ | SurfaceControl.createDisplay() |
旧版隐藏 API 兜底,用 setDisplayLayerStack 绑定图层 |
| 3️⃣ | createMirrorVirtualDisplay()(AUTO_MIRROR) |
面向 Android 14+ 等 API 受限场景的最终兜底 |
virtualDisplay = ServiceManager.getDisplayManager()
.createVirtualDisplay("scrcpy", videoRect.width(), videoRect.height(),
device.getDisplayId(), surface);
这种"三级回退"保证了在不同 Android 版本上都能抓到画面,抓不到才抛 Could not create display 异常。
编码器选择:优先硬件、自动降级的候选队列
ScrcpyForAndroid 对编码器选择做得相当细致,相关逻辑集中在 ScreenEncoder.createCodec()。
候选列表如何生成
listEncoders() 遍历系统所有编解码器,只保留支持目标格式(video/avc 或 video/hevc,由 Options.mimeForCodec() 决定)的编码器,并主动剔除两类:
- 不可靠编码器:名字含
v4l2的实现(某些 SoC 上会接受配置但永不吐帧); - 软硬分类:通过
isSoftwareOnly()(或名字含 android/google 判断)区分硬件/软件编码器。
回退顺序与"记住好人"
首次尝试时的候选顺序为:用户指定编码器 → 上次成功编码器(lastGoodEncoder)→ 全部硬件编码器 → 全部软件编码器。一旦某次编码失败重启,队列会退化为"软件编码器 + c2.android.avc.encoder / OMX.google.h264.encoder 保底",尽快恢复画面。
每次成功输出一帧,就会更新 lastGoodEncoder = codec.getName()(第436行),下次优先复用它——这就是"记住好编码器"的自我修复机制。
低延迟参数:createFormat 里藏着的 5 个开关
createFormat() 构造 MediaFormat 时,除了码率、帧率(默认 60fps)、I 帧间隔(默认 1 秒)外,还设置了一系列低延迟参数:
COLOR_FormatSurface:声明输入是 Surface,帧可直接从虚拟显示送入编码器;max-bframes = 0:禁用 B 帧,B 帧需要等未来帧才能解码,是延迟大户;KEY_LATENCY = 1(Android 8+)与KEY_LOW_LATENCY = 1(Android 12+):要求编码器走低延迟路径;KEY_PRIORITY = 0:最高编码优先级;KEY_REPEAT_PREVIOUS_FRAME_AFTER = 100_000:屏幕静止 100ms 后重复上一帧,防止编码器彻底"没输出"导致客户端超时重启。
编码主循环:streamScreen 与 encode()
streamScreen() 是整条流水线的调度中心:
- 先发屏幕信息:把设备分辨率与视频尺寸(16 字节大端序)写入输出流,客户端据此初始化渲染窗口;若开启音频转发,还会起独立线程跑 AudioEncoder 推音频;
- do-while 重试循环:
createCodec → setSize → configure → createInputSurface → capture.start(surface) → codec.start() → encode(),任何一环抛IllegalStateException/IllegalArgumentException都计数重试,超过 3 次才真正失败; - 旋转自适应:
Device的旋转监听会置位rotationChanged,编码循环检测到后主动 break,用新尺寸重建编码器重新编码。
encode() 则是最内层的生产循环:
int timeoutUs = gotFrame ? 100_000 : 1_000_000;
int outputBufferId = codec.dequeueOutputBuffer(bufferInfo, timeoutUs);
几个值得注意的细节:
- 超时是动态的:出帧前给 1 秒耐心,出帧后只有 100ms——屏幕静止时靠重复帧机制续命,而不是粗暴杀掉编码器;
- 连续 7 次无帧才抛出
Encoder produced no frames,交给外层换编码器重试; - 按需关键帧:当客户端(如画面卡顿、点击刷新)通过
EventController调用 asyncRequestKeyFrame() 置位后,下一轮循环通过PARAMETER_KEY_REQUEST_SYNC_FRAME让编码器立刻产出一个 I 帧,快速修复花屏; - 每取到一个输出 Buffer 就释放,确保编码器输入面不积压。
VideoPacket 协议:14 字节头 + 裸码流
编码出的裸流并不是直接裸发,而是封装成 VideoPacket。包结构非常紧凑:
| 偏移 | 长度 | 含义 |
|---|---|---|
| 0 | 4B | 包内数据长度 |
| 4 | 1B | 类型(VIDEO=1,见 MediaPacket.Type) |
| 5 | 1B | 标志:FRAME / KEY_FRAME / CONFIG / END |
| 6 | 8B | 展示时间戳(PTS,微秒) |
| 14 | N B | H.264/H.265 码流数据 |
标志位由 bufferInfo.flags 翻译而来:带 BUFFER_FLAG_KEY_FRAME 标为 KEY_FRAME,普通帧为 FRAME,首帧(含 SPS/PPS 配置数据)为 CONFIG,流结束为 END。
客户端侧由 VideoPacket.java 反序列化,交给 VideoDecoder.java 解码上屏——至此,一条完整的"手机屏幕 → 电脑画面"链路闭环。
与官方 scrcpy 思路的差异
ScrcpyForAndroid 沿用了官方 scrcpy 的"虚拟显示 + Surface 直输编码器"核心架构,但针对 手机端运行服务端 的场景做了三处增强:
- 虚拟显示三级回退(DisplayManager → SurfaceControl → AUTO_MIRROR),覆盖 Android 14+ 隐藏 API 被收缩的情况;
- 编码器候选队列 + 失败重试,对
v4l2等不稳定硬件编码器自动跳过; - 动态超时 + 按需关键帧,在弱网和静止画面下都能保持稳定,不轻易重连。
如果你想在其他项目里复用这套思路,性能调优的三个抓手就是:码率(bitRate)、分辨率上限(maxSize)、帧率(frameRate)——它们都由 Options 统一透传给 ScreenEncoder。
延伸阅读:关键源码文件清单
| 文件 | 职责 |
|---|---|
| ScreenEncoder.java | 编码器选择、低延迟参数、编码主循环 |
| ScreenCapture.java | 虚拟显示捕获(三级回退) |
| Server.java | 服务端入口,线程组织 |
| Device.java | 屏幕尺寸计算、旋转监听、事件注入 |
| Options.java | 启动参数(码率/帧率/编码格式) |
| DroidConnection.java | 7007 端口 Socket 收发 |
| VideoPacket.java | 视频包序列化/反序列化 |
| VideoDecoder.java | 客户端解码渲染 |
如需完整源码,可以克隆仓库后自行研读:
git clone https://gitcode.com/gh_mirrors/sc/ScrcpyForAndroid
掌握这条"捕获→编码→传输"的流水线后,你就能明白:投屏工具所谓"流畅",本质是虚拟显示免拷贝、硬件编码器省 CPU、无 B 帧加低延迟参数共同作用的结果——这也是所有实时屏幕镜像方案通用的底层逻辑。