深入ScrcpyForAndroid服务端源码:ScreenEncoder如何捕获并编码远程屏幕

原创2026-10-24 18:14:462,269 阅读

深入ScrcpyForAndroid服务端源码:ScreenEncoder如何捕获并编码远程屏幕

ScrcpyForAndroid 是一款基于 ADB 的手机投屏与远程控制工具,把手机画面实时镜像到电脑/平板上,无需 root。它的"画面从哪来"完全由设备端运行的服务端代码决定——核心就是 ScreenEncoder.java:先用虚拟显示(VirtualDisplay)"镜像"整块屏幕,再把 Surface 直接交给 MediaCodec 硬件编码器编码成 H.264/H.265,最后按自定义协议打包成 VideoPacket 通过网络发往客户端。

本文将逐段拆解这条 捕获 → 编码 → 传输 的流水线,帮你理解 ScrcpyForAndroid 投屏低延迟背后的源码实现。

服务端全景:一次投屏涉及哪些模块

服务端入口是 Server.java,整个流程只有四步:

  1. 解析参数:Options.createOptions() 从启动参数读出分辨率上限、码率、编码器、帧率、是否转发音频等;
  2. 创建设备对象:Device 读取真实屏幕尺寸,按 maxSize 算出视频尺寸(长边缩到上限、短边保持比例、再取 8 的整数倍——因为 H.264 要求宽高是 8 的倍数),并注册屏幕旋转监听:
Size deviceSize = displayInfo.getSize();
Size videoSize = deviceSize.scaleTo(maxSize);
  1. 建立连接:DroidConnection 在本地 7007 端口监听一次 Socket(配合客户端的 adb forward),拿到输出流;
  2. 两线程并行:EventController 在独立线程处理触摸/按键事件;主线程调用 screenEncoder.streamScreen() 持续推流。

💡 这种"事件与推流分线程"的设计,保证你一边滑动一边看画面也不会互相阻塞。

捕获屏幕:ScreenCapture 的三级虚拟显示策略

画面捕获在 ScreenCapture.java 中完成。它不逐像素截图,而是创建一个虚拟显示,让系统把主屏内容"镜像"到这块虚拟屏上,虚拟屏的输出目标(Surface)正是编码器的输入面——帧数据全程走共享内存,不经过 Java 层,这是低延迟投屏的关键。

start(surface) 中按顺序尝试三种方式,任一成功即返回:

优先级 方式 说明
1️⃣ DisplayManager.createVirtualDisplay() 标准 API,指定主屏 displayId 进行镜像
2️⃣ SurfaceControl.createDisplay() 旧版隐藏 API 兜底,用 setDisplayLayerStack 绑定图层
3️⃣ createMirrorVirtualDisplay()(AUTO_MIRROR) 面向 Android 14+ 等 API 受限场景的最终兜底
virtualDisplay = ServiceManager.getDisplayManager()
        .createVirtualDisplay("scrcpy", videoRect.width(), videoRect.height(),
                device.getDisplayId(), surface);

这种"三级回退"保证了在不同 Android 版本上都能抓到画面,抓不到才抛 Could not create display 异常。

编码器选择:优先硬件、自动降级的候选队列

ScrcpyForAndroid 对编码器选择做得相当细致,相关逻辑集中在 ScreenEncoder.createCodec()。

候选列表如何生成

listEncoders() 遍历系统所有编解码器,只保留支持目标格式(video/avc 或 video/hevc,由 Options.mimeForCodec() 决定)的编码器,并主动剔除两类:

  • 不可靠编码器:名字含 v4l2 的实现(某些 SoC 上会接受配置但永不吐帧);
  • 软硬分类:通过 isSoftwareOnly()(或名字含 android/google 判断)区分硬件/软件编码器。

回退顺序与"记住好人"

首次尝试时的候选顺序为:用户指定编码器 → 上次成功编码器(lastGoodEncoder)→ 全部硬件编码器 → 全部软件编码器。一旦某次编码失败重启,队列会退化为"软件编码器 + c2.android.avc.encoder / OMX.google.h264.encoder 保底",尽快恢复画面。

每次成功输出一帧,就会更新 lastGoodEncoder = codec.getName()(第436行),下次优先复用它——这就是"记住好编码器"的自我修复机制。

低延迟参数:createFormat 里藏着的 5 个开关

createFormat() 构造 MediaFormat 时,除了码率、帧率(默认 60fps)、I 帧间隔(默认 1 秒)外,还设置了一系列低延迟参数:

  • COLOR_FormatSurface:声明输入是 Surface,帧可直接从虚拟显示送入编码器;
  • max-bframes = 0:禁用 B 帧,B 帧需要等未来帧才能解码,是延迟大户;
  • KEY_LATENCY = 1(Android 8+)与 KEY_LOW_LATENCY = 1(Android 12+):要求编码器走低延迟路径;
  • KEY_PRIORITY = 0:最高编码优先级;
  • KEY_REPEAT_PREVIOUS_FRAME_AFTER = 100_000:屏幕静止 100ms 后重复上一帧,防止编码器彻底"没输出"导致客户端超时重启。

编码主循环:streamScreen 与 encode()

streamScreen() 是整条流水线的调度中心:

  1. 先发屏幕信息:把设备分辨率与视频尺寸(16 字节大端序)写入输出流,客户端据此初始化渲染窗口;若开启音频转发,还会起独立线程跑 AudioEncoder 推音频;
  2. do-while 重试循环:createCodec → setSize → configure → createInputSurface → capture.start(surface) → codec.start() → encode(),任何一环抛 IllegalStateException/IllegalArgumentException 都计数重试,超过 3 次才真正失败;
  3. 旋转自适应:Device 的旋转监听会置位 rotationChanged,编码循环检测到后主动 break,用新尺寸重建编码器重新编码。

encode() 则是最内层的生产循环:

int timeoutUs = gotFrame ? 100_000 : 1_000_000;
int outputBufferId = codec.dequeueOutputBuffer(bufferInfo, timeoutUs);

几个值得注意的细节:

  • 超时是动态的:出帧前给 1 秒耐心,出帧后只有 100ms——屏幕静止时靠重复帧机制续命,而不是粗暴杀掉编码器;
  • 连续 7 次无帧才抛出 Encoder produced no frames,交给外层换编码器重试;
  • 按需关键帧:当客户端(如画面卡顿、点击刷新)通过 EventController 调用 asyncRequestKeyFrame() 置位后,下一轮循环通过 PARAMETER_KEY_REQUEST_SYNC_FRAME 让编码器立刻产出一个 I 帧,快速修复花屏;
  • 每取到一个输出 Buffer 就释放,确保编码器输入面不积压。

VideoPacket 协议:14 字节头 + 裸码流

编码出的裸流并不是直接裸发,而是封装成 VideoPacket。包结构非常紧凑:

偏移 长度 含义
0 4B 包内数据长度
4 1B 类型(VIDEO=1,见 MediaPacket.Type)
5 1B 标志:FRAME / KEY_FRAME / CONFIG / END
6 8B 展示时间戳(PTS,微秒)
14 N B H.264/H.265 码流数据

标志位由 bufferInfo.flags 翻译而来:带 BUFFER_FLAG_KEY_FRAME 标为 KEY_FRAME,普通帧为 FRAME,首帧(含 SPS/PPS 配置数据)为 CONFIG,流结束为 END。

客户端侧由 VideoPacket.java 反序列化,交给 VideoDecoder.java 解码上屏——至此,一条完整的"手机屏幕 → 电脑画面"链路闭环。

与官方 scrcpy 思路的差异

ScrcpyForAndroid 沿用了官方 scrcpy 的"虚拟显示 + Surface 直输编码器"核心架构,但针对 手机端运行服务端 的场景做了三处增强:

  1. 虚拟显示三级回退(DisplayManager → SurfaceControl → AUTO_MIRROR),覆盖 Android 14+ 隐藏 API 被收缩的情况;
  2. 编码器候选队列 + 失败重试,对 v4l2 等不稳定硬件编码器自动跳过;
  3. 动态超时 + 按需关键帧,在弱网和静止画面下都能保持稳定,不轻易重连。

如果你想在其他项目里复用这套思路,性能调优的三个抓手就是:码率(bitRate)、分辨率上限(maxSize)、帧率(frameRate)——它们都由 Options 统一透传给 ScreenEncoder。

延伸阅读:关键源码文件清单

文件 职责
ScreenEncoder.java 编码器选择、低延迟参数、编码主循环
ScreenCapture.java 虚拟显示捕获(三级回退)
Server.java 服务端入口,线程组织
Device.java 屏幕尺寸计算、旋转监听、事件注入
Options.java 启动参数(码率/帧率/编码格式)
DroidConnection.java 7007 端口 Socket 收发
VideoPacket.java 视频包序列化/反序列化
VideoDecoder.java 客户端解码渲染

如需完整源码,可以克隆仓库后自行研读:

git clone https://gitcode.com/gh_mirrors/sc/ScrcpyForAndroid

掌握这条"捕获→编码→传输"的流水线后,你就能明白:投屏工具所谓"流畅",本质是虚拟显示免拷贝、硬件编码器省 CPU、无 B 帧加低延迟参数共同作用的结果——这也是所有实时屏幕镜像方案通用的底层逻辑。

登录后查看全文
ScrcpyForAndroid