BeamNG.Earth 流式性能优化 5 大技巧:限速器、LRU 缓存、二进制 .cdae 与形状槽位池工程实践
BeamNG.Earth 流式性能优化 5 大技巧:限速器、LRU 缓存、二进制 .cdae 与形状槽位池工程实践
BeamNG.Earth 是一款为 BeamNG.drive 打造的 1:1 真实地球模组:真实高程、卫星影像、地球曲率与 LOD 流式加载,地图数据由配套服务器边玩边下。围绕它的流式性能优化,项目沉淀了 5 套可复用的工程实践——网络限速器、LRU 缓存、二进制 .cdae 形状、形状槽位池与自动化基准验证。
为什么"整颗地球"必须做流式性能优化
首次访问一个新区域,服务器要一口气构建约 500 张远端瓦片、发出约 1500 次影像请求。瓶颈无处不在:网络速率、CPU、内存带宽,以及游戏引擎自身对"历史资源总量"的隐藏惩罚。实测中,单个 numpy 线程流式读大数组就能让游戏阴影通道慢 5–6 倍;后台分析任务会让帧成本以 ~15 s 的爆发翻倍(记录见 server/pacer.py 文件头注释)。
因此项目用四层防线来平衡"加载体验"与"资源消耗":限速器、LRU 缓存、二进制形状、形状槽位池,再用基准工具让每个优化可量化。
技巧 1:网络限速器——把"下载"变成可控的门
所有对外请求都走唯一入口 Fetcher(server/netfetch.py),为每个 host 配置一条策略:令牌桶(rate 每秒令牌 + burst 突发)加并发信号量,两者独立,线程池再大也不会击穿 host 上限。
请求还分四个优先级:urgent(玩家正在等的物理块底图)、demand(正在构建的纹理/高图)、prefetch 与 background(预取、去阴影等后台分析)。玩家请求优先拿令牌;预取只在令牌桶超过一半时"顺路"取,拿不到直接丢弃、需要时再按需求取——绝不排队阻塞玩家。
遇到 429/503,系统解析 Retry-After(钳制在 1 s–15 min),清空该 host 的令牌桶并打开熔断器,其他工作线程立即停止冲击;影像链 USGS → EOX 2023 → EOX 2016 → 调色板、DEM 链 Mapterhorn → AWS 自动故障切换。429/5xx 重试采用指数退避 + 全抖动;每日预算按 UTC 天持久化,80% 软预算停止预取,100% 时需求速率减半。
📊 调参原则是先测量再放大:USGS 并发从 6 提到 12 再到 24 都经过实测(12 并发约 26 req/s,远场 68 s 内就绪,全部 200),研究记录在 docs/research/2026-10-10-rate-limits.md 与 docs/research/2026-10-16-rate-limits-raised.md。
CPU/内存带宽侧还有第二个"限速器":占空比调平(server/pacer.py)。后台线程启用 pacer.enable(duty) 后,忙碌 50 ms 就睡到达成占空比;--background-duty 默认 0.25,让色彩匹配、去阴影等分析"多花点时间",而不是在游戏帧内抢带宽。玩家等待传送首块时,后台循环还会用 pacer.hold() 让路(上限 30 s)。
技巧 2:LRU 缓存——让"第二次访问"接近免费
瓦片下载一次、缓存永久。磁盘缓存(server/cache.py)是标准 LRU 设计:
- 容量:默认上限 20 GB(
DEFAULT_CAP_GB),设置页可调,"清空缓存"一键执行clear(); - 记账:每次读写只做一次加锁字典更新,不依赖文件系统的 atime;
index.tsv记录每个文件的最后使用时间,崩溃/重启后依然准确; - 驱逐:超过上限时,后台线程把最久未用的文件删到 90% 低水位;近 1 小时内用过的(玩家身边区域)、
gravity/、airports/永不被驱逐; - 404 也缓存:空文件作为"此处无数据"标记,避免反复请求同一片海域。
内存侧,影像与 DEM 各自维护 512 张瓦片的内存 LRU(docs/research/2026-10-10-rate-limits.md §2.1)。整套机制轻到无感:30 s 检查一次、驱逐最多 3 min 一次、索引 10 min 存一次,每个被跟踪文件仅约 200 字节记账——20 GB 缓存的内存开销约 130 MB。
技巧 3:二进制 .cdae——跳过 XML 解析的 5 倍加载提速
BeamNG 引擎把加载的 Collada(.dae)编译成二进制 .cdae 缓存,而 TSStatic 可以直接吃 .cdae——比 .dae 快约 5 倍,因为根本没有 XML 可解析。
server/cdae.py 实现了该格式(TSShape v31)的读写器:msgpack + float32 打包几何,并逐字节遵循引擎的约定——三角形绕序反转、纹理 v 翻转、每材质一个索引三角形原语。写入走"临时文件 + 原子改名",游戏永远不会看到写了一半的形状文件。
配合两个细节进一步省 GPU:
- 像素级 LOD:瓦片形状内置多档 detail,引擎按"该瓦片投影到屏幕上的像素大小"自动选档,最粗一档画到 2 px 为止;
- 自适应网格:L1 及以上远端瓦片用不等长三角网(
rtin_mesh),误差保持在顶点间距的 4% 以内——平坦大地只画少量大三角形,悬崖保留完整网格。实测 Baltimore、Kansas 瓦片三角形减少 75–85%(server/farfield.py 注释)。
技巧 4:形状槽位池——封住"越玩越卡"的增长曲线
这是最容易被忽视的一招。BeamNG 引擎有个隐藏陷阱:每帧渲染成本随"整个过程中创建过的 Material 总数"增长,删除过的也算。实测:传送 8 次后同一段路 137 → 130 fps 直到重启;创建并删除 4000 个 Material 损失 6–14% fps,而在 100 个 Material 之间切换 4000 次 colorMap 几乎零损失。形状文件同理:累计加载的不同形状每 1000 个,帧成本 +0.3 ms;而重复加载同一路径免费。
解法是槽位池(server/matslots.py):
- 瓦片材质名从固定池分配(
bngEarthFar_<session>_<n>),不再一瓦片一个唯一名——Material 总数被"封顶"为同屏瓦片数; - 归还协议零时序猜测:瓦片释放 + 确认没有任何游戏还在绘制它(游戏端按序列号上报)才回池;空闲低于 32 时回收最久未用的空闲瓦片至 128;
- 形状文件按槽位硬链接为
slot_<n>.cdae,换绑时原子替换,游戏端在重新加载前释放仍被持有的路径(mod/beamng_earth/lua/ge/extensions/beamngEarth/farfield.lua 的freeSlot)。
效果:长时间驾驶、反复传送,帧成本不再爬坡。
技巧 5:自动化基准验证——每个优化都要"前后对比"
没有测量就没有优化。tools/benchmark.py 在固定的地点集合(docs/benchmarks.json)以固定视角、固定太阳与天气截图测帧:
python3 tools/benchmark.py run --label before # 需游戏运行中
python3 tools/benchmark.py compare runA runB # 差异热图 + fps/加载时间对比
每个视角记录 fps 的 p50/p95/p99 与最大帧时间、加载耗时、在屏瓦片数,生成并排 HTML 报告。改动的视觉回归与性能回归在提交前都能被发现。
实用调优建议
| 想做的事 | 怎么做 |
|---|---|
| 降低后台分析对帧率的影响 | 启动服务器加 --background-duty 0.25(默认值,可调) |
| 磁盘紧张 | 在设置页调低缓存上限,或执行"清空缓存" |
| 对比自适应网格的取舍 | 环境变量 BNGE_FAR_ADAPT=0 关闭(默认开启) |
| 近景更锐利的切割墙 | BNGE_NEAR_FINE=1 开启近景细地面(原型) |
| 排查网络限流 | 观察服务器日志中 429/熔断记录;设置页可查看缓存用量 |
总结
BeamNG.Earth 的流式性能优化可以浓缩为一句话:用限速器保护上游与玩家,用 LRU 缓存让重复访问免费,用二进制格式省掉解析开销,用形状槽位池封住渲染成本的增长——每一层都有实测数据背书,且全部由 tools/benchmark.py 这类基准工具持续验证。这套思路对任何"实时流式加载大世界"的项目都可直接借鉴。
想动手试试?克隆仓库并按 docs/QUICKSTART.md 安装:
git clone https://gitcode.com/gh_mirrors/be/BeamNG.Earth
cd BeamNG.Earth
python3 install.py # 找到 BeamNG 用户目录并建好虚拟环境
./run_server.sh # Windows 可用 run_server.bat
首次访问新区域需要下载与构建,稍等片刻;同样的地方再回来时,会快得多。
