skynet 版本演进全解析:从 0.1.0 到 1.8.0 的核心功能变迁与源码印证
skynet 版本演进全解析:从 0.1.0 到 1.8.0 的核心功能变迁与源码印证
导读
本文以仓库根目录下的 HISTORY.md 为骨架,系统梳理 skynet(一款基于 actor 模型的多人在线游戏服务端框架)从 2012 年首次公开到 2025 年 v1.8.0 的完整演进脉络。文章覆盖 Lua 运行时与第三方库升级、消息队列与 actor 调度、网络与协议栈(socket / UDP / websocket / http / 集群)、数据库驱动(MongoDB / Redis / MySQL)、调试运维工具等核心主题,并逐一对照当前仓库源码(如 lualib/skynet.lua、lualib/skynet/queue.lua、lualib/skynet/socketchannel.lua、Makefile)给出可验证的实现证据。读完本文,你将掌握 skynet 各版本的关键特性、相关 API 的真实用法与底层实现原理,以及如何结合版本历史理解当前代码库的设计取舍。
一、版本演进总览
HISTORY.md 记录了从 2012 年 8 月首个公开版本到 2025 年 1 月 v1.8.0 的每一次发版要点。下表按时间线概括了各主要里程碑:
| 版本 | 发布日期 | 核心看点 |
|---|---|---|
| 首个公开版本 | 2012-8-1 | 由私有项目转为开源 |
| v0.1.0 | 2014-4-23 | 首个正式 release 版本 |
| v0.2.0 | 2014-5-12 | 引入 bootstrap lua 脚本、snax、datacenter、multicast,重构 skynet_command |
| v0.3.0 | 2014-6-2 | 新增 cluster 支持、单节点模式、daemon 模式,改用 jemalloc |
| v0.4.0 | 2014-6-30 | 重写 harbor/master/dummy 为 Lua,新增 skynet.packstring、skynet.time |
| v0.5.0 | 2014-7-28 | 新增 snax.gateserver / loginserver / msgserver、简单 httpd |
| v0.6.0 | 2014-8-18 | 新增 sharedata、skynet.response、cluster.proxy |
| v0.7.0 | 2014-9-8 | 以 sproto 取代 cjson,新增消息 logger、hmac-sha1 |
| v0.8.0 | 2014-10-27 | 新增 MySQL 客户端驱动 |
| v0.9.x | 2014-11~12 | 新增 UDP、IPv6 支持,简化消息队列 |
| v1.0.0 系列 | 2015-3~2016-7 | Lua 升级到 5.3.x,新增在线调试器、skynet.coroutine、内存限制、redis pipeline、debug console 等 |
| v1.1.0 ~ v1.2.0 | 2017~2018 | 新增 socket.disconnected、skynet.trace、skynet.context、socketchannel.overload,config 支持 include |
| v1.3.0 ~ v1.4.0 | 2019~2020 | 新增 sharetable、https、websocket、skynet.select、socket 流量控制 |
| v1.5.0 ~ v1.6.0 | 2021~2022 | skynet.init/require 重做、socket.onclose、httpc.request_stream、service.close、cluster.open 返回地址端口 |
| v1.7.0 ~ v1.8.0 | 2023~2025 | Lua 5.4.6/5.4.7、service session 可倒带、UDP IPv6、websocket.is_closed |
从这张表可以清晰看出 skynet 的三条主线:运行时与第三方库持续升级、网络与分布式能力不断补齐、调试与监控工具逐步完善。下面逐条展开。
二、运行时与第三方库的升级路线
2.1 Lua 运行时:从 5.2 到 5.4,再到修改版 5.5
HISTORY 显示 Lua 版本几乎是每个大版本的必升项:
- v1.0.0-alpha(2015-3-9):Lua 从 5.2 升级到 5.3;
- v1.0.0-rc(2015-12-28):升级到 5.3.2,并持续合入官方 bugfix;
- v1.2.0(2018-11-6):升级到 5.3.5;
- v1.4.0(2020-11-16):升级到 5.4.2;
- v1.5.0(2021-11-9):升级到 5.4.3;
- v1.6.0(2022-11-16):升级到 5.4.4(GitHub 2022-11-8 发布);
- v1.7.0(2023-11-13):升级到 5.4.6;
- v1.8.0(2025-1-14):升级到 5.4.7。
需要特别说明的是,README.md 明确记载当前仓库使用的并非官方 Lua 5.4,而是 ejoy 维护的修改版 Lua 5.5.0(用于支持多 Lua state),官方 Lua 也可通过修改 Makefile 使用。因此阅读源码时(例如 lualib/skynet.lua 中的 coroutine_create、coroutine_pool 等实现)要注意这一前提:skynet 对 Lua 运行时做了定制,并持续跟随上游修复。
2.2 内存分配器:jemalloc 的长期伴随
从 v0.3.0(2014-6-2)起 skynet 引入 jemalloc(release 3.6.0),此后一路升级:4.0.4(v1.0.0-beta)→ 4.1.1(v1.0.0-rc3)→ 4.2.1(v1.0.0-rc4)→ 5.0.1(v1.1.0-rc)→ 5.1.0(v1.2.0)→ 5.2.1(v1.3.0)→ 5.3.0(v1.6.0)。
构建层面,Makefile 中通过 JEMALLOC_STATICLIB := 3rd/jemalloc/lib/libjemalloc_pic.a 链接 jemalloc,并在 3rd/jemalloc/Makefile 生成时启用 --with-jemalloc-prefix=je_ --enable-prof。这意味着整个服务端进程的内存分配都走 jemalloc,为 v1.0.0-rc3 引入的 Lua VM 内存警告与内存限制 功能提供了统一的统计入口(相关实现见 skynet-src/mem_info.c 与 skynet-src/malloc_hook.c)。HISTORY 还特别提到 v1.0.0-rc 起 "c memory 不再统计 lua vm 分配的内存",这是对内存归属边界的精确定义。
2.3 lpeg:为 sproto 服务的模式匹配库
lpeg 同样跟随版本升级:1.0.0(v1.0.0-beta)→ 1.0.1(v1.1.0-rc)→ 1.0.2(v1.6.0,为 sproto 升级)→ 1.1.0(v1.7.0)。sproto 协议解析大量依赖 lpeg 的模式匹配能力,因此每次 lpeg 升级都会同步合入 sproto 相关修复。
三、核心架构演进:actor、消息队列与 service 体系
3.1 从 C 到 Lua 的逐步下沉
v0.2.0 是一次重要的架构分水岭:
- 引入 bootstrap lua 脚本,把部分 C 代码移出(现在对应 service/bootstrap.lua);
- 使用 lua loader 加载 lua service 代码并设置 lua 环境(对应 lualib/loader.lua 与 service-src/service_snlua.c);
- 支持在每个 lua service 启动前 preload 一个文件(示例见 examples/preload.lua);
- 移除
skynet.blockcall,简化消息队列实现; - 移除全局队列 64K 活跃 service 的上限;
- 重构
skynet_command。
v0.4.0 则进一步把 harbor/master/dummy 大量 C 代码重写为 Lua(对应 service/cmaster.lua、service/cslave.lua 与 lualib/skynet/harbor.lua),并移除阻塞 connect API,改为连接期间排队发送消息——这正是 lualib/skynet/socketchannel.lua 中 block_connect / try_connect 与请求队列机制的前身。
3.2 消息队列与协程调度
v0.9.2(2014-12-8)"Simplify the message queue"、v0.3.0 "Simplify message queue and optimize message dispatch" 等条目表明,消息队列始终是优化的重心。当前 C 层实现位于 skynet-src/skynet_mq.c(全局队列)与 skynet-src/skynet_server.c(service 级消息调度)。
在 Lua 层,lualib/skynet.lua 的 raw_dispatch_message(L904 附近)与 dispatch_message(L966 附近)体现了 session 机制的核心逻辑:
- 响应消息(prototype 为 1,即
PTYPE_RESPONSE)通过session_id_coroutine[session]唤醒对应协程; - 请求消息按协议类型分发到
p.dispatch; - 协程通过
coroutine_pool池化复用,函数执行完毕后协程不销毁而是回收等待下一个任务; fork_queue保证skynet.fork出的协程在消息处理间隙有序执行。
skynet.fork(L887)在 v1.0.0-alpha7 起返回 coroutine 句柄,方便对 fork 出的协程做后续控制;skynet.queue(独立模块 lualib/skynet/queue.lua,v0.4.2 引入)则通过互斥的 current_thread + 等待队列实现同一服务内对某段逻辑的串行化,测试用例见 test/testqueue.lua。
3.3 service session 可倒带(v1.7.0 / v1.8.0)
v1.7.0 修复 service session rewind 问题,v1.8.0 进一步声明 "service sessions can be rewind"。这对应 Lua 协程可以重新唤醒已被挂起的 session 请求:在 lualib/skynet.lua 中,session_coroutine_id[co] 在响应前不会被清除,若协程未响应就挂起,后续仍可恢复;skynet.ret 会先检查 session_coroutine_id[running_thread] 是否存在,配合 skynet.response 的 unresponse 集合,保证一个 session 只会被响应一次,未响应的 session 在服务退出(skynet.exit)时会统一回送 PTYPE_ERROR,避免调用方永久阻塞。
四、网络与协议栈的演进
4.1 socket 层:从基本读写到并发写、半关闭与流量控制
HISTORY 中 socket 相关条目贯穿始终,重点包括:
- v0.8.1:修复 socket open address string、内存泄漏;向无效远程服务发送会报错;
- v0.9.0:socket send package 可定义 release 方法;epoll 中先 dispatch read 再 write;
- v1.1.0-rc:优化 socket write,worker 线程优先尝试直接写;
- v1.2.0:socket 并发写优化;
- v1.3.0:改进 socket.write;
- v1.5.0:修复 socket 半关闭(half close)问题;
- v1.4.0:新增
skynet_socket_pause用于网络流量控制。
当前 socket 相关 API 集中在 lualib/skynet/socket.lua(API 封装)与 skynet-src/socket_server.c(底层事件循环与读写缓冲,配套头文件 skynet-src/socket_buffer.h)。
4.2 UDP 与 IPv6
- v0.9.0 新增 UDP 支持;v0.9.1 修复相关 bug;
- v1.0.0-alpha4:UDP API 改为使用 lua string;
- v1.8.0:改进 UDP,支持 IPv6。
UDP 示例可参考 test/testudp.lua,IPv6 的 socket 地址解析在 skynet-src/socket_server.c 中按地址族处理。
4.3 http / https / websocket
- v0.5.0 加入简单 httpd(见 examples/simpleweb.lua),v0.5.2 加入 httpc,v0.6.0 修复 httpd request 与 chunked 模式;
- v1.3.0 加入 https 支持(@lvzixun)与 websocket 支持;
- v1.4.0 继续改进 websocket 与 ssl;
- v1.5.0 加入
httpc.request_stream; - v1.8.0 继续改进 http 与 websocket,并修复 websocket 相关 bug;
- v1.7.0 新增
websocket.is_closed。
当前相关代码集中在 lualib/http/(httpc / httpd / websocket / tlshelper / sockethelper),TLS 底层为 lualib-src/ltls.c。注意 Makefile 中 TLS_MODULE 默认注释(# TLS_MODULE=ltls),即默认构建不带 TLS,需要 https 时须在编译期显式开启并链接 -lssl -lcrypto。
4.4 集群:cluster 从无到有,再到远程服务抽象
集群能力是 skynet 多节点部署的基石:
- v0.3.0 首次加入 cluster 支持;
- v0.4.2 加入
cluster.reload重载配置、cluster 可抛错; - v0.4.0 支持 cluster name;
- v0.6.0 加入
cluster.proxy; - v1.0.0-alpha7 加入
cluster.snax; - v1.0.0-alpha10 移除 cluster RPC 消息大小限制,加入
cluster.query与cluster.register; - v1.1.0-rc 加入
cluster.send与更新配置表的 API; - v1.6.0 起
cluster.open()返回 ip 地址与端口; - v1.8.0 修复 cluster 相关 bug。
对应实现见 lualib/skynet/cluster.lua 与 service/clusterd.lua,示例配置参考 examples/config.c1 / examples/config.c2。
4.5 服务治理:gate、gateway 与 socketchannel
v1.2.0 改进 service gate,其 C 实现为 service-src/service_gate.c(配套 service-src/hashid.h 做连接 ID 管理)。客户端侧 lualib/skynet/socketchannel.lua 在 v1.2.0 引入 overload 回调(socketchannel.overload):通过 socket.warning 监听发送缓冲水位,超过阈值时向回调通知过载状态,实现请求背压。相关测试见 test/testpipeline.lua。
五、数据库与协议驱动演进
5.1 MongoDB 驱动
Mongo 驱动几乎每个版本都在打磨:
- v0.5.0 支持 replica set;
- v1.0.0-rc4 加入
mongo.createIndexes并修复旧mongo.createIndex; - v1.0.0-rc5 支持
auth_scram_sha1、自动判定 primary host; - v1.2.0 / v1.3.0 持续改进;
- v1.6.0 升级以支持最新的 wire protocol;
- v1.8.0 继续改进。
实现为 lualib-src/lua-mongo.c 与 lualib/skynet/db/mongo.lua,事务支持见 lualib/skynet/db/mongo/transaction.lua,测试见 test/testmongodb.lua。
5.2 Redis 驱动
- v1.0.0-rc 重写 redis driver,支持 pipeline,
socket.send支持 string table; - v1.1.0-rc 加入 redis-cluster 支持;
- v1.5.0 改进 redis;
- v1.8.0 修复 redis cluster driver 的 bug。
实现见 lualib/skynet/db/redis.lua,cluster 版本见 lualib/skynet/db/redis/cluster.lua(含 CRC16 分片计算 lualib/skynet/db/redis/crc16.lua),测试见 test/testredis.lua 与 test/testrediscluster.lua。
5.3 MySQL 驱动
v0.8.0 首次加入 MySQL 客户端驱动,此后由社区持续贡献:v1.2.0(@yxt945)、v1.4.0(@zero-rp @xiaojin @yxt945)、v1.3.0(@yxt945)。实现见 lualib/skynet/db/mysql.lua,测试见 test/testmysql.lua。
5.4 sproto / bson 协议层
sproto 在 v0.7.0 取代 cjson 成为内置序列化方案,此后能力持续增强:
- v1.0.0-alpha:多 state 支持;v1.0.0-alpha2 支持无序 map;
- v1.1.0-rc:支持十进制数、binary 类型、response nil;
- v1.4.0:支持 double、map(@lvzixun @t0350);
- v1.0.0-rc3 支持编码空表。
C 实现见 lualib-src/sproto/sproto.c,Lua 层 API 见 lualib/sproto.lua 与 lualib/sprotoloader.lua。bson 则支持 meta array、__pairs(v1.0.0-rc4/rc5),实现见 lualib-src/lua-bson.c,测试见 test/testbson.lua。
六、共享数据与状态管理
6.1 sharedata 与 sharetable
- v0.6.0 首次加入 sharedata(只读共享表,服务间共享大表数据的经典方案);
- v1.0.0-beta 起 sharedata 支持以字符串直接传文件名;
- v1.1.0-rc 加入
sharedata.flush与sharedata.deepcopy; - v1.3.0 加入 lua sharetable(多 Lua state 间共享表,避免序列化拷贝)。
实现分别见 lualib-src/lua-sharedata.c(服务端 service/sharedatad.lua)与 lualib-src/lua-sharetable.c、lualib/skynet/sharetable.lua。
6.2 datasheet:sharedata 的替代模块
v1.1.0-rc 明确指出 "datasheet : New module for replacement of sharedata"。datasheet 是一套配置表系统,代码位于 lualib/skynet/datasheet/(init / builder / dump)与 lualib-src/lua-datasheet.c,测试见 test/testdatasheet.lua。
6.3 stm / sharemap / multicast
- v1.0.0-alpha 加入 sharemap 作为 stm(软件事务内存)的示例用例;
- v0.2.0 加入 multicast API(一对多广播),v1.0.0-rc4 修复其内存泄漏;
- stm 实现见 lualib-src/lua-stm.c 与 lualib/skynet/stm.lua(compat10 下有旧版),multicast 见 lualib/skynet/multicast.lua,测试 test/teststm.lua、test/testmulticast.lua。
七、调试、监控与运维
7.1 debug console 的持续增强
debug console 是开发期最重要的交互入口(service/debug_console.lua):
- v1.0.0-rc4 加入 ping 命令;
- v1.1.0-rc 支持用户配置绑定 IP、
call命令、上报 inject 代码错误信息、改变响应消息格式; - v1.4.0 加入
jmem(查看 jemalloc 内存)。
7.2 内存与死循环监控
- v1.0.0-rc3:Lua VM 内存警告 + 内存上限;
- v1.0.0-rc:新增 debug API 展示 C 内存用量;
- v1.1.0-rc:加入
MEMORY_CHECK宏; - v0.2.0:用
pthread_getspecific重写 malloc hook,替代__thread获取当前 service handle; - 死循环检测见 skynet-src/skynet_monitor.c,示例见 examples/checkdeadloop.lua 与 test/testdeadloop.lua。
7.3 消息追踪:skynet.trace 体系
v1.2.0 加入 skynet.trace,配合 v1.4.0 加入的 skynet.select 用于调试复杂调用链。从 lualib/skynet.lua 可见完整机制:
skynet.trace(info)(L615)为当前协程生成:地址-序号格式的 trace tag,并通过c.trace输出;skynet.traceproto(prototype, flag)(L1032)可对某协议强制开启/关闭追踪;skynet.tracecall(L754)在一次跨服务调用前后输出 begin/end 标记;session_coroutine_tracetag贯穿skynet.call/raw_dispatch_message的请求与响应路径。
7.4 daemon 模式与日志
- v0.3.0 加入 daemon 模式;v1.1.0-rc 起 daemon 模式可输出错误消息;v1.0.0-rc4 处理 SIGHUP 重开日志文件以配合 logrotate;
- v0.7.0 加入 message logger;v1.4.0 默认 logger 增加时间戳;
- v1.0.0-alpha7/alpha9 支持在配置文件中指定用户自定义 log service。
daemon 实现见 skynet-src/skynet_daemon.c,示例见 examples/main_log.lua。
八、值得关注的 Lua API 变迁清单
结合 HISTORY 与源码,以下 API 变迁对实际开发影响较大(均为当前仓库可验证的实现):
- skynet.select(v1.4.0):多路等待多个请求,配合 lualib/skynet.lua 的
skynet.request对象使用,request_meta:select(timeout)返回迭代器逐一处理响应;测试见 test/testselect.lua。 - skynet.response(v0.6.0):允许把响应延后到其他协程/线程执行,解决"服务先返回、后续再应答"的需求;
unresponse集合保证不重复响应,服务退出时自动清理。 - skynet.ignoreret(v1.2.0):主动放弃 session 的返回值(见 L796 实现,置空
session_coroutine_id)。 - skynet.context(v1.2.0):查询当前协程的 session 与来源地址。
- skynet.wakeup 保序(v1.1.0-rc):wakeup 通过
wakeup_queue先进先出,dispatch_wakeup逐个恢复协程,保证唤醒顺序稳定。 - skynet.time(v0.4.0):秒级时间(
now()/100 + starttime),与skynet.now(0.01 秒精度)区分。 - skynet.queue(v0.4.2):串行化工具,见 lualib/skynet/queue.lua。
- socket.onclose(v1.5.0):连接关闭回调;socket.netstat(v1.2.0) 统计连接状态。
- httpc.timeout(v1.1.0-rc)、httpc.request_stream(v1.5.0):http 客户端的超时与流式响应能力。
九、构建与验证:如何在当前仓库复现这些特性
按 README.md 与 Makefile 的说明,Linux 下构建需要先安装 autoconf(供 jemalloc 使用):
git clone https://github.com/cloudwu/skynet.git
cd skynet
make 'PLATFORM' # PLATFORM 可取 linux / macosx / freebsd / openbsd
或:
export PLAT=linux
make
FreeBSD 下用 gmake 代替 make。构建产物包括:skynet 可执行文件(链接 skynet-src/ 下全部 C 源码)、cservice/*.so(snlua / logger / gate / harbor)以及 luaclib/*.so(skynet / client / bson / md5 / sproto / lpeg 等,见 Makefile 的 CSERVICE 与 LUA_CLIB 定义)。
运行示例(两个终端):
./skynet examples/config # 启动第一个 skynet 节点(Gate server)与 skynet-master
./3rd/lua/lua examples/client.lua # 启动客户端,输入 hello 测试
examples/config 支持从环境变量读取配置(v0.5.0),config 文件还支持 include 指令(v1.1.0-rc)。仓库自带的 test/ 目录覆盖了上述大部分特性:如 test/testqueue.lua、test/testselect.lua、test/teststm.lua、test/testharborlink.lua(对应 v0.4.0 的 harbor 监控 API)、test/testhttp.lua、test/testrediscluster.lua 等,是理解各版本特性行为的第一手资料。
十、总结
从 HISTORY.md 这份版本记录可以看到,skynet 十余年的演进始终围绕三条主线:运行环境现代化(Lua 5.3 → 5.4、jemalloc 持续升级)、网络与分布式能力补齐(UDP/IPv6、https、websocket、cluster、multicast)、可观测性与稳定性加固(debug console、trace、内存监控、session 语义修正)。每一个 changelog 条目都能在当前仓库的源码或测试中找到对应实现,这也让 HISTORY.md 不仅是一份变更日志,更是一份理解 skynet 设计脉络的索引——当你在代码中遇到某个 API 时,回溯其引入版本,往往能快速理解其设计动机与适用场景。