uWebSockets中处理耗时任务的最佳实践
2025-05-12 19:10:22作者:宗隆裙
在基于uWebSockets开发WebSocket服务时,处理耗时任务是一个常见的技术挑战。本文将通过一个实际案例,深入分析如何在uWebSockets框架中优雅地处理耗时操作,避免阻塞消息接收。
问题背景
在WebSocket服务开发中,当接收到"play"指令时,需要执行一个耗时的视频播放任务。直接在主线程中执行会导致后续消息被阻塞,影响服务响应能力。开发者最初尝试使用uWS::Loop::get()->defer方法将任务放入事件循环,但发现这并不能真正解决问题。
初始方案分析
原始代码将play操作通过defer方法放入事件循环:
uWS::Loop::get()->defer([this, ws]() {
this->play(ws);
});
这种做法的局限性在于:
defer只是将任务推迟到当前事件循环迭代的最后执行- 如果
play操作耗时较长,仍然会阻塞事件循环 - 无法并行处理多个消息
改进方案:线程池与消息队列
更合理的解决方案是结合线程池和消息队列机制:
- 快速处理消息接收:主线程只负责接收消息并放入队列
- 异步处理耗时任务:使用工作线程从队列取出消息并处理
- 线程安全通信:通过互斥锁保护共享资源
std::mutex messageMutex;
std::queue<IMMsg> messageQueue;
// 消息处理线程
std::thread([this]() {
while (running) {
std::unique_lock<std::mutex> lock(this->messageMutex);
if (!this->messageQueue.empty()) {
IMMsg msg = std::move(this->messageQueue.front());
this->messageQueue.pop();
lock.unlock();
// 处理消息
if (msg.getType() == "Camera" && msg.getCmd() == "play") {
this->play(ws);
}
} else {
lock.unlock();
std::this_thread::yield();
}
}
}).detach();
关键注意事项
- 线程生命周期管理:避免频繁创建销毁线程,推荐使用线程池
- 事件循环的正确使用:确保跨线程操作时获取正确的Loop实例
- 资源竞争处理:合理使用锁机制,避免死锁
- 异常处理:确保线程异常不会导致服务崩溃
性能优化建议
- 使用无锁队列替代标准队列+互斥锁的组合
- 实现任务优先级机制,确保关键消息优先处理
- 加入背压控制,防止消息积压导致内存耗尽
- 考虑使用协程等更轻量级的并发模型
完整解决方案示例
// 线程安全的任务队列
class TaskQueue {
public:
void push(std::function<void()> task) {
std::lock_guard<std::mutex> lock(mutex_);
queue_.push(std::move(task));
cond_.notify_one();
}
std::function<void()> pop() {
std::unique_lock<std::mutex> lock(mutex_);
cond_.wait(lock, [this]{ return !queue_.empty(); });
auto task = std::move(queue_.front());
queue_.pop();
return task;
}
private:
std::queue<std::function<void()>> queue_;
std::mutex mutex_;
std::condition_variable cond_;
};
// 初始化线程池
TaskQueue taskQueue;
std::vector<std::thread> workerThreads;
for (int i = 0; i < std::thread::hardware_concurrency(); ++i) {
workerThreads.emplace_back([]{
while (true) {
auto task = taskQueue.pop();
task();
}
});
}
// WebSocket消息处理
.message = [this](auto* ws, std::string_view message, auto opCode) {
try {
IMMsg msg = json::parse(message);
if(msg.getType() == "Camera") {
taskQueue.push([this, ws, msg = std::move(msg)] {
if (msg.getCmd() == "play") {
this->play(ws);
} else if (msg.getCmd() == "stop") {
this->stop();
}
});
}
} catch (const json::exception& e) {
// 错误处理
}
};
通过这种架构设计,可以确保uWebSockets服务既能高效处理大量并发连接,又能从容应对耗时任务,实现高吞吐量和低延迟的服务目标。
登录后查看全文
热门项目推荐
相关项目推荐
AutoGLM-Phone-9BAutoGLM-Phone-9B是基于AutoGLM构建的移动智能助手框架,依托多模态感知理解手机屏幕并执行自动化操作。Jinja00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
GLM-4.6V-FP8GLM-4.6V-FP8是GLM-V系列开源模型,支持128K上下文窗口,融合原生多模态函数调用能力,实现从视觉感知到执行的闭环。具备文档理解、图文生成、前端重构等功能,适用于云集群与本地部署,在同类参数规模中视觉理解性能领先。Jinja00
HunyuanOCRHunyuanOCR 是基于混元原生多模态架构打造的领先端到端 OCR 专家级视觉语言模型。它采用仅 10 亿参数的轻量化设计,在业界多项基准测试中取得了当前最佳性能。该模型不仅精通复杂多语言文档解析,还在文本检测与识别、开放域信息抽取、视频字幕提取及图片翻译等实际应用场景中表现卓越。00
GLM-ASR-Nano-2512GLM-ASR-Nano-2512 是一款稳健的开源语音识别模型,参数规模为 15 亿。该模型专为应对真实场景的复杂性而设计,在保持紧凑体量的同时,多项基准测试表现优于 OpenAI Whisper V3。Python00
GLM-TTSGLM-TTS 是一款基于大语言模型的高质量文本转语音(TTS)合成系统,支持零样本语音克隆和流式推理。该系统采用两阶段架构,结合了用于语音 token 生成的大语言模型(LLM)和用于波形合成的流匹配(Flow Matching)模型。 通过引入多奖励强化学习框架,GLM-TTS 显著提升了合成语音的表现力,相比传统 TTS 系统实现了更自然的情感控制。Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00
项目优选
收起
deepin linux kernel
C
24
9
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
402
3.12 K
Ascend Extension for PyTorch
Python
224
249
暂无简介
Dart
672
159
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
663
315
React Native鸿蒙化仓库
JavaScript
262
324
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
9
1
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
1.2 K
655
🔥LeetCode solutions in any programming language | 多种编程语言实现 LeetCode、《剑指 Offer(第 2 版)》、《程序员面试金典(第 6 版)》题解
Java
64
19
openGauss kernel ~ openGauss is an open source relational database management system
C++
160
219