PGQueuer v0.22.0 发布：实时任务状态监控与性能优化

PGQueuer 是一个基于 PostgreSQL 的轻量级任务队列系统，它利用 PostgreSQL 的可靠性和事务特性来实现高效的任务调度和执行。该系统特别适合需要高可靠性和数据一致性的应用场景，如订单处理、后台任务执行等。

架构升级与性能优化

本次发布的 v0.22.0 版本带来了两项重要改进：实时任务状态监控机制和查询性能优化。这两项改进共同构成了一个更高效、更实时的任务处理系统。

实时任务状态监控

新引入的 CompletionWatcher API 彻底改变了任务状态监控的方式。传统轮询方式需要不断查询数据库，既浪费资源又增加延迟。新机制采用了 PostgreSQL 的 LISTEN/NOTIFY 功能，实现了真正的实时通知。

当任务状态发生变化时，系统会立即通过 NOTIFY 发送通知，CompletionWatcher 则通过 LISTEN 接收这些通知。为了确保可靠性，系统还设计了双重保障机制：

1. 5秒安全轮询：作为网络问题的后备方案
2. 50毫秒去抖动：避免短时间内大量状态变更导致的频繁通知

这种混合机制既保证了实时性，又确保了可靠性，特别适合需要快速响应的应用场景。

查询性能优化

性能优化的核心在于新增的复合索引 ..._job_id_status。这个索引专门针对任务状态查询进行了优化，可以带来10-20倍的查询速度提升。

在没有此索引的情况下，系统需要对 queue_table_log 表进行全表扫描来查找特定任务的状态。随着任务数量的增加，这种查询会变得越来越慢。新索引通过将 job_id 和 status 字段组合在一起，使得这类查询可以直接通过索引完成，大大减少了I/O操作。

新特性详解

CompletionWatcher API

CompletionWatcher 提供了三种主要的等待方法：

1. wait_for(job_id)：等待单个任务完成
2. wait_for_all(job_ids)：等待一组任务全部完成
3. wait_for_first(job_ids)：等待一组任务中任意一个完成

这些方法返回的任务状态包括："successful"、"exception"等，开发者可以根据不同状态采取相应的处理逻辑。

连接池支持

新版本正式推荐使用 AsyncpgPoolDriver 作为默认驱动。连接池技术可以显著减少数据库连接建立和销毁的开销，特别是在高并发场景下。原有的单连接 AsyncpgDriver 仍然保留，以满足特定场景的需求。

迁移指南

1. 必须执行的升级步骤：运行 pgq upgrade 命令来创建新的索引。如果不执行此步骤，系统虽然能继续工作，但任务状态查询性能会显著下降。

2. 可选但推荐的改进：在代码中使用 CompletionWatcher 替代原有的轮询方式。新的API不仅更高效，而且代码更简洁易读。

实际应用场景

这些改进特别适合以下场景：

• 实时仪表盘：需要实时显示任务执行状态的监控界面
• 工作流编排：多个任务之间有依赖关系的复杂流程
• 测试框架：需要等待异步任务完成才能进行断言的情况
• 用户界面反馈：向终端用户实时反馈长时间运行任务的状态

总结

PGQueuer v0.22.0 通过引入实时通知机制和查询优化，显著提升了系统的响应速度和资源利用率。这些改进使得 PGQueuer 在处理实时性要求高的任务时更具竞争力，同时也为开发者提供了更优雅的编程接口。