Apache Kvrocks 中 SCAN 命令的非前缀字符串匹配功能解析
2025-06-18 20:43:08作者:郁楠烈Hubert
背景介绍
Apache Kvrocks 是一个高性能的键值存储系统,兼容 Redis 协议。在 Redis 生态中,SCAN 命令是一个非常重要的遍历键空间的工具,它允许用户在不阻塞服务器的情况下逐步迭代数据库中的所有键。
问题发现
在 Kvrocks 的早期实现中,SCAN 命令仅支持前缀匹配模式,这与 Redis 原生的 SCAN 命令行为存在差异。Redis 的 SCAN 支持更灵活的模式匹配语法,包括前缀匹配(如 prefix*)、后缀匹配(如 *suffix)以及包含匹配(如 *substring*)。
技术挑战
实现非前缀匹配功能面临几个主要技术挑战:
- 性能考量:非前缀匹配需要扫描整个键空间,可能带来性能问题
- 实现复杂度:需要修改现有的前缀匹配逻辑,同时保持代码的简洁性
- 兼容性:需要确保与 Redis 协议完全兼容
解决方案
社区开发者提出了几种实现思路:
- 模板函数方案:将扫描逻辑抽象为模板函数,通过传入不同的匹配函数来实现不同匹配模式
- 参数化方案:在扫描函数中添加参数来指定匹配模式
- 分批次返回方案:即使没有匹配结果也分批次返回,避免长时间阻塞
最终实现采用了分批次返回的方案,这种方式既保证了兼容性,又避免了性能问题。
实现细节
实现过程中重点关注了以下几个方面:
- 匹配逻辑重构:将原有的前缀匹配扩展为支持多种匹配模式
- 游标管理:确保游标在多次扫描中的正确传递
- 性能优化:设置最大扫描键数限制,防止长时间运行
测试验证
为了确保功能的正确性,开发者:
- 进行了手动测试验证基本功能
- 计划添加 Go 语言测试用例
- 考虑边界条件测试,如空匹配、大量数据等情况
总结
Kvrocks 通过社区协作解决了 SCAN 命令的非前缀匹配问题,这一改进使得 Kvrocks 在 Redis 协议兼容性上更进一步。这种功能增强对于需要复杂键查询的应用场景尤为重要,同时也展示了开源社区如何通过协作解决技术难题的过程。
对于使用者来说,现在可以在 Kvrocks 中使用与 Redis 相同的 SCAN 语法进行键空间遍历,这大大提高了从 Redis 迁移到 Kvrocks 的便利性。
登录后查看全文
热门项目推荐
相关项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0172
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook097
Step-3.7-FlashStep-3.7-Flash是一个拥有 1980 亿参数的稀疏混合专家(MoE)视觉语言模型,由 1960 亿参数的语言主干网络和 18 亿参数的视觉编码器组合而成,具备原生图像理解能力。Python00
BitCPM-CANN-8BBitCPM-CANN 是首个基于华为昇腾 NPU 原生构建的端到端 1.58 位(三值化)大语言模型训练系统。该系统将量化感知训练(QAT)集成到 Megatron-LM 框架中,并结合 MindSpeed 加速,覆盖了从自定义三值算子到基于昇腾 910B 的分布式并行训练的完整训练栈。Python00
MiniCPM5-1BMiniCPM5-1B,这是 MiniCPM5 系列的首款模型。它是一个专为端侧、本地部署和资源受限场景打造的 10 亿参数密集型 Transformer 模型,达到了 10 亿参数级开源模型的 SOTA 水平Jinja00
skillhubopenJiuwen 生态的 Skill 托管与分发开源方案,支持自建与可选 ClawHub 兼容。Python0239
热门内容推荐
最新内容推荐
项目优选
收起
deepin linux kernel
C
32
16
暂无描述
Dockerfile
749
4.87 K
Claude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed.
Get Started
Rust
1.57 K
172
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
841
1.84 K
Ascend Extension for PyTorch
Python
688
833
CANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。
Jupyter Notebook
227
97
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
451
418
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.02 K
1.04 K
暂无简介
Dart
999
259
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
642
1.27 K