Databend 1.2.712-nightly版本发布:查询优化与日期处理增强
Databend是一个开源的云原生数据仓库,采用Rust语言开发,具有高性能、弹性扩展和低成本等特点。它支持标准SQL语法,能够处理PB级别的数据分析任务,同时兼容多种数据格式和存储后端。Databend的设计理念是让数据分析变得更加简单高效,特别适合云环境下的数据仓库场景。
查询计划优化:支持FROM子句中的子查询
本次版本在查询优化器方面做出了重要改进,新增了对LEFT JOIN操作中FROM子句包含子查询的支持。这一特性使得查询计划能够更灵活地处理复杂查询场景,特别是当左表需要通过子查询生成时。
在实际应用中,开发人员经常需要在JOIN操作的一侧使用子查询来预处理数据。例如,可能需要先对某个表进行聚合或过滤,然后再与其他表进行关联。在之前的版本中,这类查询可能会受到限制或需要重写为其他形式。1.2.712-nightly版本的这一改进使得查询编写更加直观,同时也为查询优化器提供了更多优化空间。
日期处理函数修复:9999-12-31边界值处理
日期处理是数据仓库中的常见需求,Databend修复了一个关于to_date函数处理边界值的问题。具体来说,当使用to_date函数解析"9999-12-31"这样的日期字符串时,现在能够正确执行而不会报错。
这个修复看似简单,但对于处理历史数据或未来预测数据非常重要。在实际业务中,9999-12-31常被用作"永久有效"或"无限期"的特殊标记值。确保这类特殊日期能够被正确处理,对于数据一致性和业务逻辑的正确性都至关重要。
Variant类型列过滤性能优化
Variant是Databend中处理半结构化数据的重要数据类型,可以存储JSON格式的数据。本次版本对Variant类型列的过滤操作进行了优化,提升了查询性能。
半结构化数据在现代数据分析中越来越常见,特别是处理日志、用户行为等场景。优化后的Variant类型过滤能够更高效地处理包含大量JSON数据的列,这对于需要频繁查询JSON字段的应用场景将带来明显的性能提升。
块重组优化:计算每块行数
在数据仓库中,数据重组(Recluster)是维护数据物理布局的重要操作。本次版本在重组逻辑中增加了对每块行数的计算优化,这将有助于更合理地分布数据,提高查询效率。
数据重组对于保持查询性能至关重要,特别是在数据频繁更新后。通过更精确地计算每块的行数,系统可以做出更优的重组决策,从而减少I/O开销和提高并行处理效率。
总结
Databend 1.2.712-nightly版本虽然是一个预发布版本,但包含了多项重要的功能改进和性能优化。从查询计划的支持扩展,到日期处理的边界值修复,再到Variant类型的性能提升和数据重组优化,这些改进都直接关系到实际应用中的查询性能和功能完整性。
对于正在使用或考虑采用Databend的用户,这个版本值得关注,特别是那些需要处理复杂查询、半结构化数据或大规模数据重组的场景。随着这些优化逐步稳定并进入正式版本,Databend在云原生数据仓库领域的竞争力将进一步提升。
kernelopenEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。C094
baihu-dataset异构数据集“白虎”正式开源——首批开放10w+条真实机器人动作数据,构建具身智能标准化训练基座。00
mindquantumMindQuantum is a general software library supporting the development of applications for quantum computation.Python058
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00
GLM-4.7GLM-4.7上线并开源。新版本面向Coding场景强化了编码能力、长程任务规划与工具协同,并在多项主流公开基准测试中取得开源模型中的领先表现。 目前,GLM-4.7已通过BigModel.cn提供API,并在z.ai全栈开发模式中上线Skills模块,支持多模态任务的统一规划与协作。Jinja00
AgentCPM-Explore没有万亿参数的算力堆砌,没有百万级数据的暴力灌入,清华大学自然语言处理实验室、中国人民大学、面壁智能与 OpenBMB 开源社区联合研发的 AgentCPM-Explore 智能体模型基于仅 4B 参数的模型,在深度探索类任务上取得同尺寸模型 SOTA、越级赶上甚至超越 8B 级 SOTA 模型、比肩部分 30B 级以上和闭源大模型的效果,真正让大模型的长程任务处理能力有望部署于端侧。Jinja00