Databend 1.2.712-nightly版本发布:查询优化与日期处理增强
Databend是一个开源的云原生数据仓库,采用Rust语言开发,具有高性能、弹性扩展和低成本等特点。它支持标准SQL语法,能够处理PB级别的数据分析任务,同时兼容多种数据格式和存储后端。Databend的设计理念是让数据分析变得更加简单高效,特别适合云环境下的数据仓库场景。
查询计划优化:支持FROM子句中的子查询
本次版本在查询优化器方面做出了重要改进,新增了对LEFT JOIN操作中FROM子句包含子查询的支持。这一特性使得查询计划能够更灵活地处理复杂查询场景,特别是当左表需要通过子查询生成时。
在实际应用中,开发人员经常需要在JOIN操作的一侧使用子查询来预处理数据。例如,可能需要先对某个表进行聚合或过滤,然后再与其他表进行关联。在之前的版本中,这类查询可能会受到限制或需要重写为其他形式。1.2.712-nightly版本的这一改进使得查询编写更加直观,同时也为查询优化器提供了更多优化空间。
日期处理函数修复:9999-12-31边界值处理
日期处理是数据仓库中的常见需求,Databend修复了一个关于to_date函数处理边界值的问题。具体来说,当使用to_date函数解析"9999-12-31"这样的日期字符串时,现在能够正确执行而不会报错。
这个修复看似简单,但对于处理历史数据或未来预测数据非常重要。在实际业务中,9999-12-31常被用作"永久有效"或"无限期"的特殊标记值。确保这类特殊日期能够被正确处理,对于数据一致性和业务逻辑的正确性都至关重要。
Variant类型列过滤性能优化
Variant是Databend中处理半结构化数据的重要数据类型,可以存储JSON格式的数据。本次版本对Variant类型列的过滤操作进行了优化,提升了查询性能。
半结构化数据在现代数据分析中越来越常见,特别是处理日志、用户行为等场景。优化后的Variant类型过滤能够更高效地处理包含大量JSON数据的列,这对于需要频繁查询JSON字段的应用场景将带来明显的性能提升。
块重组优化:计算每块行数
在数据仓库中,数据重组(Recluster)是维护数据物理布局的重要操作。本次版本在重组逻辑中增加了对每块行数的计算优化,这将有助于更合理地分布数据,提高查询效率。
数据重组对于保持查询性能至关重要,特别是在数据频繁更新后。通过更精确地计算每块的行数,系统可以做出更优的重组决策,从而减少I/O开销和提高并行处理效率。
总结
Databend 1.2.712-nightly版本虽然是一个预发布版本,但包含了多项重要的功能改进和性能优化。从查询计划的支持扩展,到日期处理的边界值修复,再到Variant类型的性能提升和数据重组优化,这些改进都直接关系到实际应用中的查询性能和功能完整性。
对于正在使用或考虑采用Databend的用户,这个版本值得关注,特别是那些需要处理复杂查询、半结构化数据或大规模数据重组的场景。随着这些优化逐步稳定并进入正式版本,Databend在云原生数据仓库领域的竞争力将进一步提升。
HunyuanImage-3.0
HunyuanImage-3.0 统一多模态理解与生成,基于自回归框架,实现文本生成图像,性能媲美或超越领先闭源模型00- DDeepSeek-V3.2-ExpDeepSeek-V3.2-Exp是DeepSeek推出的实验性模型,基于V3.1-Terminus架构,创新引入DeepSeek Sparse Attention稀疏注意力机制,在保持模型输出质量的同时,大幅提升长文本场景下的训练与推理效率。该模型在MMLU-Pro、GPQA-Diamond等多领域公开基准测试中表现与V3.1-Terminus相当,支持HuggingFace、SGLang、vLLM等多种本地运行方式,开源内核设计便于研究,采用MIT许可证。【此简介由AI生成】Python00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0369Hunyuan3D-Part
腾讯混元3D-Part00ops-transformer
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。C++095AI内容魔方
AI内容专区,汇集全球AI开源项目,集结模块、可组合的内容,致力于分享、交流。02Spark-Chemistry-X1-13B
科大讯飞星火化学-X1-13B (iFLYTEK Spark Chemistry-X1-13B) 是一款专为化学领域优化的大语言模型。它由星火-X1 (Spark-X1) 基础模型微调而来,在化学知识问答、分子性质预测、化学名称转换和科学推理方面展现出强大的能力,同时保持了强大的通用语言理解与生成能力。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile09
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
项目优选









