首页
/ StarRocks 3.4.1版本发布:数据湖分析能力再升级

StarRocks 3.4.1版本发布:数据湖分析能力再升级

2025-06-05 13:35:22作者:劳婵绚Shirley

StarRocks是一款高性能的分布式分析型数据库,专为实时分析和大规模数据分析场景设计。它采用了MPP(大规模并行处理)架构,支持高并发查询和亚秒级响应,广泛应用于实时报表、用户画像分析、日志分析等业务场景。

数据湖分析能力增强

在3.4.1版本中,StarRocks对数据湖分析能力进行了重要升级,其中最引人注目的是对Delta Lake中Deletion Vector的支持。这一特性使得StarRocks能够更高效地处理Delta Lake中的数据删除操作,显著提升了查询性能。

Deletion Vector是Delta Lake中的一种优化技术,它通过记录被删除行的位置信息而非实际删除数据,来加速删除操作。StarRocks现在能够识别并利用这些信息,在查询时自动过滤掉被标记删除的行,从而避免了不必要的数据扫描。

安全特性强化

本版本引入了安全视图(Secure View)功能,这是数据库安全领域的一项重要增强。传统视图中,即使用户没有底层基表的SELECT权限,只要拥有视图的SELECT权限就能查询视图数据。而安全视图则要求用户必须同时拥有视图和基表的SELECT权限才能查询,提供了更细粒度的访问控制。

此外,3.4.1版本还新增了MySQL协议连接的SSL认证支持。这一特性确保了客户端与StarRocks集群之间的数据传输加密,有效防止了中间人攻击和数据窃听,特别适合金融、医疗等对数据安全要求高的行业。

近似计算性能提升

在数据分析场景中,精确去重往往需要消耗大量计算资源。为此,StarRocks 3.4.1版本引入了Sketch HLL技术,通过ds_hll_count_distinct函数提供了比原有approx_count_distinct更高精度的近似去重能力。

HLL(HyperLogLog)是一种基数估计算法,能够在极低的内存消耗下提供接近真实的去重结果。新版本的实现进一步优化了算法精度,使得在相同内存占用下,估算误差更小,特别适合海量数据的快速去重分析。

云原生存储扩展

对于采用共享数据架构的集群,3.4.1版本扩展了存储卷(Storage Volume)的支持范围,新增了对Azure Data Lake Storage Gen2(ADLS Gen2)的集成。这使得用户可以在Azure云环境中更灵活地部署StarRocks,充分利用云存储的弹性扩展能力。

ADLS Gen2是微软Azure提供的高性能云存储服务,结合了Blob存储的大规模对象存储能力和文件系统的目录结构。StarRocks的集成使得用户可以直接分析存储在ADLS Gen2中的数据,无需复杂的数据迁移。

稳定性改进

3.4.1版本修复了多个影响系统稳定性的关键问题。其中最重要的是改进了写入事务的容错机制:现在只要多数副本成功提交,事务就会成功,而不是之前要求所有副本都必须成功。这一改变显著提高了系统在部分节点故障情况下的可用性。

另一个重要改进是默认启用了优雅停机(Graceful Shutdown)功能。当BE/CN节点需要关闭时,系统会等待正在运行的查询完成(默认最多20秒),而不是立即终止,这避免了查询中断导致的数据不一致问题。

总结

StarRocks 3.4.1版本在数据湖集成、安全控制、计算性能和云原生支持等方面都有显著提升。这些改进使得StarRocks在复杂分析场景下的表现更加出色,同时也为企业级应用提供了更完善的安全保障。特别是对Delta Lake和ADLS Gen2的支持,进一步巩固了StarRocks在多数据源分析领域的领先地位。

登录后查看全文
热门项目推荐
相关项目推荐

热门内容推荐

最新内容推荐

项目优选

收起
openHiTLS-examplesopenHiTLS-examples
本仓将为广大高校开发者提供开源实践和创新开发平台,收集和展示openHiTLS示例代码及创新应用,欢迎大家投稿,让全世界看到您的精巧密码实现设计,也让更多人通过您的优秀成果,理解、喜爱上密码技术。
C
53
468
kernelkernel
deepin linux kernel
C
22
5
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
7
0
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
878
517
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
336
1.1 K
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
180
264
cjoycjoy
一个高性能、可扩展、轻量、省心的仓颉Web框架。Rest, 宏路由,Json, 中间件,参数绑定与校验,文件上传下载,MCP......
Cangjie
87
14
CangjieCommunityCangjieCommunity
为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.08 K
0
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
349
381
cherry-studiocherry-studio
🍒 Cherry Studio 是一款支持多个 LLM 提供商的桌面客户端
TypeScript
612
60