pg_duckdb 0.3.1版本发布:PostgreSQL与DuckDB的深度集成
pg_duckdb是一个创新的PostgreSQL扩展,它将DuckDB强大的列式向量化分析引擎无缝集成到PostgreSQL中。这种集成使得PostgreSQL用户能够在熟悉的PostgreSQL环境中享受到DuckDB的高性能分析能力,特别适合构建高性能分析和数据密集型应用。
核心功能增强
最新发布的0.3.1版本带来了多项重要改进。首先,该版本现在支持利用PostgreSQL的索引和分区表功能,这意味着用户可以在保持现有PostgreSQL表结构的同时,获得DuckDB的分析性能优势。这种混合架构为数据仓库和分析应用提供了更灵活的选择。
在数据类型支持方面,0.3.1版本新增了对bytea(二进制大对象)、uhugeint(超大整数)、jsonb(二进制JSON)、多种时间戳格式(timestamp_ns、timestamp_ms、timestamp_s)以及interval(时间间隔)类型的支持。特别是对jsonb的支持,配合新增的DuckDB JSON函数和聚合功能,使得处理半结构化数据变得更加高效。
查询语法优化
新版本对查询语法进行了重要调整。read_parquet、iceberg_scan等函数不再支持AS (id bigint, name text)这样的列定义语法,转而采用更简洁的访问方式。例如:
SELECT * FROM read_parquet('file.parquet');
SELECT r['id'], r['name'] FROM read_parquet('file.parquet') r WHERE r['age'] > 21;
同时新增的duckdb.query函数允许直接在PostgreSQL中使用DuckDB的原生查询语法,为熟悉DuckDB的用户提供了更直接的访问方式。
性能与稳定性改进
0.3.1版本基于DuckDB 1.2.0核心构建,带来了底层性能的提升。特别值得注意的是,该版本修复了多个影响稳定性的问题,包括大文件缓存元数据读取问题、预处理语句参数处理问题,以及取消请求(Ctrl+C)被忽略的问题。
对于使用MotherDuck服务的用户,新版本优化了目录同步机制,只在有DuckDB查询活动时才进行同步,减少了不必要的资源消耗。
安全与权限管理
权限管理方面也有所改进,现在非超级用户也可以执行duckdb.raw_query、duckdb.cache_info等管理函数。同时修复了read_parquet函数在非超级用户环境下的使用问题,使得权限管理更加灵活。
总结
pg_duckdb 0.3.1版本在功能丰富性、性能稳定性和用户体验方面都有显著提升。通过深度整合PostgreSQL和DuckDB的优势,它为需要在PostgreSQL环境中进行高性能数据分析的用户提供了一个强大的解决方案。无论是处理结构化还是半结构化数据,无论是本地文件还是远程数据源,pg_duckdb都能提供高效的分析能力。
kernelopenEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。C0134
let_datasetLET数据集 基于全尺寸人形机器人 Kuavo 4 Pro 采集,涵盖多场景、多类型操作的真实世界多任务数据。面向机器人操作、移动与交互任务,支持真实环境下的可扩展机器人学习00
mindquantumMindQuantum is a general software library supporting the development of applications for quantum computation.Python059
PaddleOCR-VLPaddleOCR-VL 是一款顶尖且资源高效的文档解析专用模型。其核心组件为 PaddleOCR-VL-0.9B,这是一款精简却功能强大的视觉语言模型(VLM)。该模型融合了 NaViT 风格的动态分辨率视觉编码器与 ERNIE-4.5-0.3B 语言模型,可实现精准的元素识别。Python00
GLM-4.7-FlashGLM-4.7-Flash 是一款 30B-A3B MoE 模型。作为 30B 级别中的佼佼者,GLM-4.7-Flash 为追求性能与效率平衡的轻量化部署提供了全新选择。Jinja00
AgentCPM-ReportAgentCPM-Report是由THUNLP、中国人民大学RUCBM和ModelBest联合开发的开源大语言模型智能体。它基于MiniCPM4.1 80亿参数基座模型构建,接收用户指令作为输入,可自主生成长篇报告。Python00