Narwhals项目v1.25.0版本发布:多后端数据处理能力再升级
Narwhals是一个致力于为Python生态提供统一API接口的多后端数据处理框架,它允许开发者使用相同的代码操作不同的数据处理引擎,如Polars、DuckDB和Spark等。通过抽象底层实现细节,Narwhals让开发者能够专注于业务逻辑,而不必为不同引擎的API差异而烦恼。
核心功能增强
跨后端爆炸式展开功能
v1.25.0版本为DuckDB后端新增了LazyFrame.explode方法实现。这一功能允许用户将列表类型的列"爆炸"展开为多行,类似于Pandas中的explode操作。对于处理嵌套数据结构特别有用,比如JSON格式的数据。
日期时间处理能力扩展
新版本为DuckDB后端增加了.str.to_datetime方法,使得字符串到日期时间的转换更加便捷。同时,Spark后端现在也支持了日期(date)和日期时间(datetime)数据类型,并在nw.lit函数中增加了对dtype参数的支持,为时间序列数据处理提供了更强大的工具。
灵活的后端选择机制
.lazy()方法现在支持使用ModuleType和字符串来指定后端,这为开发者提供了更大的灵活性。例如,现在可以直接传入import duckdb得到的模块对象,或者简单地传递"duckdb"字符串来指定使用DuckDB引擎。
数据重塑功能增强
LazyFrame.unpivot方法现已支持Spark和DuckDB后端,这使得"宽表转长表"的操作可以在更多引擎上执行。这一功能在数据预处理和可视化准备阶段特别有用,可以方便地将多列数据转换为键值对形式。
性能优化与架构改进
简化的DuckDB分组操作
开发团队对DuckDB的分组(group-by)实现进行了简化,这可能会带来性能上的提升。虽然具体细节未在发布说明中详述,但这类底层优化通常能够减少内存使用和提高查询执行速度。
增强的收集(collect)方法
LazyFrame.collect方法现在支持通过backend参数指定执行引擎,并允许传递额外的关键字参数(**kwargs)。这一改进使得开发者能够更灵活地控制查询执行过程,针对不同后端传递特定的优化参数。
开发者体验提升
文档改进
团队对文档进行了多项修复和优化,特别是缩短了narwhals/expr.py中的示例代码,使其更加简洁易懂。此外,所有异常现在都继承自统一的NarwhalsError基类,这有助于开发者更一致地处理错误情况。
总结
Narwhals v1.25.0版本在多后端支持方面取得了显著进展,特别是在DuckDB和Spark引擎的功能覆盖上。日期时间处理、数据重塑等核心功能的增强,使得开发者能够更轻松地在不同引擎间迁移代码。同时,API的灵活性和文档的改进也大大提升了开发体验。
这一版本的发布标志着Narwhals项目在实现"编写一次,多后端运行"愿景的道路上又迈出了坚实的一步,为Python生态中的数据分析工作流提供了更强大的工具支持。
AutoGLM-Phone-9BAutoGLM-Phone-9B是基于AutoGLM构建的移动智能助手框架,依托多模态感知理解手机屏幕并执行自动化操作。Jinja00
Kimi-K2-ThinkingKimi K2 Thinking 是最新、性能最强的开源思维模型。从 Kimi K2 开始,我们将其打造为能够逐步推理并动态调用工具的思维智能体。通过显著提升多步推理深度,并在 200–300 次连续调用中保持稳定的工具使用能力,它在 Humanity's Last Exam (HLE)、BrowseComp 等基准测试中树立了新的技术标杆。同时,K2 Thinking 是原生 INT4 量化模型,具备 256k 上下文窗口,实现了推理延迟和 GPU 内存占用的无损降低。Python00
GLM-4.6V-FP8GLM-4.6V-FP8是GLM-V系列开源模型,支持128K上下文窗口,融合原生多模态函数调用能力,实现从视觉感知到执行的闭环。具备文档理解、图文生成、前端重构等功能,适用于云集群与本地部署,在同类参数规模中视觉理解性能领先。Jinja00
HunyuanOCRHunyuanOCR 是基于混元原生多模态架构打造的领先端到端 OCR 专家级视觉语言模型。它采用仅 10 亿参数的轻量化设计,在业界多项基准测试中取得了当前最佳性能。该模型不仅精通复杂多语言文档解析,还在文本检测与识别、开放域信息抽取、视频字幕提取及图片翻译等实际应用场景中表现卓越。00
GLM-ASR-Nano-2512GLM-ASR-Nano-2512 是一款稳健的开源语音识别模型,参数规模为 15 亿。该模型专为应对真实场景的复杂性而设计,在保持紧凑体量的同时,多项基准测试表现优于 OpenAI Whisper V3。Python00
GLM-TTSGLM-TTS 是一款基于大语言模型的高质量文本转语音(TTS)合成系统,支持零样本语音克隆和流式推理。该系统采用两阶段架构,结合了用于语音 token 生成的大语言模型(LLM)和用于波形合成的流匹配(Flow Matching)模型。 通过引入多奖励强化学习框架,GLM-TTS 显著提升了合成语音的表现力,相比传统 TTS 系统实现了更自然的情感控制。Python00
Spark-Formalizer-X1-7BSpark-Formalizer 是由科大讯飞团队开发的专用大型语言模型,专注于数学自动形式化任务。该模型擅长将自然语言数学问题转化为精确的 Lean4 形式化语句,在形式化语句生成方面达到了业界领先水平。Python00