Great Expectations 1.3.9版本发布:数据质量监控工具的重大更新
Great Expectations是一个开源的数据质量监控和验证工具,它帮助数据工程师和分析师确保数据的准确性和可靠性。通过定义"期望"(expectations),用户可以自动验证数据是否符合预期标准,并在数据管道中建立质量检查点。
核心功能增强
本次1.3.9版本带来了几个重要的度量指标(Metric)类改进,进一步丰富了数据验证的能力:
-
移除Metric类中的batch_id参数:简化了Metric类的接口设计,使API更加清晰易用。这一变更反映了项目团队对代码架构的持续优化。
-
新增QueryRowCount度量指标:专门用于查询行数统计,为数据量验证提供了专用工具。这个指标特别适用于需要监控数据增长或缩减的场景。
-
ColumnPairValueInSet度量指标:新增了对列对值集合的验证能力,可以检查两列组合值是否在预定义的集合中。这对于验证关联数据的完整性非常有用。
-
MultiColumnValues度量指标:扩展了多列值验证功能,支持同时对多个列的值进行检查,提高了复杂数据验证场景下的效率。
重要问题修复
本次版本修复了几个关键问题,提升了工具的稳定性和用户体验:
-
验证定义工厂更新问题:修复了Validation Definition工厂中add_or_update方法无法更新批处理定义(batch definition)的问题,确保了配置更新的灵活性。
-
批处理度量计算问题:解决了batch.compute_metrics方法中的三个bug,并强制要求度量结果数量必须与度量指标数量一致,提高了计算的准确性。
-
批处理定义ID问题:确保Asset.get_batch_definition方法返回带有ID的BatchDefinition对象,保证了对象标识的完整性。
-
列值范围验证增强:当ExpectColumnValuesToBeBetween期望应用于不支持的列类型时,现在会明确抛出错误,避免了潜在的误用情况。
文档与用户体验改进
-
Airflow提供程序文档:改进了Airflow集成的文档可发现性,使数据工程师更容易在Airflow环境中使用Great Expectations。
-
代码块展示优化:为API文档中的代码块添加了标题和更好的格式,提升了文档的可读性。
-
版本链接管理:新增了自动化脚本,用于在新文档版本发布时更新相关链接,简化了文档维护工作。
-
验证定义参数显示:修复了验证定义参数在界面中的显示问题,使用户能更清晰地查看和配置验证参数。
维护与基础设施升级
-
代码质量工具升级:将mypy静态类型检查器升级到1.15.0版本,ruff代码格式化工具升级到0.9.9版本,提高了代码质量和一致性。
-
分析事件跟踪:新增了对验证定义运行的分析事件跟踪,帮助团队更好地理解用户行为和使用模式。
-
测试优化:改进了测试配置,移除重复设置,并使用data_context fixture重构部分测试,提高了测试的可靠性和维护性。
-
Slack通知优化:简化了Slack通知消息,移除重复的链接文本,使通知更加清晰简洁。
总结
Great Expectations 1.3.9版本在功能丰富性、稳定性和用户体验方面都做出了显著改进。新增的度量指标扩展了数据验证的能力范围,而关键问题的修复则提升了工具的可靠性。文档和维护工作的持续投入也体现了项目团队对长期可持续发展的重视。对于依赖数据质量监控的团队来说,这个版本值得考虑升级。
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0195
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0124
MiMo-V2.5-Pro-FP4-DFlashMiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型: FP4 量化骨干网络:对 MoE 专家采用 MXFP4 量化,同时保持模型其他部分的更高精度,在几乎无损质量的前提下,显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器:用于块扩散推测解码,每次前向传播可生成一整个块的 tokens,并让骨干网络一步完成验证。 两者协同作用,既降低了每参数的位宽,又减少了骨干网络前向传播的次数,而这两者正是万亿参数模型解码过程中的两大主要成本来源。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
AstrBot✨ 易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书 | OpenAI、DeepSeek、Gemini、硅基流动、月之暗面、Ollama、OneAPI、Dify 等。附带 WebUI。Python05
handy-ollama动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/Jupyter Notebook07