Data-Juicer v1.1.0发布：分布式数据处理与垂直领域增强

Data-Juicer是一个专注于数据清洗和预处理的开源工具，旨在为机器学习任务提供高质量的数据集。该项目通过提供丰富的操作符（OPs）来支持各种数据转换、过滤和增强操作，帮助用户从原始数据中提取更有价值的信息。

核心功能升级

本次发布的v1.1.0版本带来了多项重要改进，特别是在分布式数据处理和垂直领域支持方面：

分布式计算能力显著增强，用户现在可以基于Ray框架运行分布式数据处理任务。这一改进使得大规模数据处理变得更加高效，同时新版本还优化了去重操作的实现方式，采用Actor模式替代原有的Task模式，消除了对Redis的依赖，降低了使用门槛。

文档系统进行了全面升级，新增的DJ-Cookbook收集整理了来自多个垂直领域的高质量数据处理"配方"，为用户提供了丰富的实践参考。同时，项目还实现了文档自动更新机制，当新增操作符时会自动生成相关文档，减轻了开发者的维护负担。

新增操作符介绍

v1.1.0版本引入了多个功能强大的新操作符，进一步扩展了数据处理能力：

图像处理方面新增了image_segment_mapper，它能够对图像执行分割任务并返回边界框信息；sdxl_prompt2prompt_mapper则结合了SDXL生成模型和Prompt-to-Prompt图像编辑技术，用于生成相似图像对。

文本处理能力也得到了增强，mllm_mapper可以利用多模态大语言模型为图像生成文本描述；sentence_augmentation_mapper则通过大语言模型实现句子增强；text_pair_similarity_filter提供了基于文本对相似度得分的样本过滤功能。

系统优化与稳定性提升

在用户体验方面，新版本增加了运行结束时的日志摘要功能，将警告和错误信息集中展示，便于用户快速定位问题。同时引入了操作符可用性标签系统，通过alpha、beta和stable三个级别明确标识每个操作符的成熟度，帮助用户做出更合适的选择。

系统稳定性方面，修复了多个关键问题，包括模型强制下载错误、结果数据集保存时的索引错误，以及Ray模式下字段元标签缺失等问题。还针对vllm-based操作符优化了token长度限制，避免了生成内容过短的情况。

开发者体验改进

对于开发者而言，项目增强了API调用操作符的单元测试覆盖，移除了Dockerfile中的沙盒环境要求，更新了与最新版Ray兼容的数据源相关API。此外，还对generate_qa_from_text_mapper中每个文本生成的问答数量进行了限制，防止资源过度消耗。

文档系统方面，优化了全局文本搜索的操作符文档，并改用更稳定快速的翻译服务来自动构建操作符文档，提升了国际化支持的质量。

Data-Juicer v1.1.0通过这些改进，进一步巩固了其作为专业数据预处理工具的地位，特别是在处理多模态数据和分布式计算场景下的表现尤为突出。项目团队表示将继续完善功能，为即将到来的2.0版本做准备。