Chonkie项目v1.0.3版本发布：新增可视化工具与多语言分块支持

Chonkie是一个专注于文本分块处理的Python库，旨在为开发者提供高效、灵活的文本分块解决方案。在最新发布的v1.0.3版本中，Chonkie带来了两项重要功能更新：全新的可视化工具Visualizer和多语言分块支持Recipes，同时对核心分块器进行了性能优化。

可视化工具Visualizer

新加入的Visualizer工具为文本分块过程提供了直观的可视化反馈，极大提升了开发者调试和分析分块结果的效率。这个工具支持两种输出方式：

1. 终端输出：通过print方法直接在终端显示带有高亮标记的分块结果
2. HTML保存：将分块结果保存为HTML文件，便于分享和进一步分析

使用Visualizer非常简单，只需几行代码即可实现分块结果的可视化：

from chonkie import Visualizer

viz = Visualizer()
viz.print(chunks)  # 在终端打印彩色分块结果
viz.save("result.html", chunks)  # 保存为HTML文件

可视化效果清晰展示了不同层级的分块结构，帮助开发者快速识别分块质量，特别适合调试复杂的分块规则和验证分块效果。

多语言分块支持Recipes

v1.0.3版本引入了Recipes概念，为不同语言和文档类型提供了开箱即用的分块配置。目前支持的语言包括：

• 英语(en)
• 印地语(hi)
• 中文(zh)
• 日语(jp)
• 韩语(ko)

同时支持Markdown文档的特殊分块处理。使用Recipes可以简化分块器的初始化过程：

from chonkie import RecursiveChunker

# 初始化Markdown文档分块器
markdown_chunker = RecursiveChunker.from_recipe("markdown", lang="en")

# 初始化印地语文本分块器
hindi_chunker = RecursiveChunker.from_recipe(lang="hi")

这一特性极大降低了处理多语言文本时的配置复杂度，开发者无需手动设置各种语言特有的分界符和规则。

性能优化

v1.0.3版本还对核心组件进行了多项性能改进：

1. RecursiveChunker：重构了索引查找逻辑，移除了低效的.find操作，提升了分块速度
2. SentenceChunker：移除了估计和反馈机制，简化了处理流程
3. WordTokenizer：修正了count_tokens方法的实现，现在使用更高效的.tokenize而非.encode

这些优化使得Chonkie在处理大规模文本时表现更加出色，特别是在递归分块和句子分块场景下。

其他改进

• 修复了RecursiveRules.from_dict()方法中因.pop操作导致的KeyError问题
• 解决了RecursiveChunker中空格处理不完整的问题，确保文本重构的准确性
• 完善了包结构，确保所有模块都能正确导入

Chonkie v1.0.3版本的这些更新显著提升了库的易用性和功能性，特别是可视化工具和多语言支持的加入，使得文本分块处理变得更加直观和便捷。对于需要处理多语言内容或复杂文档结构的开发者来说，这些新特性将大大提高工作效率。