Duplicut v2.3版本发布：高效去重工具的性能优化与架构升级

项目简介

Duplicut是一款专注于高效处理文本行去重的命令行工具，特别适合渗透测试人员和安全研究人员使用。该项目采用C语言开发，通过多线程和优化的哈希算法实现高性能处理，能够快速处理大规模文本文件中的重复行，同时保持原始行的顺序。

核心改进

行长度限制提升

v2.3版本对行长度处理进行了重要优化：

1. 将最大行长度限制从原先的较低值提升至4095字节，满足更多实际应用场景需求
2. 默认行长度限制值从原先的较小值提升至1024字节，平衡了性能和内存使用

这一改进使得工具能够处理包含较长字符串的文本行，特别适合处理复杂日志文件或包含大量数据的文本。

底层库更新

项目对两个关键依赖库进行了版本升级：

1. C-Thread-Pool线程池库更新至最新稳定版本，提升了多线程处理的稳定性和效率
2. xxHash哈希算法库升级至性能更优的版本，显著提高了去重操作的执行速度

这些底层优化使得工具在处理大规模数据时能够更好地利用现代多核CPU的计算能力。

架构调整

v2.3版本做出了重要的架构决策：

1. 新增对ARM64架构的完整支持，适应苹果M系列芯片和越来越多的ARM服务器环境
2. 正式放弃对32位架构的支持，专注于64位系统的性能优化

这一调整反映了现代计算环境的发展趋势，使开发者能够集中精力优化64位环境下的性能表现。

其他改进

1. 修复了文档中的多处拼写错误，提升了用户体验
2. 改进了构建系统和持续集成流程，确保跨平台兼容性
3. 优化了内存管理策略，减少大文件处理时的内存占用

技术意义

Duplicut v2.3的这些改进对于安全从业人员具有实际价值：

1. 增强的处理能力可以应对更大规模的文本字典和日志文件分析
2. 优化的性能减少了渗透测试和数据分析的等待时间
3. 现代架构支持确保了工具在当前主流硬件上的最佳表现

该版本通过平衡功能、性能和兼容性，进一步巩固了Duplicut作为专业级文本处理工具的地位。对于需要处理大量文本数据的场景，如安全测试前的字典优化、日志分析等，v2.3版本提供了更高效可靠的解决方案。