JohnTheRipper动态格式内存管理问题分析与修复

问题背景

在密码安全测试工具JohnTheRipper中，动态格式(dynamic format)功能允许用户自定义密码哈希的计算方式。近期发现当使用包含常量的特定动态格式时，如-form:dynamic=md5(utf16(md5($p)).$c1),c1=abcd1234，会出现内存管理问题。

问题现象

通过内存分析工具ltrace观察发现，当使用包含常量的动态格式时，程序会持续调用malloc分配内存但未释放。移除常量使用后，malloc调用消失，但仍有calloc调用（这些内存会被正常释放）。通过gdb回溯，发现内存管理问题发生在dynamic_Demangle函数中。

技术分析

问题根源

问题发生在dynamic_utils.c文件中的dynamic_Demangle函数。该函数原本设计仅在加载时调用，因此没有过多考虑内存效率问题。但在实际运行中，当动态编译器无法处理某些表达式时会回退到RDP动态编译器格式，这时就会在运行时调用此函数。

函数中调用了str_alloc_copy来复制输入字符串，但在运行时环境下这些分配的内存无法被释放，导致问题。

深层原因

进一步分析发现，当动态格式编译器无法处理某些表达式时，会输出提示信息：

dynamic_assign_script_to_format() the dynamic.cmp_all/cmp_one() failed. This expression can not use the dynamic format
This expression will use the RDP dynamic compiler format.

这时系统会回退到使用RDP动态编译器格式，从而在运行时调用原本设计为仅加载时使用的dynamic_Demangle函数。

解决方案

临时修复方案

针对dynamic_Demangle函数进行优化：

1. 当输入字符串为空时，直接返回空字符串而非分配新内存
2. 当输入字符串不包含反斜杠时，直接返回原字符串指针而非复制
3. 仅在确实需要处理转义字符时才进行内存分配

这种修改基于以下安全考虑：

1. 在dynamic_parser.c中，函数接收的是配置文件行的指针，这些行会被完整保留
2. 在dynamic_compiler.c中，返回值仅用于memcpy操作，不会被长期引用

优化建议

虽然解决了内存管理问题，但运行时仍存在calloc调用。这些调用位于dynamic_push函数中，用于分配临时缓冲区。虽然这些内存会被释放，但频繁分配/释放可能影响性能。建议后续优化时考虑：

1. 预分配缓冲区池
2. 重用缓冲区而非频繁分配释放

技术启示

1. 函数职责明确：应当严格区分加载时和运行时函数，避免交叉使用
2. 资源管理：即使是临时使用的函数也应考虑资源释放问题
3. 错误处理：应当优先修复导致回退的根本原因，而非仅处理回退路径的问题
4. 性能考量：密码安全测试工具对性能敏感，应尽量减少运行时内存操作

这个问题展示了在复杂系统中，即使设计良好的组件在超出原定使用场景时也可能出现问题。在开发类似工具时，需要全面考虑各种使用场景和边界条件。