Stanza项目中关于PyTorch模型加载安全警告的解决方案

问题背景

在Stanza自然语言处理工具包的使用过程中，当用户升级到PyTorch 2.4.1及以上版本时，会遇到一个关于模型加载的安全警告。这个警告提示用户当前使用的是torch.load函数的weights_only=False模式，可能存在安全风险。

技术分析

PyTorch从2.6版本开始，将weights_only参数的默认值从False改为True，这是出于安全考虑。当weights_only=True时，PyTorch会限制反序列化过程中可执行的代码，防止潜在的恶意pickle数据执行任意代码。

Stanza项目中的多个组件（如tokenize、mwt、pos等处理器）都使用了torch.load来加载预训练模型。在旧版本中，这些模型文件不仅包含权重参数，还保存了配置字符串、数字等其他数据结构，这使得直接切换到weights_only=True模式会遇到兼容性问题。

解决方案演进

Stanza开发团队分阶段解决了这个问题：

1. 初步修复：在开发分支中，首先将所有torch.load调用显式设置为weights_only=True，确保与新版本PyTorch的兼容性。

2. 模型更新：重新保存模型文件，移除了其中的枚举类型和其他非权重数据结构，使它们能够完全兼容weights_only=True模式。

3. 版本发布：在Stanza 1.10.0版本中正式包含了这些修复，确保用户升级后不会遇到相关警告或错误。

用户实践指南

对于遇到此问题的用户，可以采取以下步骤：

1. 升级Stanza：确保使用Stanza 1.10.0或更高版本。

2. 模型兼容性：注意不同版本的模型文件可能有不同的MD5校验值。如果遇到校验失败，需要删除旧模型让Pipeline自动下载新版模型。

3. 环境检查：确认Python环境中的资源文件（resources.json）是最新版本，它包含了正确的模型文件哈希值。

技术意义

这一改进不仅解决了警告问题，更重要的是提升了Stanza工具包的安全性。通过限制模型加载时的可执行代码范围，有效降低了从不可信来源加载模型时的安全风险。同时，这也符合PyTorch社区对模型安全性的日益重视。

结语

Stanza团队对PyTorch新特性的快速响应体现了项目的活跃维护状态。对于NLP开发者而言，及时更新到最新版本的Stanza不仅能获得更好的安全性，也能确保与PyTorch生态系统的兼容性。这种前瞻性的改进为处理更复杂的NLP任务奠定了更安全、更稳定的基础。