AssetRipper项目中的中文路径长度限制问题分析与解决方案

问题背景

在AssetRipper项目中，当用户尝试导出包含中文长路径名的游戏资源时，系统会抛出PathTooLongException异常。这个问题在导出Nine Sols游戏资源时尤为明显，因为该游戏使用了大量中文字符作为资源名称。

技术分析

根本原因

问题的核心在于不同编码方式对字符长度的计算差异。在.NET环境中：

1. string.Length属性返回的是UTF-16编码下的字符数量
2. 文件系统限制的是UTF-8编码下的字节长度
3. 中文字符在UTF-8中通常占用3个字节，而在UTF-16中占用2个字节

验证实验

通过编写测试代码可以清楚地看到这种差异：

void Check(string c) {
    int clen8 = Encoding.UTF8.GetByteCount(c);
    int clen16 = Encoding.Unicode.GetByteCount(c);

    for (int i = 1; i < 600; i++) {
        string test = string.Concat(Enumerable.Repeat(c, i));
        string testfull = Path.Join("/tmp", test);

        try {
            FileStream f = File.Create(testfull);
        } catch (PathTooLongException) {
            Console.WriteLine($"Too long: {c} (length {c.Length} utf8 {clen8} utf16 {clen16}) times {i}, maximum {i - 1}");
            Console.WriteLine($"Too long utf8:  {Encoding.UTF8.GetByteCount(test)}");
            Console.WriteLine($"Too long utf16: {Encoding.Unicode.GetByteCount(test)}");
            Console.WriteLine($"Too long length: {test.Length}");
            break;
        }
    }
}

Check("a");    // ASCII字符
Check("這");   // 中文字符
Check("⚗️");  // 表情符号

测试结果显示：

• ASCII字符"a"在UTF-8和UTF-16中分别占用1和2字节，最多允许255个字符
• 中文字符"這"在UTF-8中占3字节，UTF-16中占2字节，最多允许85个字符
• 表情符号"⚗️"在UTF-8中占6字节，UTF-16中占4字节，最多允许42个字符

解决方案

最佳实践

1. 使用UTF-8字节计数：在检查路径长度时，应该使用Encoding.UTF8.GetByteCount()方法而不是简单的string.Length
2. 路径长度限制：确保路径的UTF-8编码字节数不超过系统限制（通常为255字节）

代码实现建议

修改AssetRipper中的路径长度检查逻辑：

public static string FixName(string name)
{
    // 先进行原始清理
    name = name.ToValidFileName();
    
    // 检查UTF-8字节长度
    int byteCount = Encoding.UTF8.GetByteCount(name);
    if(byteCount > MaxPathLength)
    {
        // 按比例缩减名称长度
        int maxChars = (int)(name.Length * (MaxPathLength / (double)byteCount));
        name = name.Substring(0, Math.Max(1, maxChars));
    }
    
    return name;
}

额外考虑

1. 多语言支持：不仅中文，其他非ASCII字符（如日文、韩文、表情符号等）也需要同样处理
2. 路径组件限制：不仅总路径长度，单个路径组件的长度也需要限制
3. 错误处理：当名称被截断时，可以考虑添加后缀（如"_1"）以避免冲突

总结

AssetRipper在处理包含非ASCII字符的路径时，需要特别注意编码方式带来的长度计算差异。通过使用UTF-8字节计数而非简单的字符计数，可以更准确地判断路径长度是否超出系统限制，从而避免PathTooLongException异常的发生。这一改进将显著提升工具在国际化环境下的稳定性和可用性。