MemoryPack中可空字段序列化的空间优化方案

背景介绍

MemoryPack是一个高效的.NET序列化库，但在处理可空值类型时，序列化后的数据大小可能会比预期要大。这是由于.NET运行时对内存对齐的要求导致的额外填充字节。

问题分析

当我们将一个值类型（如long）改为可空类型（long?）时，理论上只需要增加1个字节来表示null状态。但实际上，由于内存对齐要求，可能会增加更多填充字节。例如，一个long?字段在序列化时可能会额外增加7个字节的填充，导致总大小从8字节增加到16字节（1字节标记+7字节填充+8字节数据）。

解决方案

1. 自定义格式化器

MemoryPack允许通过自定义格式化器来优化特定类型的序列化方式。我们可以创建一个CompactNullableFormatter来更紧凑地处理可空值类型：

public sealed class CompactNullableFormatter<T> : MemoryPackCustomFormatterAttribute<T?>
    where T : struct
{
    static IMemoryPackFormatter<T?> formatter = new Formatter();

    public override IMemoryPackFormatter<T?> GetFormatter()
    {
        return formatter;
    }

    sealed class Formatter : IMemoryPackFormatter<T?>
    {
        public void Serialize<TBufferWriter>(ref MemoryPackWriter<TBufferWriter> writer, scoped ref T? value) 
            where TBufferWriter : IBufferWriter<byte>
        {
            if (value.HasValue)
            {
                writer.WriteObjectHeader(1);
                writer.WriteValue(value.Value);
            }
            else
            {
                writer.WriteNullObjectHeader();
            }
        }

        public void Deserialize(ref MemoryPackReader reader, scoped ref T? value)
        {
            if (reader.TryReadObjectHeader(out var _))
            {
                value = reader.ReadValue<T>();
            }
            else
            {
                value = null;
            }
        }
    }
}

使用时只需在属性上添加注解：

[CompactNullableFormatter<long>]
public long? Field2 { get; set; }

2. 包装类方案

如果自定义格式化器与TypeScript生成有冲突，可以采用包装类的方式：

[MemoryPackable]
[GenerateTypeScript]
public partial class WrapLong
{
    public long Value;

    public static implicit operator WrapLong(long value)
    {
        return new WrapLong { Value = value };
    }

    public static implicit operator long(WrapLong data)
    {
        return data.Value;
    }
}

这种方案通过隐式转换保持了代码的简洁性，同时避免了可空类型带来的额外开销。

性能考量

1. 空间效率：包装类方案通常比可空类型更节省空间，因为它不需要额外的标记字节和填充
2. 代码可读性：隐式转换操作符保持了代码的直观性
3. 兼容性：包装类方案与TypeScript生成兼容性更好

最佳实践建议

1. 对于高频传输的小型数据结构，优先考虑包装类方案
2. 当需要严格保持原始类型语义时，使用自定义格式化器
3. 在性能关键路径上，建议进行基准测试以选择最适合的方案

通过以上优化方案，开发者可以在保持类型语义的同时，有效减少序列化后的数据大小，特别适合网络传输等对数据大小敏感的场景。