OpenTelemetry .NET日志属性脱敏处理实践

背景介绍

在分布式系统开发中，日志记录是必不可少的功能。OpenTelemetry作为新一代的观测框架，提供了强大的日志收集和处理能力。本文将介绍如何在OpenTelemetry .NET中实现日志属性的脱敏处理，确保敏感信息不会意外泄露。

问题场景

在使用OpenTelemetry .NET SDK记录日志时，我们经常需要处理包含敏感信息的日志属性。例如，用户个人信息、支付金额、API密钥等都不应该以明文形式出现在日志中。OpenTelemetry提供了处理器(Processor)机制，允许我们对日志记录进行自定义处理。

解决方案

1. 创建自定义处理器

OpenTelemetry允许我们通过继承BaseProcessor<LogRecord>类来创建自定义日志处理器。下面是一个实现日志属性脱敏的处理器示例：

internal sealed class MyRedactionProcessor : BaseProcessor<LogRecord>
{
    public override void OnEnd(LogRecord logRecord)
    {
        if (logRecord.Attributes != null)
        {
            logRecord.Attributes = new RedactedAttributes(logRecord.Attributes);
        }
    }

    private sealed class RedactedAttributes : IReadOnlyList<KeyValuePair<string, object>>
    {
        private readonly IReadOnlyList<KeyValuePair<string, object>> _original;

        public RedactedAttributes(IReadOnlyList<KeyValuePair<string, object>> original)
        {
            _original = original;
        }

        public int Count => _original.Count;

        public KeyValuePair<string, object> this[int index]
        {
            get
            {
                var item = _original[index];
                return new KeyValuePair<string, object>(
                    item.Key, 
                    ShouldRedact(item.Key) ? "[REDACTED]" : item.Value);
            }
        }

        private bool ShouldRedact(string key)
        {
            // 这里可以定义需要脱敏的字段名规则
            return key.Contains("password") || key.Contains("token");
        }

        // 实现IEnumerator接口...
    }
}

2. 正确配置处理器顺序

一个常见的错误是将处理器添加到导出器之后。处理器必须在导出器之前添加，否则脱敏处理不会生效：

var loggerFactory = LoggerFactory.Create(builder =>
{
    builder.AddOpenTelemetry(logging =>
    {
        // 正确的顺序：先添加处理器，再添加导出器
        logging.AddProcessor(new MyRedactionProcessor())
               .AddConsoleExporter();
    });
});

3. 处理器执行时机

OpenTelemetry处理器有两个重要的生命周期方法：

• OnStart：在日志记录开始时调用
• OnEnd：在日志记录完成时调用

对于属性脱敏场景，我们通常在OnEnd方法中进行处理，因为此时所有日志属性已经收集完成。

高级技巧

1. 选择性脱敏

可以根据属性名称或值的内容决定是否脱敏：

private bool ShouldRedact(KeyValuePair<string, object> item)
{
    // 按字段名脱敏
    var sensitiveKeys = new[] {"password", "creditcard", "ssn"};
    if (sensitiveKeys.Any(k => item.Key.Contains(k, StringComparison.OrdinalIgnoreCase)))
    {
        return true;
    }

    // 按值模式脱敏（如信用卡号模式）
    if (item.Value is string value && Regex.IsMatch(value, @"\d{4}-\d{4}-\d{4}-\d{4}"))
    {
        return true;
    }

    return false;
}

2. 部分脱敏

对于某些字段，我们可能只需要脱敏部分内容：

private object RedactValue(object value)
{
    if (value is string str)
    {
        if (str.Length > 4)
        {
            return str.Substring(0, 2) + "****" + str.Substring(str.Length - 2);
        }
        return "****";
    }
    return "[REDACTED]";
}

性能考虑

在处理大量日志时，脱敏操作可能会影响性能。以下是一些优化建议：

1. 使用快速字符串匹配算法检查字段名
2. 对于确定不需要脱敏的字段提前返回
3. 考虑使用对象池减少内存分配
4. 对于高性能场景，可以预编译正则表达式

总结

OpenTelemetry .NET提供了灵活的处理器机制来实现日志属性的脱敏处理。关键点包括：

1. 正确实现BaseProcessor<LogRecord>的子类
2. 确保处理器在导出器之前添加
3. 在OnEnd方法中进行属性处理
4. 根据业务需求实现精细化的脱敏策略

通过合理的脱敏处理，我们可以在保留日志有用信息的同时，有效保护敏感数据安全。