OpenTelemetry Collector Contrib 中 Azure CDN 访问日志的优化处理方案

在 OpenTelemetry Collector Contrib 项目中，针对 Azure CDN 访问日志（AzureCdnAccessLog）的处理方式存在一个重要的优化点。本文将深入分析当前实现的问题，并提出一个结构化的解决方案。

背景与现状

当前系统中，Azure CDN 访问日志的所有属性都被封装在日志记录的 body 字段中。这种处理方式存在一个明显的局限性：当这些属性作为 body 的一部分时，无法直接通过这些属性进行日志查询和过滤。这严重影响了日志分析的有效性和灵活性。

问题分析

以一个典型的 Azure CDN 访问日志为例，我们可以看到它包含了丰富的网络请求信息：

• HTTP 方法、版本和状态码
• 请求和响应大小
• 客户端和服务端信息
• 网络协议和安全信息
• CDN 缓存状态等

这些信息如果能够作为独立的日志记录属性（attributes）而不是嵌套在 body 中，将极大提升日志查询和分析的能力。

解决方案设计

我们提出将日志中的属性提取并映射为标准化的 OpenTelemetry 语义约定属性。具体映射方案如下：

网络相关属性

• httpMethod → http.request.method
• httpVersion → network.protocol.version
• requestUri → url.original（并进一步解析为 scheme、fragment、query 等子属性）
• requestBytes → http.request.size
• responseBytes → http.response.size

客户端信息

• clientIp → client.address
• clientPort → client.port
• userAgent → user_agent.original

安全相关

• securityProtocol → tls.protocol.name 和 tls.protocol.version
• sni → tls.server.name

CDN 特定属性

• pop → azure.pop
• cacheStatus → azure.cache_status
• trackingReference → azure.ref

性能指标

• timeToFirstByte → azure.time_to_first_byte
• timeTaken → duration

实现效果

经过这种转换后，一个原本嵌套在 body 中的复杂日志记录将被展开为结构化的属性集合。例如：

• 原本的 HTTPS 请求协议会被映射为 network.protocol.name
• 客户端 IP 和端口会被分别映射为 client.address 和 client.port
• TLS 协议信息会被正确解析为 tls.protocol.* 系列属性

这种转换不仅使日志更易于查询，还使其更符合 OpenTelemetry 的语义约定，提高了与其他观测数据的互操作性。

技术优势

1. 查询效率提升：属性化的字段可以直接用于过滤和聚合查询，无需解析复杂嵌套结构
2. 标准化：采用 OpenTelemetry 标准语义约定，确保与其他观测数据的兼容性
3. 扩展性：清晰的映射规则便于后续添加新的字段或调整现有映射
4. 去冗余：消除了重复信息（如 ErrorInfo 和 errorInfo），简化了数据结构

实施建议

对于已经使用 Elastic ingest pipelines 进行类似处理的用户，这种上游解决方案可以：

• 消除额外的处理步骤
• 减少数据处理延迟
• 降低系统复杂度
• 提高处理效率

这一改进将作为 Azure 资源日志处理功能的一部分，为使用 Azure CDN 服务的用户提供更优质的观测数据体验。