OpenTelemetry Collector Elasticsearch 导出器数据流配置指南

背景介绍

在使用 OpenTelemetry Collector 的 Elasticsearch 导出器时，许多开发者会遇到如何正确配置数据流(datastream)的问题。本文将详细介绍如何正确配置数据流，以及常见的配置误区。

数据流配置的正确方式

在 OpenTelemetry Collector 的 Elasticsearch 导出器中，数据流的配置并不是通过直接的 data_stream 配置项来实现的。正确的做法是通过资源属性(resource attributes)来指定数据流的相关参数。

正确配置示例

processors:
  transform/dsrouting:
    log_statements:
      - context: resource
        statements:
          - set(resource.attributes["data_stream.dataset"], "foo")
          - set(resource.attributes["data_stream.namespace"], "bar")

然后在日志处理管道中添加这个转换处理器：

pipelines:
  logs:
    exporters:
    - elasticsearch
    processors:
    - batch
    - transform/dsrouting
    receivers:
    - otlp
    - filelog

常见配置误区

1. 直接使用 data_stream 配置项：这是最常见的错误。Elasticsearch 导出器并不支持直接的 data_stream 配置项。

2. 在数据集名称中使用连字符(-)：虽然 Elasticsearch 最终生成的数据流名称会包含连字符(如 logs-foo-bar)，但在 data_stream.dataset 属性中不应使用连字符。这是为了确保数据流名称可以被正确解析回其组成部分。

数据流命名规范

Elasticsearch 数据流的名称由三部分组成，格式为： {data_stream.type}-{data_stream.dataset}-{data_stream.namespace}

其中：

• type 通常是 "logs"、"metrics" 或 "traces"
• dataset 描述数据的特定来源
• namespace 用于进一步分类数据

最佳实践建议

1. 使用下划线(_)而不是连字符(-)作为数据集名称中的分隔符
2. 保持数据集名称简洁且具有描述性
3. 为不同的应用或环境使用不同的命名空间
4. 在开发环境中测试数据流配置，确保数据按预期路由

通过遵循这些指南，您可以确保 OpenTelemetry Collector 正确地将日志、指标和跟踪数据路由到 Elasticsearch 中的预期数据流。