go-stash 使用与安装指南

项目目录结构及介绍

go-stash项目遵循简洁明了的目录结构，以下是其主要组成部分：

.
├── dockerignore          # Docker构建时忽略的文件列表
├── gitattributes         # Git属性配置
├── gitignore             # Git忽略文件配置
├── golangci.yml          # GolangCI-Lint配置文件，用于代码质量检查
├── go.mod                # Go Modules依赖管理文件
├── go.sum                # 记录具体版本的依赖校验文件
├── README.md             # 主要的项目说明文档
├── README-cn.md          # 中文版项目说明文档
└── etc                   # 示例配置文件目录
    └── config.yaml       # 配置样例文件，用于设置Kafka输入和ElasticSearch输出等参数

• dockerignore: 在Docker镜像构建过程中排除不需要的文件或目录。
• gitattributes 和 gitignore: 版本控制相关配置，确保正确的文件被纳入版本管理。
• golangci.yml: 自动化代码质量检查配置。
• go.mod 和 go.sum: Go语言项目依赖管理和对应的依赖校验。
• README.md: 项目的主要介绍和快速入门指南。
• etc/config.yaml: 包含应用的配置细节，是运行go-stash服务的关键。

项目的启动文件介绍

go-stash作为一个单二进制文件的应用，启动主要通过命令行执行。有两种主要方式启动它：

本地编译启动

首先，你需要在项目根目录下编译代码：

cd go-stash
go build
./stash -f etc/config.yaml

这将使用指定的配置文件启动go-stash服务。

使用Docker容器启动

如果你偏好Docker，确保你的工作目录包含了正确的配置文件，然后执行：

docker run -d -v $(pwd)/etc:/app/etc kevinwan/go-stash

这条命令将容器化的go-stash服务与主机上的配置文件挂载，并启动服务。

项目的配置文件介绍

配置文件（以config.yaml为例）是go-stash的核心，它定义了数据流的整个处理链路。以下是一些关键部分的简要说明：

Clusters:
  - Input:
      Kafka:
        # ...
    Output:
      # 配置ElasticSearch输出的信息
Filters:
  # 数据过滤规则，比如基于条件的丢弃或字段移除
Processors:
  # 数据处理步骤，可以包括日志解析、转换等

• Input: 定义数据来源，如Kafka集群的详细配置，包括Broker地址、主题、消费组等。
• Output: 指定数据目标，通常是ElasticSearch的配置，包括连接信息和索引策略等。
• Filters: 过滤逻辑，允许根据特定的规则（如键值匹配）来决定是否保留或修改记录。
• Processors: 处理步骤，对日志内容进行额外操作，如添加元数据、解码等。

确保在实际应用中调整这些配置以符合你的需求。go-stash设计灵活，能够适应多种数据处理场景，但核心在于这份配置文件的精细定制。