Logstash-input-mongodb 开源项目启动与配置教程

1. 项目的目录结构及介绍

logstash-input-mongodb 项目是一个用于Logstash的插件，它允许从MongoDB数据库中读取数据。项目的目录结构如下：

logstash-input-mongodb/
├──Gemfile             # 项目依赖文件
├──Gemfile.lock        # 项目依赖锁定文件
├──lib/                # 包含插件核心代码的目录
│   ├──logstash/       # Logstash 插件代码目录
│   │   └──inputs/     # 输入插件目录
│   │       └──mongodb # MongoDB 输入插件具体实现
│   │           └──mongodb.rb # MongoDB 输入插件的 Ruby 代码文件
├──spec/               # 测试代码目录
│   ├──logstash/       # Logstash 插件测试目录
│   │   └──inputs/     # 输入插件测试目录
│   │       └──mongodb # MongoDB 输入插件测试
│   │           └──mongodb_spec.rb # MongoDB 输入插件的测试文件
├──test/               # 额外的测试代码或脚本
├──bin/                # 可执行脚本目录（如果有）
├── CONTRIBUTORS       # 贡献者名单
├── LICENSE            # 项目许可证文件
├── README.md          # 项目说明文件
└── Rakefile           # Rake 任务配置文件

2. 项目的启动文件介绍

logstash-input-mongodb 插件的启动主要是通过在Logstash配置文件中引用该插件。以下是启动该插件的基本步骤：

1. 确保已经安装了Logstash。
2. 将MongoDB输入插件添加到Logstash的插件路径下。
3. 创建或编辑Logstash的配置文件（通常是 /etc/logstash/conf.d/ 目录下的一个 .conf 文件），添加以下配置：

input {
  mongodb {
    # MongoDB服务器地址
    hosts => ["localhost:27017"]
    # 数据库名称
    database => "your_database"
    # 集合名称
    collection => "your_collection"
    # MongoDB认证信息（如果有）
    user => "your_user"
    password => "your_password"
    # 其他必要的配置项
  }
}

4. 启动Logstash服务。

3. 项目的配置文件介绍

logstash-input-mongodb 插件的配置文件主要用于设置连接MongoDB的参数和数据处理的细节。以下是一些常见的配置项：

• hosts: MongoDB服务器的地址和端口，可以是单个地址或地址列表。
• database: 要读取的MongoDB数据库名称。
• collection: 要读取的MongoDB集合名称。
• user 和 password: 连接MongoDB时使用的认证信息。
• query: 用于过滤集合中文档的查询条件。
• last_run_metadata_path: 存储上次运行状态的文件路径，用于增量读取。
• batch_size: 每次从MongoDB读取的文档数量。
• sincedb_path: 用于记录读取进度的时间戳文件路径。

以下是配置文件的一个示例：

input {
  mongodb {
    hosts => ["localhost:27017"]
    database => "your_database"
    collection => "your_collection"
    user => "your_user"
    password => "your_password"
    query => {"status" => "active"}
    last_run_metadata_path => "/path/to/your/metadata"
    batch_size => 100
    sincedb_path => "/path/to/your/sincedb"
  }
}

确保根据实际情况调整配置项，以适应不同的使用场景和数据需求。