Logster 技术文档

1. 安装指南

Logster 是一个读取日志文件并生成度量的工具，可以将这些度量输出到可配置的目标。以下是安装 Logster 的步骤：

1.1 安装依赖

Logster 支持两种方式来获取日志文件数据：

1. 默认情况下，Logster 使用 logtail 工具，可以从 Debian 包管理器或源代码中获得：

   http://packages.debian.org/source/sid/logcheck
   

   RPM 包可以在以下地址找到：

   http://rpmfind.net/linux/rpm2html/search.php?query=logcheck
   

2. 可选地，Logster 可以使用 Pygtail Python 模块代替 logtail。可以使用 pip 安装 Pygtail：

   $ pip install pygtail
   

   要使用 Pygtail，请在 Logster 命令行上提供 --tailer=pygtail 选项。

Logster 还支持两种文件锁定方法：

1. 默认情况下，Logster 使用 fcntl.flock。

2. 可选地，Logster 可以使用 Portalocker Python 模块代替 fcntl（在 Windows 上不可用）。可以使用 pip 安装 Portalocker，与 Pygtail 类似。

   要使用 Portalocker，请在 Logster 命令行上提供 --locker=portalocker 选项。

1.2 安装 Logster

在安装 logtail 或 Pygtail 后，使用 setup.py 文件安装 Logster：

```
$ sudo python setup.py install
```

2. 项目使用说明

2.1 命令行使用

您可以使用命令行测试 Logster。--dry-run 选项允许您在 stdout 上查看生成的度量，而不是发送到配置的输出。

```
$ sudo /usr/bin/logster --dry-run --output=ganglia SampleLogster /var/log/httpd/access_log
```

```
$ sudo /usr/bin/logster --dry-run --output=graphite --graphite-host=graphite.example.com:2003 SampleLogster /var/log/httpd/access_log
```

您可以使用提供的解析器，或者通过传递完整的模块和解析器名称使用自己的解析器。在这种情况下，解析器的名称不需要与模块的名称匹配（可以有名为 logster.py 的文件和 MyCustomParser 解析器）。确保该模块在您的 Python 路径中 - 例如通过虚拟环境。

```
$ /env/my_org/bin/logster --dry-run --output=stdout my_org_package.logster.MyCustomParser /var/log/my_custom_log
```

更多使用细节可以通过 -h 选项查看：

```
$ logster -h
```

3. 项目 API 使用文档

Logster 的 API 使用主要依赖于命令行参数。以下是主要的命令行参数及其说明：

• -h, --help: 显示帮助信息并退出。
• -t TAILER, --tailer=TAILER: 指定使用的尾随器。选项为 logtail 和 pygtail。默认为 logtail。
• --logtail=LOGTAIL: 指定 logtail 的位置。默认为 /usr/sbin/logtail2。
• -p METRIC_PREFIX, --metric-prefix=METRIC_PREFIX: 为所有发布的度量添加前缀。
• -x METRIC_SUFFIX, --metric-suffix=METRIC_SUFFIX: 为所有发布的度量添加后缀。
• --parser-help: 打印所选解析器的使用和选项。
• --parser-options=PARSER_OPTIONS: 传递给 Logster 解析器的选项。这些是解析器特定的，并直接传递给解析器。
• -s STATE_DIR, --state-dir=STATE_DIR: 尾随器状态文件的存储位置。默认位置为 /var/run。
• -l LOG_DIR, --log-dir=LOG_DIR: Logster 日志文件的存储位置。默认位置为 /var/log/logster。
• --log-conf=LOG_CONF: 日志配置文件。默认情况下不使用任何配置文件。
• -o OUTPUT, --output=OUTPUT: 将度量发送到何处（可以多次指定）。选择包括 statsd、stdout、cloudwatch、graphite、ganglia、nsca 或完全限定的 Python 类名。
• -d, --dry-run: 解析日志文件但将统计信息发送到标准输出。
• -D, --debug: 提供更详细的日志记录以进行调试。

4. 项目安装方式

Logster 的安装方式已在“安装指南”部分详细说明，以下是简要步骤：

1. 安装依赖（logtail 或 Pygtail）。

2. 使用 pip 安装 Logster：

   $ sudo python setup.py install