OpenLLMetry 教程：基于OpenTelemetry的LLM应用程序观测性增强

1. 项目介绍

OpenLLMetry 是一个建立在OpenTelemetry之上的扩展库，专门用于提供对你的LLM（大型语言模型）应用程序的完整观测能力。它能够无缝连接到现有的观测性解决方案，如Datadog、Honeycomb等。该项目由Traceloop团队开发并维护，采用Apache 2.0许可证。OpenLLMetry包括针对LLM提供商和向量数据库的标准OpenTelemetry仪器，以及一个Traceloop SDK，让初学者也能轻松上手，同时保持标准的OpenTelemetry数据输出，以适应你的观测性堆栈。

2. 项目快速启动

要开始使用OpenLLMetry，首先需要安装SDK：

pip install traceloop-sdk

然后，在你的代码中引入以下行来初始化追踪：

from traceloop.sdk import Traceloop
Traceloop.init()

若要在本地测试时立即查看追踪数据，可以禁用批次发送：

Traceloop.init(disable_batch=True)

3. 应用案例和最佳实践

• 使用OpenLLMetry可以追踪DB API调用，同时还提供了针对OpenAI、Anthropic等LLM供应商以及Chroma、Pinecone等向量数据库的自定义扩展。
• 最佳实践建议你将OpenLLMetry集成到你的日志管理、性能监控和错误追踪系统中，以便于全面了解应用程序的状态。
• 对于多服务的LLM应用程序，确保为每个服务都启用追踪，并设置适当的采样率以平衡资源消耗和可观测性需求。

4. 典型生态项目

OpenLLMetry可与多个观测性工具兼容，包括但不限于：

• Traceloop
• Dynatrace
• Datadog
• New Relic
• Honeycomb
• Grafana Tempo
• HyperDX
• SigNoz
• Splunk
• OpenTelemetry Collector
• IBM Instana

在官方文档中，你可以找到关于如何与这些工具连接的具体说明。

请注意，OpenLLMetry还在不断演进中，社区和开发者可以通过参与Slack讨论、GitHub议题或提交Pull Request等方式，共同推动项目的进步。