Langchainrb项目中使用AI兼容服务的嵌入模型问题解析

在Langchainrb项目中，开发者经常会遇到需要调用各种兼容AI API的服务进行文本嵌入操作的情况。本文将从技术角度深入分析这一常见问题及其解决方案。

问题背景

当开发者尝试在Langchainrb项目中配置AI客户端以使用第三方兼容服务（如Together.ai、Ollama等）时，可能会遇到嵌入模型维度获取失败的问题。核心原因在于Langchainrb的AI实现中硬编码了部分模型维度信息，而第三方服务的自定义模型不在预设列表中。

典型错误场景

开发者配置类似以下代码时：

LangchainrbRails.configure do |config|
  config.vectorsearch = Langchain::Vectorsearch::Pgvector.new(
    llm: Langchain::LLM::AI.new(
      api_key: 'ollama',
      llm_options: {uri_base:'http://localhost:11434'},
      default_options: {
        embeddings_model_name: 'chevalblanc/dmeta-embedding-zh:latest'
      }
    )
  )
end

会遇到"key not found"错误，因为系统无法识别自定义模型的默认维度。

技术原理分析

Langchainrb的AI实现中维护了一个EMBEDDING_SIZES哈希表，存储了已知AI模型的输出维度。当遇到未列出的模型时，系统无法确定输出向量长度，导致操作失败。

相比之下，Ollama的实现采用了更灵活的方式：当遇到未知模型时，会执行一次实际的嵌入操作来探测模型输出维度。

解决方案探讨

对于使用AI兼容服务的场景，有以下几种解决方案：

1. 修改Token验证逻辑：移除AI实现中的max token验证，避免因未知模型导致的编码器初始化失败。

2. 采用服务专用客户端：对于特定服务如Ollama，使用其专用客户端而非AI兼容接口。

3. 扩展模型维度表：在项目中扩展EMBEDDING_SIZES表，添加常用第三方模型的维度信息。

最佳实践建议

1. 对于完全兼容AI API的服务，推荐采用第一种方案，修改token验证逻辑以提高兼容性。

2. 对于功能差异较大的服务，应使用其原生客户端实现，如Langchain::LLM::Ollama。

3. 在Rails项目中，可以通过initializer预先配置好常用模型的维度信息。

示例代码

针对Together.ai服务的正确配置方式：

llm = Langchain::LLM::AI.new(
  api_key: 'together_api_key',
  llm_options: {uri_base: 'https://api.together.xyz'},
  default_options: {
    chat_completion_model_name: "Qwen/Qwen1.5-72B",
    embeddings_model_name: "WhereIsAI/UAE-Large-V1"
  }  
)

总结

Langchainrb项目在处理AI兼容服务时，需要特别注意嵌入模型维度的获取机制。理解这一机制后，开发者可以根据实际服务特性选择合适的解决方案，确保文本嵌入功能正常工作。随着兼容AI API的服务越来越多，项目未来的发展方向可能会进一步增强这方面的兼容性处理。