LiveKit Agents项目中Gemini实时API的Function Call问题分析

问题背景

在LiveKit Agents项目中使用Gemini实时API进行函数调用时，开发人员遇到了一个特殊问题：AI代理有时会输出"tools_output"这样的原始文本，而不是预期的处理结果。这个问题在涉及RAG(检索增强生成)和工具调用的场景中尤为突出，影响了用户体验。

问题现象

开发人员观察到以下典型现象：

1. 代理在函数调用过程中会意外输出"tools_output"等原始文本
2. 问题具有间歇性特征，在某些会话中首次函数调用失败后，后续调用也会持续失败
3. 当首次函数调用成功后，后续调用通常都能正常工作
4. 在输出错误文本后，模型有时仍能正确处理并返回函数调用的实际结果

技术分析

经过深入调查，发现问题涉及多个技术层面：

1. API使用方式问题

最初发现问题可能与使用已弃用的Google GenAI库API有关。旧版代码使用通用的session.send方法，而Google官方文档建议使用更具体的方法如send_client_content、send_realtime_input或send_tool_response。

2. 并发处理问题

进一步分析表明，问题与异步任务调度有关：

• 当函数执行时间较长(3-4秒)时更容易复现
• 存在函数工具执行完成前就生成回复的情况
• 正确的行为应该是只在函数执行完成后才生成工具回复

3. 循环依赖问题

代码中存在一个关键的循环依赖问题：

• AgentActivity尝试导入GoogleRealtimeModel
• 导入路径中存在循环引用，导致GoogleRealtimeModel最终为None
• 这使得系统无法正确识别Google实时模型，导致生成了不必要的工具回复

4. 模型层问题

即使在修复了上述代码问题后，问题仍然存在。通过直接使用Gemini实时API测试，确认问题根源在于Google模型本身的行为：

• 模型有时会直接输出内部数据结构而非处理后的结果
• 这种行为在特定条件下会被触发，特别是在新会话的首次函数调用时

解决方案与建议

虽然根本问题需要Google团队修复模型行为，但开发人员可以采取以下缓解措施：

1. 更新API调用方式： 使用推荐的特定方法替代通用的send方法，确保正确的消息类型被发送

2. 完善错误处理： 在客户端添加对"tools_output"等意外输出的检测和过滤

3. 会话管理策略： 对于关键应用，可以在检测到首次函数调用失败时主动重建会话

4. 超时和重试机制： 为函数调用添加适当的超时和重试逻辑，减少因延迟导致的问题

总结

这个问题展示了在复杂AI系统中集成不同组件时可能遇到的挑战。虽然表面上是简单的输出问题，但实际上涉及API使用规范、异步编程模型、模块依赖管理和底层模型行为等多个方面。对于开发者而言，理解这些层次关系对于构建稳定的AI应用至关重要。

目前建议开发者关注Google GenAI库的更新，同时在自己的应用中添加适当的容错机制，直到模型层的问题得到彻底解决。