BotSharp项目r5.0-mcp版本发布：多模态对话与电话集成能力升级

BotSharp是一个基于.NET平台构建的开源对话AI框架，它提供了完整的自然语言处理(NLP)和对话管理功能，使开发者能够快速构建和部署智能对话系统。该项目采用模块化设计，支持多种AI模型集成，特别适合企业级对话机器人应用的开发。

近日，BotSharp发布了重要的r5.0-mcp版本，这个版本带来了多项关键改进，特别是在电话集成和多模态对话处理方面有显著增强。下面我们将详细解析这个版本的主要技术特性和改进。

电话系统集成能力增强

r5.0-mcp版本对Twilio电话系统的集成进行了全面升级。新增了电话转接功能(util-twilio-transfer_phone_call)，使对话机器人能够在必要时将通话转接给人工客服或其他分机。同时加入了语音信箱功能(util-twilio-leave_voicemail)，当用户无法接听时，系统可以自动记录留言。

电话系统的改进还包括：

• 通话状态管理优化(OnCallBusyStatus)，能够更准确地处理各种通话状态
• 实时语音转写功能(Twilio realtime transcribe)，实现通话内容的实时文字转换
• 通话结束音频提示(Hang up phone with audio)，提升用户体验
• 消息ID追踪(SetMessageId)，便于调试和日志分析

多模态对话处理协议(MCP)支持

这个版本引入了Model Context Protocol(MCP)服务，这是一个重要的架构升级。MCP为BotSharp提供了统一的多模态上下文处理能力，使得系统能够更好地处理包含文本、语音、图像等多种形式输入的复杂对话场景。

MCP的主要特点包括：

• 支持多轮对话状态的持久化(Append dialogs into model context)
• 提供0.1.0-preview.5版本的协议实现
• 优化了对话上下文的传递机制
• 增强了模型响应的超时处理(Model response timeout)

Web自动化功能改进

WebDriver相关功能在这个版本中得到了多项增强，使BotSharp能够更好地处理基于Web的自动化任务：

• 支持多任务并行处理(handle mutiple tasks per agent)
• 新增文件上传和下拉选择支持(handle fileupload and dropdown selection)
• 优化了元素定位策略(add read content to locate element utility)
• 改进了超时处理机制(Update default timeout)
• 实现了Web浏览设置的Singleton模式管理

模型与功能优化

在AI模型支持方面，r5.0-mcp版本新增了对Gemini文本嵌入模型的支持，扩展了模型选择范围。同时进行了多项功能优化：

• 改进了实时模型与v1/chat/completions端点的兼容性
• 增强了指令日志记录机制(refine instruction log settings)
• 增加了LLM成本追踪功能(add additional llm cost)
• 优化了函数调用参数描述(update function param desc)
• 引入了音频合成接口(IAudioSynthesis)

错误修复与稳定性提升

这个版本还包含多项错误修复和稳定性改进：

• 修复了实时对话中conversationId为空的问题
• 解决了pizza演示项目中的若干问题
• 修正了Gemini模型函数调用的兼容性问题
• 优化了JSON数据处理流程
• 改进了路由日志记录(Add route_to_agent log)

总结

BotSharp r5.0-mcp版本标志着该项目在电话系统集成和多模态对话处理方面迈出了重要一步。通过引入MCP协议和增强Twilio集成，开发者现在能够构建更加复杂和实用的对话应用场景。Web自动化功能的改进也为构建能够操作网页的智能助手提供了更好的支持。

这个版本的发布使BotSharp在企业级对话系统开发领域更具竞争力，特别是对于那些需要集成电话系统和处理多模态输入的应用场景。随着项目的持续发展，我们可以期待看到更多创新功能的加入和现有功能的进一步优化。