KITT：将ChatGPT带入WebRTC会议的智能助手

项目介绍

KITT是一款基于ChatGPT的AI助手，它能够在WebRTC会议中实时参与并提供智能交互。通过KITT，用户可以在视频会议中与AI进行对话，AI将根据对话内容提供实时反馈，极大地增强了会议的互动性和效率。

项目技术分析

KITT项目由两个主要服务组成：

1. meet服务：这是一个基于NextJS构建的视频会议应用，实现了典型的视频通话功能。
2. lkgpt-service服务：该服务实现了KITT的核心功能。当会议室创建时，通过Webhook调用lkgpt-service中的处理器，将KITT添加为会议参与者。KITT利用GCP的语音转文字、ChatGPT以及GCP的文字转语音技术，实现了智能对话功能。

项目的技术架构如下图所示：

项目及技术应用场景

KITT的应用场景非常广泛，尤其适合以下几种情况：

• 远程会议：在远程会议中，KITT可以作为虚拟助手，帮助记录会议内容、提供实时翻译或解答与会者的问题。
• 在线教育：在在线教育平台中，KITT可以作为助教，回答学生问题、提供学习建议，甚至进行实时测验。
• 客户支持：在客户支持场景中，KITT可以作为虚拟客服，实时解答客户问题，提供技术支持。

项目特点

• 实时交互：KITT能够在会议中实时参与对话，提供即时的智能反馈。
• 多语言支持：通过GCP的语音转文字和文字转语音技术，KITT能够支持多种语言的交互。
• 易于集成：KITT的设计使其易于集成到现有的WebRTC会议系统中，开发者可以通过简单的配置快速部署。
• 开源免费：KITT是一个开源项目，用户可以免费使用并根据需要进行定制和扩展。

如何开始

前提条件

• 需要Google Cloud账户的GOOGLE_APPLICATION_CREDENTIALS JSON文件。
• OpenAI API密钥。
• LiveKit的API密钥、API秘密和URL。
• Go 1.19+和Node.js环境。

本地运行

1. 运行Meet服务：

   • 在meet/目录下，复制.env.example到.env.local，并填写LiveKit连接详情。
   • 运行以下命令启动服务：

     yarn install && yarn dev
     

2. 运行lkgpt-service服务：

   • 在lkgpt-service/目录下，复制config-sample.yaml到config.yaml，并填写LiveKit连接详情和OpenAI API密钥。
   • 运行以下命令启动服务：

     go run /cmd/server/main.go --config config.yaml --gcp-credentials-path gcp-credentials.json
     

3. 手动启动KITT：

   • 在本地运行时，需要手动调用API启动KITT：

     curl -XPOST http://localhost:3001/join/<room_name>
     

通过以上步骤，您就可以在本地体验KITT带来的智能会议助手功能了。

KITT不仅是一个技术上的创新，更是提升会议效率和互动性的利器。无论您是开发者还是普通用户，KITT都值得您一试。