ai-interview-platform语音面试完全指南:AI如何用ASR与TTS实时主持面试问答
ai-interview-platform语音面试完全指南:AI如何用ASR与TTS实时主持面试问答
ai-interview-platform(聆悟)是一款开源 AI 面试平台:你用自然语言描述岗位,它自动生成面试题与评分标准,候选人打开链接即可由 AI 主持一场语音面试。本文带你完整看懂它的语音面试能力——AI 面试官如何通过 ASR(语音识别) 实时听懂你的回答,由 LLM 决策追问,再用 TTS(语音合成) 把问题读回给你,全程像打电话一样自然。
语音面试链路一图看懂:浏览器、语音中继与大模型
ai-interview-platform 把语音能力拆成一个独立的 Voice Relay(语音中继) 服务,与 Web 主进程解耦。一次完整的语音问答链路如下:
| 步骤 | 环节 | 做了什么 |
|---|---|---|
| 1️⃣ | 麦克风采集 | 浏览器把麦克风声音录成 16kHz PCM 音频流 |
| 2️⃣ | WebSocket 中继 | 音频经 WebSocket 发送到语音中继服务 |
| 3️⃣ | ASR 流式识别 | 豆包流式语音识别 2.0 把语音实时转成文字,检测"你停顿了" |
| 4️⃣ | LLM 决策 | 大模型理解回答内容,决定是追问、点评还是进入下一题 |
| 5️⃣ | TTS 流式合成 | SeedTTS 2.0 把回复文字合成为语音,分块流式回传 |
| 6️⃣ | 低延迟播放 | 浏览器用 AudioContext + 抖动缓冲播放,你随时开口可打断 AI |
💡 打断能力(Barge-in):你一旦开口说话,ASR 的活动会立刻取消还没播完的 TTS 音频,所以 AI"听你说话时会自动闭嘴",这是语音面试像真实对话的关键。
核心实现分别在:
- 语音中继主流程:server/voice-relay.ts
- 豆包流式 ASR 协议封装:server/volcengine-asr.ts
- 豆包 SeedTTS 流式合成:server/volcengine-tts.ts
- 中继 LLM 调用(默认 Gemini,可换 Kimi / MiniMax):server/relay-llm.ts
- 浏览器端语音 Hook:src/hooks/use-voice.ts
快速上手:最快跑通第一次语音面试
一键克隆与配置
仓库地址:https://gitcode.com/gh_mirrors/ai/ai-interview-platform
git clone https://gitcode.com/gh_mirrors/ai/ai-interview-platform
cd ai-interview-platform
cp .env.example .env.local
在 .env.local 中至少配置三类变量:
| 变量 | 用途 |
|---|---|
NEXT_PUBLIC_SUPABASE_URL / NEXT_PUBLIC_SUPABASE_ANON_KEY |
Supabase 项目(认证与数据库) |
OPENAI_API_KEY(或其他 LLM Key) |
驱动面试题生成与报告 |
DOUBAO_APP_ID / DOUBAO_ACCESS_TOKEN / DOUBAO_ASR_API_KEY |
语音面试必备,豆包 ASR/TTS 凭证 |
Docker 两条命令启动
pnpm install
pnpm run docker:full
启动后得到两个服务:Web 界面在 http://localhost:4010,语音中继 WebSocket 在 ws://localhost:4011。建议同时在 .env.local 中写明:
NEXT_PUBLIC_APP_URL=http://localhost:4010
NEXT_PUBLIC_VOICE_RELAY_URL=ws://localhost:4011
本地开发模式则用 pnpm run dev:stack,Web 跑 3000 端口、语音中继跑 8766 端口。生产部署(Nginx 反代、镜像导出)可参考 deploy/README.md,Compose 编排见 docker-compose.yaml。
面试进行中:AI 面试官的实时问答机制
ASR:把你的声音实时变成文字
候选人开口后,中继服务持续接收音频并转发给豆包流式 ASR。这里有两个对体验至关重要的细节:
- 端点检测(endpointing):当你的停顿超过静音窗口(默认约 2 秒,可用
DOUBAO_ASR_END_WINDOW_MS调节),系统判定"这句话说完了",立刻触发下一环节,无需你按任何按钮。 - 中间结果合并:ASR 会先吐出"半句话"的临时结果,中继用 src/lib/voice/asr-interim.ts 等模块合并去重,保证转录面板稳定、不闪烁。
LLM 大脑:决定追问还是进入下一题
每道题的上下文(问题原文 + 你的历史回答摘要)会交给 LLM 生成回复。中继内置了"追问预算"机制:回答信息量足够就点评并进入下一题,回答太浅就自动追问细节;每道题结束前还会做一次上下文摘要,把要点带入下一题,保证长面试不失忆。这套提示词集中在 server/voice-relay-prompts.ts。
TTS:把回答"说"给你听
LLM 生成的文字通过豆包 SeedTTS 2.0 以 HTTP 分块流式合成语音,第一个音频块到达就开始播放,不用等整段合成完;浏览器端再由 src/lib/voice/playback-jitter-buffer.ts 做抖动缓冲,避免卡顿。面试界面底部还有 Mute、Chat、上一题/下一题、End 等控制条,可随时在语音与打字之间切换。
候选人视角:从打开链接到拿到报告
三步进入语音面试
候选人打开面试链接后依次完成:填写姓名邮箱 → 检查清单(摄像头、麦克风测试、屏幕共享授权)→ 点击开始。官方内置的候选人指南写在 src/content/docs/zh/taking-an-interview.tsx,其中专门提示:吐字清晰、稍作停顿再答、选择安静环境,ASR 转录效果会更好。
结束后自动生成分析报告
面试结束(候选人点 End 或完成全部题目)后,平台按评分标准逐题打分,输出包含总分、Summary、逐题评价(如 Tone & Communication 维度的 Confidence/High 标签)的会话报告,支持导出 PDF。
求职者也可以不约面试、直接进入练习模式:语音作答后 AI 教练即时打分,给出"做对了什么 / 下次改进什么"的反馈和基于简历的建议答案,适合反复打磨表达。
常见问题排查清单
| 现象 | 排查方法 |
|---|---|
| 语音面试 WebSocket 连接失败 | 确认 lingwu-voice-relay 容器在运行;Docker 用 4011,本地 dev 用 8766,且 NEXT_PUBLIC_VOICE_RELAY_URL 与之匹配 |
| 有声音但没有 AI 回应 | 检查 DOUBAO_* 凭证是否齐全;DOUBAO_ASR_RESOURCE_ID 要填 API 资源 ID(如 volc.seedasr.sauc.duration),不能填控制台实例名 |
| AI 说话卡顿 | 查看网络到语音合成服务的延迟;浏览器建议使用 Chrome |
| 登录后没有数据 | DATABASE_URL 需使用 Supabase Session pooler 连接串,并应用 supabase/migrations/ 中的迁移 |
更多细节可查阅 src/content/docs/zh/troubleshooting.tsx。
关键源码目录索引 📌
| 模块 | 路径 |
|---|---|
| 语音中继(ASR/TTS/LLM 调度) | server/ |
| 浏览器语音状态管理 | src/hooks/use-voice.ts |
| 语音工具库(抖动缓冲、转录提交、中继路由) | src/lib/voice/ |
| 语音面试 UI | src/components/session/voice-interface.tsx |
| 候选人会话页面 | src/app/i/ |
| 语音会话元数据接口 | src/app/api/voice/token/route.ts |
| 录音保存逻辑 | src/app/api/voice/save/logic.ts |
| 中继相关单元测试 | tests/voice-relay-helpers.test.ts、tests/volcengine-asr.test.ts、tests/volcengine-tts.test.ts |
小结
ai-interview-platform 的语音面试,本质是把 ASR(听)→ LLM(想)→ TTS(说) 三个环节用 WebSocket 串成一条低延迟流水线,再加上端点检测、打断与追问预算这些"对话细节",才让 AI 面试官听起来像一个真人在打电话。它开箱即用、可自托管、数据与密钥自己掌控——无论是企业批量初筛,还是个人练习口述表达,都值得动手跑一遍体验。





