ai-interview-platform语音面试完全指南:AI如何用ASR与TTS实时主持面试问答

原创2026-10-24 22:51:181,946 阅读

ai-interview-platform语音面试完全指南:AI如何用ASR与TTS实时主持面试问答

ai-interview-platform(聆悟)是一款开源 AI 面试平台:你用自然语言描述岗位,它自动生成面试题与评分标准,候选人打开链接即可由 AI 主持一场语音面试。本文带你完整看懂它的语音面试能力——AI 面试官如何通过 ASR(语音识别) 实时听懂你的回答,由 LLM 决策追问,再用 TTS(语音合成) 把问题读回给你,全程像打电话一样自然。

语音面试链路一图看懂:浏览器、语音中继与大模型

ai-interview-platform 把语音能力拆成一个独立的 Voice Relay(语音中继) 服务,与 Web 主进程解耦。一次完整的语音问答链路如下:

步骤 环节 做了什么
1️⃣ 麦克风采集 浏览器把麦克风声音录成 16kHz PCM 音频流
2️⃣ WebSocket 中继 音频经 WebSocket 发送到语音中继服务
3️⃣ ASR 流式识别 豆包流式语音识别 2.0 把语音实时转成文字,检测"你停顿了"
4️⃣ LLM 决策 大模型理解回答内容,决定是追问、点评还是进入下一题
5️⃣ TTS 流式合成 SeedTTS 2.0 把回复文字合成为语音,分块流式回传
6️⃣ 低延迟播放 浏览器用 AudioContext + 抖动缓冲播放,你随时开口可打断 AI

💡 打断能力(Barge-in):你一旦开口说话,ASR 的活动会立刻取消还没播完的 TTS 音频,所以 AI"听你说话时会自动闭嘴",这是语音面试像真实对话的关键。

核心实现分别在:

快速上手:最快跑通第一次语音面试

一键克隆与配置

仓库地址:https://gitcode.com/gh_mirrors/ai/ai-interview-platform

git clone https://gitcode.com/gh_mirrors/ai/ai-interview-platform
cd ai-interview-platform
cp .env.example .env.local

在 .env.local 中至少配置三类变量:

变量 用途
NEXT_PUBLIC_SUPABASE_URL / NEXT_PUBLIC_SUPABASE_ANON_KEY Supabase 项目(认证与数据库)
OPENAI_API_KEY(或其他 LLM Key) 驱动面试题生成与报告
DOUBAO_APP_ID / DOUBAO_ACCESS_TOKEN / DOUBAO_ASR_API_KEY 语音面试必备,豆包 ASR/TTS 凭证

Docker 两条命令启动

pnpm install
pnpm run docker:full

启动后得到两个服务:Web 界面在 http://localhost:4010,语音中继 WebSocket 在 ws://localhost:4011。建议同时在 .env.local 中写明:

NEXT_PUBLIC_APP_URL=http://localhost:4010
NEXT_PUBLIC_VOICE_RELAY_URL=ws://localhost:4011

本地开发模式则用 pnpm run dev:stack,Web 跑 3000 端口、语音中继跑 8766 端口。生产部署(Nginx 反代、镜像导出)可参考 deploy/README.md,Compose 编排见 docker-compose.yaml。

面试进行中:AI 面试官的实时问答机制

ASR:把你的声音实时变成文字

候选人开口后,中继服务持续接收音频并转发给豆包流式 ASR。这里有两个对体验至关重要的细节:

  • 端点检测(endpointing):当你的停顿超过静音窗口(默认约 2 秒,可用 DOUBAO_ASR_END_WINDOW_MS 调节),系统判定"这句话说完了",立刻触发下一环节,无需你按任何按钮。
  • 中间结果合并:ASR 会先吐出"半句话"的临时结果,中继用 src/lib/voice/asr-interim.ts 等模块合并去重,保证转录面板稳定、不闪烁。

ai-interview-platform语音面试开始页:Start Voice Interview 按钮与转录面板

LLM 大脑:决定追问还是进入下一题

每道题的上下文(问题原文 + 你的历史回答摘要)会交给 LLM 生成回复。中继内置了"追问预算"机制:回答信息量足够就点评并进入下一题,回答太浅就自动追问细节;每道题结束前还会做一次上下文摘要,把要点带入下一题,保证长面试不失忆。这套提示词集中在 server/voice-relay-prompts.ts。

TTS:把回答"说"给你听

LLM 生成的文字通过豆包 SeedTTS 2.0 以 HTTP 分块流式合成语音,第一个音频块到达就开始播放,不用等整段合成完;浏览器端再由 src/lib/voice/playback-jitter-buffer.ts 做抖动缓冲,避免卡顿。面试界面底部还有 Mute、Chat、上一题/下一题、End 等控制条,可随时在语音与打字之间切换。

ai-interview-platform语音面试会话界面:AI 实时说话波形、麦克风倾听状态与右侧转录面板

候选人视角:从打开链接到拿到报告

三步进入语音面试

候选人打开面试链接后依次完成:填写姓名邮箱 → 检查清单(摄像头、麦克风测试、屏幕共享授权)→ 点击开始。官方内置的候选人指南写在 src/content/docs/zh/taking-an-interview.tsx,其中专门提示:吐字清晰、稍作停顿再答、选择安静环境,ASR 转录效果会更好。

ai-interview-platform面试前检查清单:照片、麦克风测试与屏幕共享授权

结束后自动生成分析报告

面试结束(候选人点 End 或完成全部题目)后,平台按评分标准逐题打分,输出包含总分、Summary、逐题评价(如 Tone & Communication 维度的 Confidence/High 标签)的会话报告,支持导出 PDF。

ai-interview-platform语音面试会话报告:平均分、Summary 与逐题评分

ai-interview-platform面试结果按题评估:Tone & Communication 维度评分与置信度标签

求职者也可以不约面试、直接进入练习模式:语音作答后 AI 教练即时打分,给出"做对了什么 / 下次改进什么"的反馈和基于简历的建议答案,适合反复打磨表达。

ai-interview-platform练习模式语音面试:教练即时反馈、改进建议与参考答案

常见问题排查清单

现象 排查方法
语音面试 WebSocket 连接失败 确认 lingwu-voice-relay 容器在运行;Docker 用 4011,本地 dev 用 8766,且 NEXT_PUBLIC_VOICE_RELAY_URL 与之匹配
有声音但没有 AI 回应 检查 DOUBAO_* 凭证是否齐全;DOUBAO_ASR_RESOURCE_ID 要填 API 资源 ID(如 volc.seedasr.sauc.duration),不能填控制台实例名
AI 说话卡顿 查看网络到语音合成服务的延迟;浏览器建议使用 Chrome
登录后没有数据 DATABASE_URL 需使用 Supabase Session pooler 连接串,并应用 supabase/migrations/ 中的迁移

更多细节可查阅 src/content/docs/zh/troubleshooting.tsx。

关键源码目录索引 📌

模块 路径
语音中继(ASR/TTS/LLM 调度) server/
浏览器语音状态管理 src/hooks/use-voice.ts
语音工具库(抖动缓冲、转录提交、中继路由) src/lib/voice/
语音面试 UI src/components/session/voice-interface.tsx
候选人会话页面 src/app/i/
语音会话元数据接口 src/app/api/voice/token/route.ts
录音保存逻辑 src/app/api/voice/save/logic.ts
中继相关单元测试 tests/voice-relay-helpers.test.ts、tests/volcengine-asr.test.ts、tests/volcengine-tts.test.ts

小结

ai-interview-platform 的语音面试,本质是把 ASR(听)→ LLM(想)→ TTS(说) 三个环节用 WebSocket 串成一条低延迟流水线,再加上端点检测、打断与追问预算这些"对话细节",才让 AI 面试官听起来像一个真人在打电话。它开箱即用、可自托管、数据与密钥自己掌控——无论是企业批量初筛,还是个人练习口述表达,都值得动手跑一遍体验。

登录后查看全文
ai-interview-platform