Chainlit项目中实现音频消息顺序播放的技术方案

在开发基于Chainlit的语音聊天应用时，一个常见需求是实现多个音频消息的顺序播放，避免同时播放造成的混乱。本文将详细介绍如何在Chainlit框架中实现这一功能。

问题背景

当语音聊天机器人需要连续播放多个音频片段时，如果简单地设置auto_play属性为True，会导致多个音频同时播放，影响用户体验。理想情况下，我们希望音频能够按顺序自动播放，前一个播放完毕后再播放下一个。

解决方案概述

通过自定义JavaScript代码监听音频元素的添加，并实现一个播放队列机制，可以优雅地解决这个问题。核心思路包括：

1. 建立一个音频播放队列
2. 监听DOM变化，检测新添加的音频元素
3. 实现顺序播放逻辑
4. 区分用户输入音频和机器人回复音频

详细实现步骤

1. 创建播放队列机制

在public/custom.js文件中添加以下代码，实现基本的队列管理：

const audioQueue = [];
let isPlaying = false;

const playNextAudio = () => {
    if (audioQueue.length > 0) {
        const currentAudio = audioQueue.shift();
        isPlaying = true;

        setTimeout(() => {
            currentAudio.play();
            currentAudio.addEventListener('ended', () => {
                isPlaying = false;
                playNextAudio();
            });
        }, 1000);  // 添加1秒延迟确保前一个音频完全停止
    }
};

const addAudioToQueue = (audioElement) => {
    audioQueue.push(audioElement);
    if (!isPlaying) {
        playNextAudio();
    }
};

2. 监听DOM变化

使用MutationObserver监听页面变化，检测新添加的音频元素：

const observer = new MutationObserver((mutationsList) => {
    for (const mutation of mutationsList) {
        if (mutation.type === 'childList') {
            for (const node of mutation.addedNodes) {
                checkAndAddAudio(node);
            }
        }
    }
});

observer.observe(document.body, { childList: true, subtree: true });

3. 音频元素检测与过滤

实现检测函数，识别需要加入队列的音频元素：

const hasInputAudioParagraph = (node) => {
    const paragraph = node.querySelector('p.MuiTypography-root.MuiTypography-body1.css-1ihfmjp');
    if (paragraph) {
        const paragraphText = paragraph.textContent ? paragraph.textContent.trim() : "";
        return paragraphText.includes('input_audio');
    }
    return false;
};

const checkAndAddAudio = (node) => {
    if (node.nodeType === Node.ELEMENT_NODE) {
        if (node.classList.contains('inline-audio')) {
            const audioElement = node.querySelector('audio');
            const exclude = hasInputAudioParagraph(node);
            if (audioElement && !exclude) {
                addAudioToQueue(audioElement);
            }
        } else {
            node.querySelectorAll('.inline-audio').forEach(inlineAudioNode => {
                const audioElement = inlineAudioNode.querySelector('audio');
                const exclude = hasInputAudioParagraph(inlineAudioNode);
                if (audioElement && !exclude) {
                    addAudioToQueue(audioElement);
                }
            });
        }
    }
};

4. 后端配置

在Chainlit后端代码中，确保：

1. 发送音频时设置auto_play=False
2. 用户上传的音频文件名包含"input_audio"标识

示例代码：

@cl.on_audio_chunk
async def on_audio_chunk(chunk: cl.AudioChunk):
    if chunk.isStart:
        buffer = BytesIO()
        buffer.name = f"input_audio.{chunk.mimeType.split('/')[1]}"
        cl.user_session.set("audio_buffer", buffer)
        cl.user_session.set("audio_mime_type", chunk.mimeType)
    cl.user_session.get("audio_buffer").write(chunk.data)

技术要点解析

1. MutationObserver API：用于监听DOM树变化，实时捕获新添加的音频元素。

2. 播放队列管理：通过数组实现先进先出的队列结构，确保音频按添加顺序播放。

3. 音频状态检测：利用ended事件监听音频播放完成，触发下一段音频播放。

4. 用户音频过滤：通过检测特定文本内容("input_audio")区分用户上传音频和机器人回复音频。

5. 播放延迟：添加1秒延迟确保前一个音频完全停止，避免音频重叠。

实际应用建议

1. 可根据实际需求调整播放间隔时间(目前设置为1秒)。

2. 对于更复杂的场景，可扩展队列管理逻辑，支持优先级播放或插队功能。

3. 考虑添加错误处理机制，当某个音频播放失败时自动跳过并播放下一个。

4. 对于长时间运行的聊天会话，可添加队列清理机制，防止内存泄漏。

通过这种实现方式，Chainlit应用可以提供更加流畅自然的语音交互体验，特别适合需要连续播放多个语音片段的AI助手类应用场景。