Dark Scarlett+SillyTavern组合实战:5分钟搭建沉浸式角色扮演体验
Dark Scarlett+SillyTavern组合实战:5分钟搭建沉浸式角色扮演体验
Dark Scarlett 是一款专为角色扮演(Roleplay)打造的开源 AI 大模型,基于 Gemma-4 26B-A4B 架构微调,提供 GGUF 量化格式,可在本地快速部署。本文手把手带你把它与 SillyTavern 前端组合,5 分钟搭出一套沉浸式角色对话体验,新手也能照做。
⚠️ 内容提示:Dark Scarlett 是 18+ 向的成人主题模型(v0.3 测试版),仅限个人非商业使用。本文侧重部署流程,不涉及内容本身。
一、认识 Dark Scarlett:为什么它适合角色扮演?
Dark Scarlett 由 ReadyArt 团队基于 google/gemma-4-26B-A4B-it 用 LoRA 微调而成,专为"用户与 AI 角色对话"这一场景优化。几个关键特性值得了解:
- 🧠 MoE 高效架构:总参数 26B,激活参数仅约 4B,推理速度快,消费级硬件也能流畅运行
- 🎭 视角一致性:训练数据严格遵循"男性用户 → 女性 AI"的对话视角,角色代入感稳定
- 💬 群聊实验支持:包含部分群聊(Group Chat)训练数据,多人角色互动有惊喜
- 🧹 干净输出:去除了星号、Em dash 和 Markdown 格式符,输出更像自然小说叙事而非机械文本
- 📊 训练信息:LoRA Rank 32、2 个 Epoch、约 7,500 条场景提示词,详见 README.md
一句话总结:它是"为角色扮演而生"的模型,而 SillyTavern 正是让它发挥最大的最佳搭档。
二、第一步:下载 GGUF 模型文件
本仓库已准备好多种量化格式,按显存从低到高选择即可:
| 量化文件 | 精度定位 | 适用场景 |
|---|---|---|
| Q4_K_M | 够用 | 16GB 显存起步 |
| Q5_K_M | ⭐ 官方推荐 | 质量与体积平衡之选 |
| Q6_K | 高质量 | 追求更好细腻度 |
| Q8_0 | 接近无损 | 显存充裕的旗舰卡 |
💡 显存紧张? 可选带 i1- 前缀的 imatrix 校准量化(如 i1-Q4_K_M、i1-Q5_K_M),同体积下精度损失更小;校准数据见 imatrix 文件。
如果希望整仓获取全部文件,可执行:
git clone https://gitcode.com/hf_mirrors/ReadyArt/Dark-Scarlett-v0.3-26B-A4B-GGUF
三、第二步:用 llama.cpp 启动本地推理服务
安装好 llama.cpp 后,一条命令即可把模型跑成 OpenAI 兼容的 API 服务:
llama-server -m Dark-Scarlett-v0.3-26B-A4B-Q5_K_M.gguf -ngl 99 --port 8080
-ngl 99:尽量把层数卸载到 GPU;显存不够就调小该值- MoE 架构对低显存友好,也可以把专家层留在 CPU,配合
--n-cpu-moe参数混合推理
启动成功后,服务默认监听 http://127.0.0.1:8080/v1,这就是接下来 SillyTavern 要连接的后端。
四、第三步:部署 SillyTavern 并接入模型
- 安装并启动 SillyTavern,浏览器打开
http://127.0.0.1:8000 - 进入 API 预设(API Presets) 面板,选择 OpenAI API 类型
- 填写两项关键配置:
- API Base URL:
http://127.0.0.1:8080/v1 - 模型名称:
Dark-Scarlett-v0.3-26B-A4B(与后端匹配即可)
- API Base URL:
- 保存预设,新建一个角色卡,点击发送测试消息
看到角色流畅回复,恭喜,你的沉浸式角色扮演环境已经跑起来了 🎉
五、第四步:调出最佳表现的推荐参数
官方在 README.md 中给出了针对该模型调校的采样参数,照抄即可:
| 参数 | 推荐值 | 说明 |
|---|---|---|
| Top-P | 0.92 |
控制词汇多样性 |
| Temperature | 1.0 |
保持创作自由度 |
| Freq Penalty | 0 |
勿设惩罚,否则角色口癖会"断裂" |
| Presence Penalty | 0 |
同上,保持叙事连贯 |
✨ 进阶:开启思考模式
该模型支持推理增强。在 SillyTavern 的模型高级配置中,通过聊天模板参数启用:
{"enable_thinking": true, "reasoning_effort": "medium"}
开启后角色在"内心戏"和复杂情节中会更有逻辑层次。
六、常见问题快速排查
- 🐢 回复太慢? 调低
-ngl数值,或改用 Q4_K_M / i1 系列量化;MoE 模型把专家卸载到 CPU 后速度损失通常很小 - 🔁 输出重复啰嗦? 确认两个 Penalty 均为 0,并适当调大上下文长度(Context)
- 🎭 角色"出戏"? 检查角色卡是否匹配 M→F 视角设定,必要时启用思考模式提升一致性
- 🧪 效果不稳定? v0.3 仍为 BETA 测试版,训练数据量较小,属正常现象,建议关注后续正式版
七、许可与合规须知
- 📜 基于 Apache 2.0 许可发布,条款见 LICENSE.txt
- 🔞 仅限 18 岁以上、个人非商业用途
- 🛡️ 使用者需对生成内容自行承担全部责任
写在最后
Dark Scarlett + SillyTavern 的组合,是目前本地搭建沉浸式角色扮演对话性价比很高的方案:MoE 架构跑得动、GGUF 量化选得灵活、推荐参数抄得明白。按照上面四步走,5 分钟即可开始你的角色对话之旅。祝玩得愉快 🌹