Dark Scarlett+SillyTavern组合实战:5分钟搭建沉浸式角色扮演体验

原创2026-11-10 09:55:001,747 阅读

Dark Scarlett+SillyTavern组合实战:5分钟搭建沉浸式角色扮演体验

Dark Scarlett 是一款专为角色扮演(Roleplay)打造的开源 AI 大模型,基于 Gemma-4 26B-A4B 架构微调,提供 GGUF 量化格式,可在本地快速部署。本文手把手带你把它与 SillyTavern 前端组合,5 分钟搭出一套沉浸式角色对话体验,新手也能照做。

⚠️ 内容提示:Dark Scarlett 是 18+ 向的成人主题模型(v0.3 测试版),仅限个人非商业使用。本文侧重部署流程,不涉及内容本身。

一、认识 Dark Scarlett:为什么它适合角色扮演?

Dark Scarlett 由 ReadyArt 团队基于 google/gemma-4-26B-A4B-it 用 LoRA 微调而成,专为"用户与 AI 角色对话"这一场景优化。几个关键特性值得了解:

  • 🧠 MoE 高效架构:总参数 26B,激活参数仅约 4B,推理速度快,消费级硬件也能流畅运行
  • 🎭 视角一致性:训练数据严格遵循"男性用户 → 女性 AI"的对话视角,角色代入感稳定
  • 💬 群聊实验支持:包含部分群聊(Group Chat)训练数据,多人角色互动有惊喜
  • 🧹 干净输出:去除了星号、Em dash 和 Markdown 格式符,输出更像自然小说叙事而非机械文本
  • 📊 训练信息:LoRA Rank 32、2 个 Epoch、约 7,500 条场景提示词,详见 README.md

一句话总结:它是"为角色扮演而生"的模型,而 SillyTavern 正是让它发挥最大的最佳搭档。

二、第一步:下载 GGUF 模型文件

本仓库已准备好多种量化格式,按显存从低到高选择即可:

量化文件 精度定位 适用场景
Q4_K_M 够用 16GB 显存起步
Q5_K_M ⭐ 官方推荐 质量与体积平衡之选
Q6_K 高质量 追求更好细腻度
Q8_0 接近无损 显存充裕的旗舰卡

💡 显存紧张? 可选带 i1- 前缀的 imatrix 校准量化(如 i1-Q4_K_M、i1-Q5_K_M),同体积下精度损失更小;校准数据见 imatrix 文件。

如果希望整仓获取全部文件,可执行:

git clone https://gitcode.com/hf_mirrors/ReadyArt/Dark-Scarlett-v0.3-26B-A4B-GGUF

三、第二步:用 llama.cpp 启动本地推理服务

安装好 llama.cpp 后,一条命令即可把模型跑成 OpenAI 兼容的 API 服务:

llama-server -m Dark-Scarlett-v0.3-26B-A4B-Q5_K_M.gguf -ngl 99 --port 8080
  • -ngl 99:尽量把层数卸载到 GPU;显存不够就调小该值
  • MoE 架构对低显存友好,也可以把专家层留在 CPU,配合 --n-cpu-moe 参数混合推理

启动成功后,服务默认监听 http://127.0.0.1:8080/v1,这就是接下来 SillyTavern 要连接的后端。

四、第三步:部署 SillyTavern 并接入模型

  1. 安装并启动 SillyTavern,浏览器打开 http://127.0.0.1:8000
  2. 进入 API 预设(API Presets) 面板,选择 OpenAI API 类型
  3. 填写两项关键配置:
    • API Base URL:http://127.0.0.1:8080/v1
    • 模型名称:Dark-Scarlett-v0.3-26B-A4B(与后端匹配即可)
  4. 保存预设,新建一个角色卡,点击发送测试消息

看到角色流畅回复,恭喜,你的沉浸式角色扮演环境已经跑起来了 🎉

五、第四步:调出最佳表现的推荐参数

官方在 README.md 中给出了针对该模型调校的采样参数,照抄即可:

参数 推荐值 说明
Top-P 0.92 控制词汇多样性
Temperature 1.0 保持创作自由度
Freq Penalty 0 勿设惩罚,否则角色口癖会"断裂"
Presence Penalty 0 同上,保持叙事连贯

✨ 进阶:开启思考模式

该模型支持推理增强。在 SillyTavern 的模型高级配置中,通过聊天模板参数启用:

{"enable_thinking": true, "reasoning_effort": "medium"}

开启后角色在"内心戏"和复杂情节中会更有逻辑层次。

六、常见问题快速排查

  • 🐢 回复太慢? 调低 -ngl 数值,或改用 Q4_K_M / i1 系列量化;MoE 模型把专家卸载到 CPU 后速度损失通常很小
  • 🔁 输出重复啰嗦? 确认两个 Penalty 均为 0,并适当调大上下文长度(Context)
  • 🎭 角色"出戏"? 检查角色卡是否匹配 M→F 视角设定,必要时启用思考模式提升一致性
  • 🧪 效果不稳定? v0.3 仍为 BETA 测试版,训练数据量较小,属正常现象,建议关注后续正式版

七、许可与合规须知

  • 📜 基于 Apache 2.0 许可发布,条款见 LICENSE.txt
  • 🔞 仅限 18 岁以上、个人非商业用途
  • 🛡️ 使用者需对生成内容自行承担全部责任

写在最后

Dark Scarlett + SillyTavern 的组合,是目前本地搭建沉浸式角色扮演对话性价比很高的方案:MoE 架构跑得动、GGUF 量化选得灵活、推荐参数抄得明白。按照上面四步走,5 分钟即可开始你的角色对话之旅。祝玩得愉快 🌹

登录后查看全文
Dark-Scarlett-v0.3-26B-A4B-GGUF