talkie Python API实战教程:generate、stream、chat四大接口快速玩转13B大模型
talkie Python API实战教程:generate、stream、chat四大接口快速玩转13B大模型
talkie 是面向 13B 参数复古语言模型家族的推理库,也是本文的主角。本教程带你用 talkie Python API 快速玩转 generate、stream、chat、chat_stream 四大接口,从零加载模型到多轮对话,全程只需几行代码,让你亲手驾驭这位"来自 1930 年代的 AI"。
一、talkie 是什么:1930 年代的 13B 大模型
talkie-1930-13b-base 是一个用 1931 年之前的英文语料训练的 13B 语言模型——它写出的文字自带老派广播腔与复古文风。官方同时提供了三个模型,各司其职:
| 模型名 | 类型 | 定位 |
|---|---|---|
talkie-1930-13b-base |
Base | 1930 年代风格的文本补全模型 |
talkie-1930-13b-it |
IT | 指令微调 + 强化学习,支持多轮对话 |
talkie-web-13b-base |
Base | 同架构、在 FineWeb 上训练,用于现代/复古对照实验 |
模型注册信息维护在 src/talkie/config.py,架构源码可参考 src/talkie/model.py(40 层 decoder-only Transformer,带 RoPE 与 SwiGLU)。
二、一键安装 talkie 与硬件要求
git clone https://gitcode.com/gh_mirrors/talkie2/talkie.git
cd talkie
uv sync
依赖极简:Python >= 3.11、PyTorch >= 2.1(依赖清单见 pyproject.toml)。
⚠️ 硬件门槛(13B 模型不是小角色):
- CUDA GPU,显存 ≥ 28 GB(bfloat16 推理)
- 磁盘 约 26–50 GB(每个模型)
三、加载模型:一个 Talkie 对象搞定一切
Talkie 是整个 API 的核心类(定义于 src/talkie/generate.py)。首次使用会自动从 HuggingFace 下载模型并缓存:
from talkie import Talkie
model = Talkie("talkie-1930-13b-base") # 首次自动下载
如果是部署脚本,建议提前预下载,避免加载时卡顿(实现见 src/talkie/download.py):
from talkie import download_model
download_model("talkie-1930-13b-base") # 已缓存时为空操作,秒过
四、generate 接口:一次性拿到完整回答
generate() 是"最省心"的接口:传入提示词,等它跑完,直接取全文(generate 源码):
result = model.generate(
"If scientists discover life on other planets,",
temperature=0.7,
max_tokens=300,
)
print(result.text)
返回值 GenerationResult 包含三个实用字段:
text:生成的完整文本token_count:生成了多少个 tokenfinish_reason:"stop"(模型自然停止)或"length"(达到 max_tokens 上限)
五、stream 接口:像打字机一样逐字输出
stream() 返回生成器,每吐出一个 token 就 yield 一次,适合做实时展示(stream 源码):
for token in model.stream("The effects of the automobile on public morality have"):
print(token, end="", flush=True)
💡 小技巧:base 模型的 prompt 是原样透传的;而 IT 模型会自动帮你套上聊天模板,同一个 generate() 调用即可对话式使用。
六、chat 与 chat_stream:解锁多轮对话
想玩"一问一答",请加载指令微调模型 talkie-1930-13b-it。chat() 接收 Message 列表(Message 定义):
from talkie import Talkie, Message
model = Talkie("talkie-1930-13b-it")
messages = [Message(role="user", content="What were the causes of the French Revolution?")]
result = model.chat(messages, temperature=0.7)
print(result.text)
追加轮次只需把上一轮回复和新的提问继续 append 进 messages,再用 chat_stream() 流式打印即可。注意:这两个接口仅限 IT 模型,对 base 模型调用会抛出 ValueError(chat 源码)。
七、四大采样参数速查表
四大接口共享同一套采样参数,调一调就能控制"文风":
| 参数 | 默认值 | 作用 |
|---|---|---|
temperature |
0.7 |
温度:越低越稳重,越高越发散 |
max_tokens |
256 |
生成长度上限 |
top_p |
None |
核采样阈值,控制候选词概率范围 |
top_k |
None |
只从概率最高的 k 个 token 中采样 |
采样策略(Gumbel-max + top-k/top-p 过滤)实现在 src/talkie/sampling.py,GenerationConfig 还支持通过 batch_generate() 对同一提示词并行生成多个不同参数的版本。
八、不想写代码?CLI 三行命令先体验
安装完成后,不写 Python 也能秒玩(cli 源码):
# 文风生成
uv run talkie generate "Once upon a time" --model talkie-1930-13b-base -t 0.8
# 交互式多轮聊天
uv run talkie chat --model talkie-1930-13b-it
# 查看可用模型
uv run talkie list
九、常见问题速答
Q:显存不够 28 GB 能跑吗? 官方推荐路径是 CUDA + 28 GB 显存,小显存机器体验会很吃力。
Q:模型太大想提前下载? 用 Python API 的 download_model(),或 CLI 的 uv run talkie download all 一次拉齐三个模型。
Q:generate 和 chat 怎么选? 补全、续写、复古文风创作 → base 模型 + generate/stream;问答、指令跟随 → IT 模型 + chat/chat_stream。
至此,talkie Python API 的四大接口——generate、stream、chat、chat_stream——已全部解锁。加载一个 1930 年代的 13B 大模型,和它聊聊天、写写信,这套复古 AI 体验远比你想象的更有味道 ✒️
