Sarvam-Translate完整指南:Sarvam AI开源的印度语文档级翻译大模型是什么
Sarvam-Translate完整指南:Sarvam AI开源的印度语文档级翻译大模型是什么
Sarvam-Translate 是由印度 AI 公司 Sarvam AI 联合 AI4Bharat 开源的一款文档级翻译大模型,基于 Gemma3-4B-IT 微调而成,专为 22 种印度官方语言之间的完整文档翻译而设计。它突破了传统翻译工具"逐句翻译"的局限,能够处理长上下文、多种内容格式(Markdown、扫描件、数学公式、代码注释),是面向印度语言生态的开源翻译解决方案。
一、为什么需要 Sarvam-Translate 翻译大模型?
印度拥有 22 种官方语言,长期以来印度语在大型语言模型(LLM)中的表现明显落后于英语等高资源语言。Sarvam-Translate 正是为填补这一空白而生 🎯:
- 不止于句子:从"孤立句子翻译"升级为"整篇文档翻译",支持网页、演讲稿、教材、科技论文
- 长上下文:最大上下文长度达 8k tokens,可保持全文一致性
- 懂格式:能正确处理 Markdown 排版、OCR 扫描件(含识别错误)、嵌入数学/化学公式的文档,甚至代码文件(只翻译注释、保留代码逻辑)
- 有语境:区分正式/非正式文体,并注意性别指代等包容性细节
简单理解:它就像一位熟悉 22 种印度语言、且擅长处理各类文档格式的"专职翻译官"。
二、支持哪些语言?完整语言清单一览
Sarvam-Translate 覆盖印度 22 种官方语言 + 英语,共 23 种语言。模型语言代码可在 config.json 及 README.md 中查到,对照表如下:
| 语言 | 语言 | 语言 | 语言 |
|---|---|---|---|
| 英语 English | 印地语 Hindi | 孟加拉语 Bengali | 泰米尔语 Tamil |
| 泰卢固语 Telugu | 马拉地语 Marathi | 古吉拉特语 Gujarati | 卡纳达语 Kannada |
| 马拉雅拉姆语 Malayalam | odia 奥里亚语 Odia | 旁遮普语 Punjabi | 阿萨姆语 Assamese |
| 乌尔都语 Urdu | 曼尼普尔语 Manipuri | 克什米尔语 Kashmiri | 桑塔利语 Santali |
| 博多语 Bodo | 多格里语 Dogri | 孔卡尼语 Konkani | 迈蒂利语 Maithili |
| 信德语 Sindhi | 梵语 Sanskrit | 尼泊尔语 Nepali | — |
⚠️ 支持的翻译方向
开源 checkpoint 目前只支持:
- 英语 → 印度语言
- 印度语言 → 英语
印度语之间互译(Indic to Indic)需要经英语中转:先将源印度语翻译成英语,再从英语翻译为目标印度语。
三、模型仓库文件结构:每个文件是干什么的?
如果你下载了 Sarvam-Translate 模型仓库,会看到以下核心文件,各自作用一目了然:
| 文件 | 作用 |
|---|---|
| README.md | 项目说明、语言清单、快速上手示例 |
| config.json | 模型架构配置(Gemma3 架构、34 层、bfloat16 精度) |
| generation_config.json | 推理生成参数(top_k=64、top_p=0.95、温度采样等) |
| chat_template.jinja | 对话模板,定义系统/用户/模型角色的输入格式 |
| model-00001-of-00002.safetensors / model-00002-of-00002.safetensors | 模型权重(分片存储) |
| model.safetensors.index.json | 权重分片索引映射 |
| tokenizer.json / tokenizer.model / tokenizer_config.json | 分词器文件(词表约 26.2 万 tokens) |
| LICENSE.txt | GPL-3.0 开源许可证 |
从 config.json 可以看到,该模型采用 Gemma3ForConditionalGeneration 架构,文本部分为 34 层 Transformer(hidden_size=2560),并带有 SigLIP 视觉模块,说明它保留了多模态处理能力;推理精度为 bfloat16,单张消费级/专业级 GPU 即可部署。
四、三种方式快速跑通 Sarvam-Translate
方式 1:Transformers 本地推理(最常用)
安装依赖后,几行核心代码即可完成一次翻译(完整示例见 README.md):
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "sarvamai/sarvam-translate"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name).to('cuda:0')
# 以翻译到印地语为例
messages = [
{"role": "system", "content": "Translate the text below to Hindi."},
{"role": "user", "content": "Be the change you wish to see in the world."}
]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
output_ids = model.generate(**model_inputs, max_new_tokens=1024, do_sample=True, temperature=0.01)
💡 小技巧:
temperature=0.01的低温度设置能让翻译结果更稳定、更忠实。
方式 2:vLLM 一行命令部署 API 服务
vLLM 是目前大模型推理部署的主流方案,一条命令即可把 Sarvam-Translate 变成 OpenAI 兼容的 API 服务:
vllm serve sarvamai/sarvam-translate --port 8000 --dtype bfloat16 --max-model-len 8192
部署后,任意支持 OpenAI SDK 的客户端都能调用,例如:
from openai import OpenAI
client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
response = client.chat.completions.create(
model="sarvamai/sarvam-translate",
messages=[
{"role": "system", "content": "Translate the text below to Hindi."},
{"role": "user", "content": "Hello, world!"}
],
temperature=0.01
)
--max-model-len 8192 正好对应 8k 上下文上限,与模型能力匹配。
方式 3:Sarvam 官方 API
如果不想自己部署,也可以直接使用 Sarvam 提供的托管 API(python 客户端 sarvamai):
from sarvamai import SarvamAI
client = SarvamAI()
response = client.text.translate(
input="Be the change you wish to see in the world.",
source_language_code="en-IN",
target_language_code="hi-IN",
speaker_gender="Male",
model="sarvam-translate:v1",
)
可以看出 API 还支持 speaker_gender(说话人性别)参数,印证了模型对性别指代的包容性设计。
五、典型应用场景推荐
| 场景 | Sarvam-Translate 的价值 |
|---|---|
| 📄 科技论文/教材本地化 | 保留公式、排版,整文档一次性翻译 |
| 🖨️ 扫描件文档数字化 | 能容忍 OCR 识别错误,输出干净译文 |
| 💻 代码本地化 | 只翻译注释和文档字符串,代码原样保留 |
| 🏛️ 政府/教育内容分发 | 覆盖 22 种官方语言,服务多语系人群 |
| 📝 网页与博客翻译 | 正确处理 Markdown 结构 |
六、新手常见问题(FAQ)
Q1:Sarvam-Translate 是免费开源的吗? 是。模型权重以 GPL-3.0 许可证开放(见 LICENSE.txt),支持本地部署和二次开发。
Q2:它和普通翻译软件(逐句翻译)有什么区别? 普通工具逐句处理,容易丢失上下文、破坏排版;Sarvam-Translate 面向文档级翻译,最长支持 8k tokens 上下文,能理解前后文并保留 Markdown、公式、代码结构。
Q3:印度语之间可以直接互译吗(比如印地语→泰米尔语)? 开源 checkpoint 暂不支持直接互译,需要通过英语中转:先译成英语,再从英语译为目标语言。
Q4:显存要求高吗? 模型约 4B 参数、bfloat16 精度,约 8GB 显存的 GPU(如 RTX 3060/4060 16GB 级别)即可流畅运行,对个人开发者非常友好。
Q5:上下文窗口到底多大?
文本底座最长支持 131072 tokens,但翻译任务的推荐最大上下文为 8k tokens(--max-model-len 8192)。
七、总结
Sarvam-Translate 是当前开源社区中少有的文档级印度语翻译大模型,它的亮点可以概括为三句话:
- 语言全:覆盖 22 种印度官方语言 + 英语
- 文档级:8k 上下文,Markdown/OCR/公式/代码格式全能处理
- 易部署:Transformers 直接加载、vLLM 一行命令起服务、或调用官方 API
如果你正在做面向印度多语言市场的内容本地化、教育材料翻译或代码国际化,Sarvam-Translate 值得第一时间试一试。🚀