如何5分钟上手ERNIE-5.5-Flash-Base:模型下载、快速体验与本地部署完整教程
如何5分钟上手ERNIE-5.5-Flash-Base:模型下载、快速体验与本地部署完整教程
ERNIE-5.5-Flash-Base 是百度开源的 280B 稀疏 MoE 大语言模型,每 token 仅激活 14B 参数。本教程带你 5 分钟完成模型下载、快速体验与本地部署,包含 SGLang / vLLM 两套完整命令、关键配置速查和新手常见问题解答。
🤔 先认识一下:ERNIE-5.5-Flash-Base 有什么亮点
为什么值得关注这个模型?先花 30 秒看核心规格:
| 特性 | 说明 |
|---|---|
| 总参数量 | 280B(稀疏 MoE) |
| 每 token 激活参数 | 14B,推理成本低 |
| 预训练数据 | 33.5T tokens,从零开始预训练 |
| 上下文长度 | 训练 128K;微调与推理支持 1M |
| 精度 | FP8 / BF16 双版本(safetensors) |
| 架构 | 43 层(1 dense + 42 MoE),每层 512 路由专家(top-10)+ 1 共享专家 |
它是预训练结束时的 Base 权重,未经指令微调,定位为领域适配、指令微调和强化学习研究的起点。
📦 第一步:模型下载的 3 种方式
💡 先留够磁盘:FP8 版本共 128 个分片,单分片约 2.25GB,完整下载约需 290GB 空间。
方式一:Git 克隆(推荐,含完整分片索引)
权重通过 Git LFS 存储,先安装 LFS 组件再克隆:
git lfs install
git clone https://gitcode.com/paddlepaddle/ERNIE-5.5-Flash-Base
方式二:huggingface-cli 下载
pip install -U huggingface_hub
huggingface-cli download baidu/ERNIE-5.5-Flash-Base \
--local-dir ./ERNIE-5.5-Flash-Base
方式三:ModelScope 下载
pip install -U modelscope
modelscope download --model baidu/ERNIE-5.5-Flash-Base \
--local_dir ./ERNIE-5.5-Flash-Base
📌 默认仓库是 FP8 版本;如需 BF16 精度,把模型名换成 baidu/ERNIE-5.5-Flash-Base-BF16,体积约为 FP8 的两倍。
🚀 第二步:SGLang 本地部署步骤(最快路径)
1)启动官方预构建镜像:
docker run -d -it --name ernie55 \
--gpus all --network host --ipc host \
-v ~/.cache/huggingface:/root/.cache/huggingface \
lmsysorg/sglang:dev-ernie-55-flash
2)一键启动推理服务:
sglang serve \
--model-path baidu/ERNIE-5.5-Flash-Base \
--tp 4 \
--attn-dp-size 4 \
--context-length 131072 \
--max-running-requests 1024 \
--host 0.0.0.0 \
--port 30000
关键参数速查:
| 参数 | 作用 |
|---|---|
--model-path |
模型 ID 或本地权重路径 |
--tp 4 |
4 路张量并行 |
--attn-dp-size 4 |
注意力数据并行 |
--context-length 131072 |
上下文 128K(最高可设 1,048,576 即 1M) |
--max-running-requests 1024 |
最大并发请求数 |
🛠 替代方案:vLLM 配置与启动
如果你更熟悉 vLLM 生态,可以这样装(基于 Python 3.12 虚拟环境):
uv venv --python 3.12 ernie5-venv
source ernie5-venv/bin/activate
uv pip install vllm==0.32.0
再安装配套的 vLLM-ERNIE 插件(完整安装命令见 README.md 部署章节),然后启动服务:
vllm serve baidu/ERNIE-5.5-Flash-Base \
--kv-cache-dtype fp8 \
--enable-expert-parallel \
--data-parallel-size 4 \
--max-model-len 131072 \
--port 30000 \
--moe-backend humming
💬 第三步:发送第一个请求,验证服务
Base 模型通过 completions 端点对外服务(不是 chat),用 curl 验证:
curl http://localhost:30000/v1/completions \
-H "Content-Type: application/json" \
-d '{
"model": "baidu/ERNIE-5.5-Flash-Base",
"prompt": "Large language models are",
"max_tokens": 256,
"temperature": 0
}'
能收到一段续写文本,说明部署成功,5 分钟跑通 ✅
📊 模型配置速览:关键参数在哪里看
官方在统一评测管道下与多款同级 MoE 基座模型对比,知识、推理、代码、长上下文均领先(完整成绩见 README.md 评测章节)。
结构参数可以直接在仓库配置文件里核对:
| 配置项 | 值 | 文件位置 |
|---|---|---|
| 总层数 | 43(1 dense + 42 MoE) | config.json |
| 路由专家 | 512(top-10)+ 1 共享 | config.json |
| 隐藏层维度 | 4096 | config.json |
| 词表大小 | 201,216 | config.json |
| 最大上下文 | 1,048,576(1M) | config.json |
| 生成默认参数 | do_sample=false、top_p=0.95 |
generation_config.json |
权重分片的路由关系记录在 model.safetensors.index.json,例如第一个分片 model-00001-of-00128.safetensors。
🗂 仓库文件清单:资料都在哪
| 文件 | 说明 |
|---|---|
| README.md | 项目总览:架构亮点、评测、部署命令 |
| config.json | 模型结构配置(专家、注意力、上下文) |
| generation_config.json | 默认生成参数 |
| tokenizer.json | 约 20 万词表的 BPE 分词器 |
| model.safetensors.index.json | 128 个权重分片索引 |
| LICENSE | ERNIE 5.5 Flash Base Model License v1.0 |
⚠️ 新手常见问题解答
- 为什么请求要走
/v1/completions? 这是预训练 Base 模型,尚未做指令微调,输出是"续写"而非对话回答,所以走 completions 端点。 - 需要多少显存?
官方示例按 4 路并行配置(
--tp 4/--data-parallel-size 4),FP8 权重约 290GB,建议 4 张高端 GPU 起步;具体显存需求以官方部署文档为准。 - 下载中断了怎么办?
huggingface-cli和modelscope都支持断点续传,重新执行同一条命令即可;国内网络可优先 ModelScope 通道。 - 能直接拿来做对话机器人吗? Base 版本更适合作为微调起点:领域适配、指令微调、强化学习研究均可直接基于它展开,推理时最长支持 1M 上下文。
✅ 小结
5 分钟上手路线一句话总结:Git/LFS 克隆 → SGLang 或 vLLM 启动服务 → completions 端点验证。模型规格、评测成绩与全部部署命令都能在 README.md 中查到,配置细节以 config.json 为准,祝部署顺利!

