Morpheus LLM 流水线入门:RAG、Agents 与向量数据库上传 3 步实战指南
Morpheus LLM 流水线入门:RAG、Agents 与向量数据库上传 3 步实战指南
Morpheus 是 NVIDIA 开源的高性能数据流处理 SDK,其 morpheus_llm 模块让你可以用流水线(Pipeline)方式编排大语言模型(LLM)应用:从向量数据库上传、RAG 检索增强生成,到基于 LangChain 的 Agents 智能体,一条命令即可跑通。本文将从零带你走完这 3 步实战流程。
一、为什么用 Morpheus 搭 LLM 应用 🚀
Morpheus 把数据处理拆成一个个可插拔的 Stage(阶段),Stage 之间以消息流串联,天然支持多线程、批处理和 GPU 加速。LLM 场景下,它提供了统一的 LLMEngine 引擎,通过"节点(Node)+ 任务处理器(TaskHandler)"的方式编排查询,核心节点包括:
| 节点 | 作用 |
|---|---|
ExtracterNode |
从 DataFrame 中提取问题 |
PromptTemplateNode |
套用 Prompt 模板生成 LLM 输入 |
RAGNode |
从向量数据库检索上下文并增强查询 |
LangChainAgentNode |
异步执行 LangChain ReAct 智能体 |
LLM 服务是解耦的:OpenAI、NVIDIA 托管模型、本地 llama-cpp 都可通过 LLMService 接口接入,换模型不用改流水线代码。
上图展示了 Morpheus 典型的阶段化数据流:数据从左侧输入,经预处理、分块、推理等阶段逐级处理,最后输出结果。LLM 系列示例正是同一套思路。
二、环境准备与统一入口(最快上手方法)
所有 LLM 示例共用一个 CLI 入口 examples/llm/main.py,格式为:
python examples/llm/main.py <流水线名> <子命令> [OPTIONS]
其中 <流水线名> 可选 completion(纯生成)、vdb_upload、rag、agents。
先更新 Conda 环境安装 LLM 依赖:
conda env update --solver=libmamba \
-n ${CONDA_DEFAULT_ENV} \
--file ./conda/environments/examples_cuda-128_arch-$(arch).yaml
注意:
vdb_upload和rag目前仅支持 x86_64 架构;在 Docker 容器中运行时,Milvus / Triton 需要跑在宿主机上。
三、第 1 步:向量数据库上传(vdb_upload)📦
RAG 的前提是"库里先有货"。vdb_upload 流水线完成 4 件事:接收文档 → 分块(Chunking)→ 计算 embedding 向量 → 上传到向量数据库(VDB)。
它的内部结构(见 pipeline.py):
- 文档源:默认抓取网络安全 RSS 订阅源 + 网页抓取,也支持直接读本地
jsonlines文件(如examples/data/vdb_upload/下的样例数据) PreprocessNLPStage:分词与预处理TritonInferenceStage:调用 Triton 部署的all-MiniLM-L6-v2模型生成 384 维向量WriteToVectorDBStage:把文本块 + 向量 + 元数据写入 Milvus
运行步骤:
- 下载 LFS 大文件:
./scripts/fetch_data.py fetch examples
- 启动 Milvus(以 Milvus Lite 为例)与 Triton 模型服务(仓库自带镜像,只加载
all-MiniLM-L6-v2模型); - 执行流水线:
python examples/llm/main.py vdb_upload pipeline \
--enable_cache \
--enable_monitors \
--embedding_model_name all-MiniLM-L6-v2
性能小贴士 🎯:RSS 源 Stage 建议用小批次保证响应速度;VDB 上传 Stage 有事务开销,建议用尽可能大的批次提升吞吐。想换 Hugging Face 上的 embedding 模型?一条 vdb_upload export-triton-model 命令即可导出并部署,配置可参考 vdb_config.yaml。
四、第 2 步:RAG 流水线,让 LLM 带着"知识库"答题 🔍
rag 示例在纯生成流水线基础上加了一个 RAGNode,完整流程是:
- Embedding 检索:把用户问题向量化,去 Milvus 中检索语义最相近的文本块;
- 上下文增强:把检索到的 Title / Summary / Text 拼进 Prompt 模板;
- LLM 执行:增强后的查询发给 LLM,输出有据可依的回答。
完整编排可看 standalone_pipeline.py:InMemorySourceStage(内置一批问题)→ DeserializeStage → LLMEngineStage(Extracter → RAG → SimpleTaskHandler)→ InMemorySink。
运行 RAG 流水线(需先完成第 1 步,并配置 NVIDIA_API_KEY):
export NVIDIA_API_KEY=[YOUR_KEY_HERE]
python examples/llm/main.py rag pipeline
五、第 3 步:Agents 智能体,让 LLM 学会"调用工具" 🤖
agents 示例把 LangChain 的 ReAct 智能体 嵌进 Morpheus 流水线。Agent 充当用户与 LLM 之间的中介:可以上网搜索(SerpApi 工具)、用 llm-math 解数学题、查维基百科等,多步推理异步执行。
- 简单版(内存数据源):
export OPENAI_API_KEY="<YOUR_KEY>"
export SERPAPI_API_KEY="<YOUR_KEY>"
python examples/llm/main.py --log_level=info agents simple
- Kafka 流式版:用
KafkaSourceStage消费inputtopic 的 JSON 消息({"question": "..."}),实现近实时的 Agent 查询处理,适合生产级场景,详见 agents/README.md。
Morpheus 生态还自带可视化组件(如图中的图推理可视化窗口),方便你观察流水线的实时运行状态。
六、常用参数速查表 ✅
| 参数 | 说明 | 默认值 |
|---|---|---|
--num_threads |
流水线内部线程数 | 12 |
--pipeline_batch_size |
流水线内部批大小(也用于 Kafka 消费) | 1024 |
--model_max_batch_size |
模型最大批大小 | 64 |
--model_name |
LLM 模型名(如 gpt-3.5-turbo-instruct) |
按示例而定 |
--repeat_count |
输入查询重复次数,用于性能测试 | 1 |
--use_cpu_only |
纯 CPU 模式运行 | False |
--bootstrap_servers / --topic |
Kafka 服务地址 / 监听 topic(agents kafka 用) | auto / input |
七、总结:一条链路串起 LLM 应用全流程
回顾这条学习路径:vdb_upload 灌数据 → rag 检索增强 → agents 工具调用,三者共享同一个 main.py 入口和 LLMEngine 架构。官方文档 docs/source/examples/llm/README.md 还收录了 completion 纯生成示例,建议配合阅读。
上手建议:先跑通 vdb_upload 确认 Milvus、Triton 服务正常,再依次启用 RAG 与 Agents,逐步把本地知识、联网搜索、数学计算能力叠加到你的 LLM 应用上。

