Llama Stack 项目为 Milvus 向量数据库添加 TLS 安全支持的技术解析
2025-05-29 19:09:03作者:廉彬冶Miranda
在 Llama Stack 项目的最新更新中,开发团队为 vector_io 模块中的 Milvus 向量数据库连接功能增加了 TLS 加密支持。这一改进使得用户能够安全地连接到启用 TLS 的远程 Milvus 实例,解决了之前版本中无法连接安全部署的 Milvus 数据库的问题。
背景与需求
现代向量数据库如 Milvus 在生产环境中通常需要启用传输层安全协议(TLS)来保障数据传输的安全性。在之前的 Llama Stack 版本中,当用户尝试连接启用 TLS 的远程 Milvus 实例时,由于缺乏 TLS 支持,连接会失败。这限制了 Llama Stack 在安全敏感环境中的使用场景。
技术实现方案
新版本通过在配置文件中添加安全相关参数来实现 TLS 支持。用户现在可以根据 Milvus 实例的安全配置,选择性地启用 TLS 并指定相关证书路径:
- 对于未启用 TLS 的 Milvus 实例,保持原有配置不变
- 对于启用 TLS 的 Milvus 实例,新增
secure和server_pem_path配置项
配置示例
基础配置(无TLS)
vector_io:
- provider_id: milvus
provider_type: remote::milvus
config:
uri: "http://<host>:<port>"
token: "<user>:<password>"
安全配置(启用TLS)
vector_io:
- provider_id: milvus
provider_type: remote::milvus
config:
uri: "http://<host>:<port>"
token: "<user>:<password>"
secure: True
server_pem_path: "path/to/server.pem"
技术意义
这一改进为 Llama Stack 带来了以下优势:
- 安全性提升:支持 TLS 加密连接,防止数据在传输过程中被窃听或篡改
- 兼容性增强:能够连接企业级安全部署的 Milvus 实例
- 配置灵活性:通过简单的配置切换即可适应不同安全级别的部署环境
- 符合企业安全规范:满足金融、医疗等对数据安全要求严格行业的标准
实现细节
在底层实现上,该功能主要通过以下方式工作:
- 当检测到
secure: True配置时,系统会加载指定的服务器证书 - 建立连接时使用 HTTPS 协议而非 HTTP
- 在握手阶段验证服务器证书的有效性
- 所有后续通信都通过加密通道进行
总结
Llama Stack 对 Milvus TLS 支持的增加是该平台向企业级应用迈进的重要一步。这一改进不仅解决了现有用户的安全连接问题,也为 Llama Stack 在更广泛的企业场景中的应用铺平了道路。随着数据安全日益受到重视,此类安全功能的增强将成为开源项目持续发展的重要方向。
登录后查看全文
热门项目推荐
相关项目推荐
atomcodeClaude Code 的开源替代方案。连接任意大模型,编辑代码,运行命令,自动验证 — 全自动执行。用 Rust 构建,极致性能。 | An open-source alternative to Claude Code. Connect any LLM, edit code, run commands, and verify changes — autonomously. Built in Rust for speed. Get StartedRust0195
cann-learning-hubCANN 学习中心仓,支持在线互动运行、边学边练,提供教程、示例与优化方案,一站式助力昇腾开发者快速上手。Jupyter Notebook0123
MiMo-V2.5-Pro-FP4-DFlashMiMo-V2.5-Pro-FP4-DFlash 是驱动 MiMo-V2.5-Pro-UltraSpeed 的底层模型: FP4 量化骨干网络:对 MoE 专家采用 MXFP4 量化,同时保持模型其他部分的更高精度,在几乎无损质量的前提下,显著减小模型体积并降低内存带宽压力。 BF16 DFlash 草稿生成器:用于块扩散推测解码,每次前向传播可生成一整个块的 tokens,并让骨干网络一步完成验证。 两者协同作用,既降低了每参数的位宽,又减少了骨干网络前向传播的次数,而这两者正是万亿参数模型解码过程中的两大主要成本来源。Python00
JoyAI-EchoJoyAI-Echo,这是一个独立的、仅用于推理的版本,旨在实现分钟级多镜头音视频生成。它采用了经过蒸馏的DMD生成器、配对的跨模态记忆以及故事级别的一致性。其性能的核心在于,一个跨模态视听记忆库能够在长达五分钟的视频中保持角色外观和语音音色的一致性。同时,一个训练后处理流程将基于记忆的强化学习与分布匹配蒸馏相结合,实现了7.5倍的速度提升,显著增强了视觉质量和对齐效果。00
AstrBot✨ 易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书 | OpenAI、DeepSeek、Gemini、硅基流动、月之暗面、Ollama、OneAPI、Dify 等。附带 WebUI。Python05
handy-ollama动手学Ollama,CPU玩转大模型部署,在线阅读地址:https://datawhalechina.github.io/handy-ollama/Jupyter Notebook07
热门内容推荐
最新内容推荐
项目优选
收起
暂无描述
Dockerfile
766
5 K
本项目是CANN提供的transformer类大模型算子库,实现网络在NPU上加速计算。
C++
857
1.94 K
本项目是CANN提供的神经网络类计算算子库,实现网络在NPU上加速计算。
C++
685
1.35 K
Ascend Extension for PyTorch
Python
721
892
openEuler内核是openEuler操作系统的核心,既是系统性能与稳定性的基石,也是连接处理器、设备与服务的桥梁。
C
457
446
本项目是CANN提供的数学类基础计算算子库,实现网络在NPU上加速计算。
C++
1.08 K
1.11 K
本仓库是 Flutter SDK 与 Flutter Engine 的 OpenHarmony 适配版本,由 CPF-Flutter 团队维护。开发者可使用熟悉的 Flutter 技术栈开发 OpenHarmony 应用,3.35.7 及以后的适配版本可基于本仓库源码构建支持 OpenHarmony 的 Flutter Engine。
Dart
1.01 K
262
CANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。
Python
1 K
619
openJiuwen agent-studio提供零码、低码可视化开发和工作流编排,模型、知识库、插件等各资源管理能力
TSX
2.99 K
637
华为昇腾面向大规模分布式训练的多模态大模型套件,支撑多模态生成、多模态理解。
Python
152
254