从手绘草图到云架构蓝图:DeepDiagram 多模态输入与 Draw.io Agent 实战
从手绘草图到云架构蓝图:DeepDiagram 多模态输入与 Draw.io Agent 实战
DeepDiagram 是一个开源的 AI 可视化平台,支持多模态输入——你可以上传手绘草图、白板照片或截图,让 AI 把它变成专业的思维导图、流程图、ECharts 数据图,甚至用内置的 Draw.io Agent 生成企业级云架构蓝图。本文将带你快速上手这个"画什么出什么"的绘图神器,重点演示如何从一张草图出发,得到一张可编辑、可导出的架构大图。
一、DeepDiagram 是什么?一个多智能体 AI 绘图平台
与传统画图工具"从零拖拽"不同,DeepDiagram 的核心理念是:你用自然语言描述(或贴一张图),AI 负责画图。
它基于 LangGraph 编排了 6 个专职智能体:
| Agent | 擅长领域 | 输出格式 |
|---|---|---|
| 🧠 Mindmap | 知识结构、头脑风暴 | 交互式思维导图 |
| 🔀 Flowchart | 业务流程、逻辑分支 | 可拖拽流程图 |
| 📊 Charts | 销售、趋势、占比数据 | ECharts 交互图表 |
| ✏️ Draw.io | 云架构、网络拓扑 | Draw.io XML 画布 |
| 🧜 Mermaid | 时序图、甘特图、ER 图 | Mermaid 语法 |
| 🎨 Infographic | 数据海报、视觉摘要 | AntV 信息图 |
下面这张图展示的是用思维导图智能体整理"长文结构化升级策略"的过程——左侧是画布,右侧能看到 AI 的设计思路(Design Concept)和执行轨迹:
二、多模态输入实战:3 种方式把"画"交给 AI
DeepDiagram 的多模态输入支持三种入口,全部在聊天输入框完成:
1️⃣ 上传草图 / 白板照片 / 截图
点击输入框旁的附件按钮,选择一张手绘草图、白板照片或系统截图。AI 会识别图中的形状、连线和文字,将其"翻译"成结构化图表。这正是从手绘草图到云架构蓝图的核心链路:纸上的方块和箭头,几秒钟后变成可编辑的专业架构图。
2️⃣ 直接粘贴图片
前端监听了剪贴板事件,Ctrl + V 即可把截图直接贴进输入框,无需手动选择文件。相关逻辑见 ChatPanel.tsx 中的 handlePaste 实现。
3️⃣ 上传文档(PDF / DOCX / XLSX / PPTX / TXT / MD)
非图片文件走"智能文档分析"通道:后端并发分块解析大文件,再由 LLM 提取时间、关键实体和关系,最后生成对应图表。解析与提取的实现分别在 file_service.py 的 FileParsingService 和 LLMExtractionService 中。
💡 小提示:草图 + 一句文字说明(如"把这张草图整理成微服务架构图")的效果,通常比只传图更好。
三、Draw.io Agent:把草图变成专业云架构蓝图
在 6 个智能体中,Draw.io Agent 是"重武器":它生成的不是一堆散点方块,而是分层分区的完整系统蓝图。
为什么它生成的架构图"像专家画的"?
打开 drawio.py 可以看到它的系统提示词,核心设定是一位 Principal Cloud Solutions Architect(首席云解决方案架构师),并且内置了几条硬规则:
- 结构完整性:你只说"微服务",它会自动补上 API 网关、服务发现、负载均衡和数据存储;
- 逻辑分区:用容器和边界线清晰划分前端、网关、业务服务、数据层、支撑系统;
- 专业配色:前端蓝色、后端绿色、数据库橙色、安全红色、云紫色,一眼分清组件类型;
- 复杂度保底:任何图至少 8~15 个组件,避免生成"一眼假"的简图;
- XML 安全规则:明确禁止 LLM 输出会令 Draw.io 解析崩溃的
<Array>元素,前端 DrawioAgent.tsx 还有一道sanitizeDrawioXml兜底清洗。
上图是一个真实生成结果:只输入了一句 @drawio 画一个电商系统架构图,AI 就交付了包含客户渠道、网关层、14 个核心微服务、MQ/Redis 中间件和 Prometheus、ELK 支撑系统的完整分层蓝图,且每个组件的图标、配色、连线都符合云架构制图规范。画布基于 Draw.io 内嵌画布,自动居中、隐藏侧边栏,支持继续拖拽编辑,并可一键导出 PNG / SVG。
🚀 上手三步走
- 启动服务:配置好
.env中的 LLM API Key 后执行docker compose up -d,浏览器打开http://localhost(完整步骤见 getting-started.mdx); - 发出指令:在输入框输入
@drawio 画一个 Next.js 部署在 AWS 上的架构图,或先贴一张草图再补一句说明; - 迭代精修:继续对话即可局部修改,例如"把数据库换成 DynamoDB""给 VPC 加一条边界线"。
迭代能力对所有智能体通用:如上图中用户追加一句"再加一个饼图,展示各平台总消耗占比",Charts 智能体会基于上一版结果继续生成,而不是重画一张新图。
四、智能路由:不记命令也能"指哪打哪"
不写 @drawio 也能用对智能体。路由逻辑在 dispatcher.py 中,优先级为:
- 显式标签:
@drawio、@mindmap、@flow等直接命中; - LLM 意图识别:路由器带着"各智能体能力描述 + 历史上下文"做分类;
- 上下文连续性:追问"加一个云组件"时,优先沿用上一个 Draw.io 会话。
所以放心用口语化的描述(如"给我画个云架构"),路由层会帮你选中 Draw.io Agent。
五、写在最后
DeepDiagram 把"多模态输入 → 智能路由 → 专业智能体出图 → 对话式精修"做成了完整闭环:草图、白板、截图、文档都是它的燃料,而 Draw.io Agent 则让输出质量从"示意图"跃升到"架构蓝图"。
📁 项目导航:
- 智能体源码目录:backend/app/agents/
- Draw.io 智能体:drawio.py
- 多模态消息处理:ChatPanel.tsx
- 部署文档:DEPLOYMENT.md
项目采用 AGPL-3.0 协议,可自由部署到内网。如果你的团队还在"截图发群里、手工补 PPT",不妨让它替你画第一张云架构蓝图。



