从手绘草图到云架构蓝图:DeepDiagram 多模态输入与 Draw.io Agent 实战

原创2026-10-21 14:27:271,837 阅读
文章标签:人工智能AI 应用大模型多智能体Agent 编排AI Agent数据可视化前端后端

从手绘草图到云架构蓝图:DeepDiagram 多模态输入与 Draw.io Agent 实战

DeepDiagram 是一个开源的 AI 可视化平台,支持多模态输入——你可以上传手绘草图、白板照片或截图,让 AI 把它变成专业的思维导图、流程图、ECharts 数据图,甚至用内置的 Draw.io Agent 生成企业级云架构蓝图。本文将带你快速上手这个"画什么出什么"的绘图神器,重点演示如何从一张草图出发,得到一张可编辑、可导出的架构大图。

一、DeepDiagram 是什么?一个多智能体 AI 绘图平台

与传统画图工具"从零拖拽"不同,DeepDiagram 的核心理念是:你用自然语言描述(或贴一张图),AI 负责画图。

它基于 LangGraph 编排了 6 个专职智能体:

Agent 擅长领域 输出格式
🧠 Mindmap 知识结构、头脑风暴 交互式思维导图
🔀 Flowchart 业务流程、逻辑分支 可拖拽流程图
📊 Charts 销售、趋势、占比数据 ECharts 交互图表
✏️ Draw.io 云架构、网络拓扑 Draw.io XML 画布
🧜 Mermaid 时序图、甘特图、ER 图 Mermaid 语法
🎨 Infographic 数据海报、视觉摘要 AntV 信息图

DeepDiagram AI 多模态输入生成可视化图表的整体演示

下面这张图展示的是用思维导图智能体整理"长文结构化升级策略"的过程——左侧是画布,右侧能看到 AI 的设计思路(Design Concept)和执行轨迹:

DeepDiagram 自然语言生成结构化思维导图

二、多模态输入实战:3 种方式把"画"交给 AI

DeepDiagram 的多模态输入支持三种入口,全部在聊天输入框完成:

1️⃣ 上传草图 / 白板照片 / 截图

点击输入框旁的附件按钮,选择一张手绘草图、白板照片或系统截图。AI 会识别图中的形状、连线和文字,将其"翻译"成结构化图表。这正是从手绘草图到云架构蓝图的核心链路:纸上的方块和箭头,几秒钟后变成可编辑的专业架构图。

2️⃣ 直接粘贴图片

前端监听了剪贴板事件,Ctrl + V 即可把截图直接贴进输入框,无需手动选择文件。相关逻辑见 ChatPanel.tsx 中的 handlePaste 实现。

3️⃣ 上传文档(PDF / DOCX / XLSX / PPTX / TXT / MD)

非图片文件走"智能文档分析"通道:后端并发分块解析大文件,再由 LLM 提取时间、关键实体和关系,最后生成对应图表。解析与提取的实现分别在 file_service.py 的 FileParsingService 和 LLMExtractionService 中。

💡 小提示:草图 + 一句文字说明(如"把这张草图整理成微服务架构图")的效果,通常比只传图更好。

三、Draw.io Agent:把草图变成专业云架构蓝图

在 6 个智能体中,Draw.io Agent 是"重武器":它生成的不是一堆散点方块,而是分层分区的完整系统蓝图。

为什么它生成的架构图"像专家画的"?

打开 drawio.py 可以看到它的系统提示词,核心设定是一位 Principal Cloud Solutions Architect(首席云解决方案架构师),并且内置了几条硬规则:

  • 结构完整性:你只说"微服务",它会自动补上 API 网关、服务发现、负载均衡和数据存储;
  • 逻辑分区:用容器和边界线清晰划分前端、网关、业务服务、数据层、支撑系统;
  • 专业配色:前端蓝色、后端绿色、数据库橙色、安全红色、云紫色,一眼分清组件类型;
  • 复杂度保底:任何图至少 8~15 个组件,避免生成"一眼假"的简图;
  • XML 安全规则:明确禁止 LLM 输出会令 Draw.io 解析崩溃的 <Array> 元素,前端 DrawioAgent.tsx 还有一道 sanitizeDrawioXml 兜底清洗。

DeepDiagram Draw.io Agent 生成的电商系统云架构蓝图

上图是一个真实生成结果:只输入了一句 @drawio 画一个电商系统架构图,AI 就交付了包含客户渠道、网关层、14 个核心微服务、MQ/Redis 中间件和 Prometheus、ELK 支撑系统的完整分层蓝图,且每个组件的图标、配色、连线都符合云架构制图规范。画布基于 Draw.io 内嵌画布,自动居中、隐藏侧边栏,支持继续拖拽编辑,并可一键导出 PNG / SVG。

🚀 上手三步走

  1. 启动服务:配置好 .env 中的 LLM API Key 后执行 docker compose up -d,浏览器打开 http://localhost(完整步骤见 getting-started.mdx);
  2. 发出指令:在输入框输入 @drawio 画一个 Next.js 部署在 AWS 上的架构图,或先贴一张草图再补一句说明;
  3. 迭代精修:继续对话即可局部修改,例如"把数据库换成 DynamoDB""给 VPC 加一条边界线"。

DeepDiagram Charts Agent 对话式迭代生成的云平台分析看板

迭代能力对所有智能体通用:如上图中用户追加一句"再加一个饼图,展示各平台总消耗占比",Charts 智能体会基于上一版结果继续生成,而不是重画一张新图。

四、智能路由:不记命令也能"指哪打哪"

不写 @drawio 也能用对智能体。路由逻辑在 dispatcher.py 中,优先级为:

  1. 显式标签:@drawio、@mindmap、@flow 等直接命中;
  2. LLM 意图识别:路由器带着"各智能体能力描述 + 历史上下文"做分类;
  3. 上下文连续性:追问"加一个云组件"时,优先沿用上一个 Draw.io 会话。

所以放心用口语化的描述(如"给我画个云架构"),路由层会帮你选中 Draw.io Agent。

五、写在最后

DeepDiagram 把"多模态输入 → 智能路由 → 专业智能体出图 → 对话式精修"做成了完整闭环:草图、白板、截图、文档都是它的燃料,而 Draw.io Agent 则让输出质量从"示意图"跃升到"架构蓝图"。

📁 项目导航:

项目采用 AGPL-3.0 协议,可自由部署到内网。如果你的团队还在"截图发群里、手工补 PPT",不妨让它替你画第一张云架构蓝图。

登录后查看全文
DeepDiagram