Comfy-WaveSpeed 使用与启动教程
1. 项目介绍
Comfy-WaveSpeed 是一个针对 ComfyUI 的全方位推理优化解决方案,旨在提供通用、灵活且高效的性能提升。该项目通过动态缓存(First Block Cache)和增强的 torch.compile 技术对模型进行优化,从而在保持高准确度的同时显著减少计算成本,提升推理速度。
2. 项目快速启动
环境准备
确保您的环境中已安装了必要的依赖,并且您的计算设备满足运行 ComfyUI 的硬件要求。
克隆仓库
首先,您需要克隆 Comfy-WaveSpeed 仓库:
git clone https://github.com/chengzeyi/Comfy-WaveSpeed.git
使用示例工作流
在仓库的 workflows 文件夹中,提供了多个示例工作流。您可以根据自己的需求选择相应的工作流进行使用。
例如,要使用带有 First Block Cache 和 Compilation 的 FLUX.1-dev 工作流,您可以运行以下命令:
# 替换为实际的工作流路径
comfy run workflows/flux.json
调整参数
根据您的模型和硬件配置,您可能需要调整 residual_diff_threshold 参数以获得最佳的加速效果。
3. 应用案例和最佳实践
动态缓存(First Block Cache)
动态缓存是一种利用第一个变换块的残差输出来作为缓存指示器的技术。当当前残差输出与上一个残差输出的差异足够小时,可以重用上一个最终的残差输出,跳过所有后续变换块的计算。
使用 Apply First Block Cache 节点并调整 residual_diff_threshold 参数,可以获得显著的加速效果。
增强的 torch.compile
增强的 torch.compile 可以通过添加 Compile Model+ 节点到工作流中来实现。编译过程在第一次运行工作流时发生,并且会缓存以供后续运行使用。
多 GPU 推理
Comfy-WaveSpeed 也支持多 GPU 推理,通过 ComfyUI 版本的 ParaAttention 的上下文并行实现。
4. 典型生态项目
Comfy-WaveSpeed 支持多种模型,如 FLUX、LTXV、HunyuanVideo、SD3.5 和 SDXL 等。社区中也有许多基于 Comfy-WaveSpeed 的生态项目,这些项目可以为您提供更多样化的选择和优化方案。
以上就是 Comfy-WaveSpeed 的使用与启动教程,希望对您有所帮助!
Kimi-K2.5Kimi K2.5 是一款开源的原生多模态智能体模型,它在 Kimi-K2-Base 的基础上,通过对约 15 万亿混合视觉和文本 tokens 进行持续预训练构建而成。该模型将视觉与语言理解、高级智能体能力、即时模式与思考模式,以及对话式与智能体范式无缝融合。Python00
PaddleOCR-VL-1.5PaddleOCR-VL-1.5 是 PaddleOCR-VL 的新一代进阶模型,在 OmniDocBench v1.5 上实现了 94.5% 的全新 state-of-the-art 准确率。 为了严格评估模型在真实物理畸变下的鲁棒性——包括扫描伪影、倾斜、扭曲、屏幕拍摄和光照变化——我们提出了 Real5-OmniDocBench 基准测试集。实验结果表明,该增强模型在新构建的基准测试集上达到了 SOTA 性能。此外,我们通过整合印章识别和文本检测识别(text spotting)任务扩展了模型的能力,同时保持 0.9B 的超紧凑 VLM 规模,具备高效率特性。Python00
xw-cli实现国产算力大模型零门槛部署,一键跑通 Qwen、GLM-4.7、Minimax-2.1、DeepSeek-OCR 等模型Go06
yuanrongopenYuanrong runtime:openYuanrong 多语言运行时提供函数分布式编程,支持 Python、Java、C++ 语言,实现类单机编程高性能分布式运行。Go051
MiniCPM-SALAMiniCPM-SALA 正式发布!这是首个有效融合稀疏注意力与线性注意力的大规模混合模型,专为百万级token上下文建模设计。00
ebook-to-mindmapepub、pdf 拆书 AI 总结TSX01