Chitu项目v0.2.1版本发布：支持混合CPU+GPU推理与多款新模型

Chitu是一个专注于高效推理的开源项目，旨在为大型语言模型提供高性能的推理服务。该项目通过优化底层计算和资源调度，显著提升了模型推理的效率。最新发布的v0.2.1版本带来了多项重要更新，其中最引人注目的是混合CPU+GPU推理能力的引入，以及对多款新模型的支持。

混合CPU+GPU推理架构

v0.2.1版本的核心亮点是实现了混合CPU+GPU的推理架构。这一创新设计允许系统同时利用CPU和GPU的计算资源，实现更高效的推理过程。该架构具有以下技术特点：

1. 资源协同计算：系统能够智能地将计算任务分配给CPU和GPU，充分发挥不同硬件的计算优势。例如，可以将部分计算密集型任务交给GPU处理，而将内存密集型任务交给CPU处理。

2. 多GPU支持：新版本不仅支持单GPU环境，还能够充分利用多GPU的计算能力，通过并行计算大幅提升吞吐量。

3. 多请求并发处理：系统优化了请求调度机制，能够高效处理多个并发推理请求，显著提升了服务的整体吞吐量。

4. 动态负载均衡：系统会根据当前硬件负载情况，动态调整CPU和GPU之间的任务分配，确保资源得到最优利用。

新增模型支持

v0.2.1版本扩展了对多款主流大型语言模型的支持，包括：

• QwQ系列模型：新增了对QwQ-32B-FP8和QwQ-32B-AWQ两种量化版本的支持。FP8版本采用8位浮点量化，在保持较高精度的同时显著减小模型体积；AWQ版本则采用激活感知的权重量化技术，在保证推理质量的前提下提升计算效率。

• Llama系列模型：新增支持Llama-3.3-70B-Instruct模型，这是一个经过指令微调的大规模语言模型，在多种任务上表现出色。

• DeepSeek系列模型：新增支持DeepSeek-R1-Distill-Llama-70B模型，这是通过知识蒸馏技术从Llama模型衍生而来的高效版本。

此外，版本还继续保持对Qwen2.5-32B、Mixtral-8x7B-Instruct-v0.1、Qwen2-72B-Instruct等多款热门模型的支持。

算子内核优化

v0.2.1版本对底层算子内核进行了多项优化：

1. 计算图优化：改进了计算图的构建和优化过程，减少了不必要的计算和内存访问。

2. 内存访问优化：通过改进数据布局和访问模式，提升了缓存利用率，减少了内存带宽压力。

3. 并行计算优化：优化了多线程和GPU并行计算的调度策略，提高了硬件资源利用率。

4. 量化计算优化：针对FP8、AWQ等量化模型，优化了相应的计算内核，确保量化推理的高效性。

这些优化共同作用，使得新版本在各种硬件配置下都能提供更高效的推理性能。

使用建议

对于希望使用新版本的用户，建议：

1. 根据硬件配置选择合适的模型版本。例如，在显存有限的GPU上，可以考虑使用QwQ-32B-AWQ等量化版本。

2. 在多GPU环境下，系统会自动利用所有可用GPU资源，无需特殊配置。

3. 对于混合CPU+GPU推理，系统会自动优化资源分配，但用户也可以通过配置参数进行微调。

4. 在处理多个并发请求时，系统会自动进行负载均衡，确保每个请求都能获得合理的计算资源。

Chitu项目v0.2.1版本的发布，标志着该项目在高效推理领域又迈出了重要一步。混合CPU+GPU架构的引入，以及对多款新模型的支持，使得该项目能够更好地满足不同场景下的推理需求。随着后续版本的持续优化，Chitu有望成为大型语言模型推理领域的重要选择之一。