InferLLM：轻量级LLM推理框架探索

项目基础介绍及主要编程语言

InferLLM 是一款由 C++ 主导编写的轻量化大规模语言模型（LLM）推理框架。它灵感来源于 llama.cpp 项目，但通过更简洁的结构设计以及对核心代码与内核部分的解耦，提供了更好的可读性和修改便捷性。此外，项目兼容多种环境和硬件平台，包括CPU和GPU（侧重于Arm、x86、CUDA及riscv-vector的优化），使其成为移动部署的理想选择。

核心功能

• 简化架构：便于新手入门学习，框架与内核逻辑分离，提高可维护性。
• 高效率实现：移植并优化了大量来自llama.cpp的内核代码，保证高效运行。
• 专用KV存储管理：方便进行缓存和模型管理，特别是对于量化模型。
• 多模型格式支持：当前特别支持alpaca的中英文int4模型，计划扩展更多。
• 跨平台兼容：不仅限于桌面和服务器，还能在手机上以接受的速度运行。

最近更新的功能

• 新增Llama-2-7B模型支持：在2023年8月16日的更新中，增加了对Llama-2-7B模型的支持，拓宽了模型应用范围。
• Arm性能优化：特别是在2023年8月8日的版本中，通过优化 Arm 架构下的int4矩阵乘法内核，并采用ARM汇编及kernel打包策略，显著提升在Arm设备上的表现。
• 模型库扩充：项目已上传包括ChatGLM、ChatGLM2、Baichuan在内的模型，提供中英文int4量化模型选项，增强了模型多样性。

---

InferLLM以其高效的本地量化模型部署能力，成为了研究者和开发者关注的对象，特别是对于那些寻求在资源有限的环境中部署大型语言模型的团队而言，InferLLM无疑是值得关注的优质开源项目。