推荐文章：Text Generation Inference —— 未来的开放源代码文本生成推理服务器

项目介绍

Text Generation Inference 是一个由 Preemo 分叉并持续开发的项目，源自 Hugging Face 的 text-generation-inference。尽管原版不再开源，但我们致力于构建一个开放源代码的文本生成推理服务器，该服务器模块化程度高，方便用户轻松添加最新模型、功能和优化。

我们的目标不仅仅是创建一个基础工具，而是希望构建一个社区，允许开发者尝试新的想法和优化语言模型的推理性能。项目提供了一系列额外的特性，如4位量化、CTranslate2支持以及兼容风格的聊天完成接口，以满足更多样化的使用场景。

项目技术分析

4位量化

利用 bitsandbytes 库的 NF4 和 FP4 数据类型，Text Generation Inference 支持 4 位量化，这可以显著减少内存占用，同时保持高效的性能。只需在启动时加入相应的命令行参数即可启用此功能。

CTranslate2

集成 CTranslate2 并提供 INT8 量化功能，使得模型加载速度提升高达10倍。即使在无 CUDA 环境下，CTranslate2 也能在 CPU 上运行。

聊天完成接口

项目兼容标准格式的 /chat/completions 和 /completions 终端点，提供定制化的聊天交互体验。通过设置环境变量，您可以控制助手、用户和系统消息的前缀和后缀。

项目及技术应用场景

• 自然语言处理应用：为AI助手、智能客服或在线对话平台提供高质量的文本生成服务。
• 研究与实验：对于NLP研究者和开发者，这是一个理想的测试新算法和优化策略的平台。
• 教育与娱乐：例如生成故事、诗歌或进行智能对话，提供富有创意的学习和游戏体验。

项目特点

• 模块化设计：易于组合不同的模型、功能和优化，实现定制化推理服务器。
• 开放源代码：鼓励社区贡献，持续改进和发展。
• 高性能：采用4位量化和C Tranlsate2等技术，提高效率和响应速度。
• API 兼容性：支持标准风格的 API，便于整合到现有工作流程中。

开始使用：

要体验 Text Generation Inference，只需简单地使用Docker运行以下命令：

model=TheBloke/Llama-2-13B-Chat-fp16
volume=$PWD/data
image=docker.io/michaelf34/tgi:03-10-2023

docker run --gpus all --shm-size 1g -p 8080:80 -v $volume:/data $image --model-id $model --quantize ct2

我们期待着你的参与，一起探索和推动文本生成技术的新边界！