在api-for-open-llm项目中部署Qwen2-72B-AWQ模型的技术实践

在开源项目api-for-open-llm中部署大语言模型时，开发者可能会遇到一些技术挑战。本文将重点分析在最新vllm环境下部署Qwen2-72B-AWQ量化模型时出现的两个关键问题及其解决方案。

问题一：tokenizer参数缺失错误

当使用vllm 0.4.2版本时，开发者会遇到一个明显的错误提示："get_guided_decoding_logits_processor() missing 1 required positional argument: 'tokenizer'"。这个错误源于vllm框架在0.4.2版本中的API设计缺陷，导致在创建聊天完成接口时未能正确传递tokenizer参数。

该问题已在vllm 0.4.3版本中得到修复。对于仍在使用0.4.2版本的开发者，项目维护者已经更新了代码库，通过显式传递tokenizer参数解决了这个问题。开发者只需更新到最新代码即可解决此问题。

问题二：chatml模板的stop word设置

另一个值得注意的问题是使用chatml模板时stop word被设置为None的情况。在对话系统中，stop word用于标识对话的结束，其缺失可能导致对话无法正常终止。这个问题虽然看似简单，但在实际部署中会影响模型的交互体验。

对于Qwen系列模型，特别是使用AWQ量化的版本，正确的stop word设置尤为重要。开发者需要根据具体模型的要求，在配置中明确指定适当的stop word，如"<|endoftext|>"等模型特定的结束标记。

部署建议

1. 版本控制：始终确保使用vllm 0.4.3或更高版本，以避免已知的API兼容性问题。

2. 模板配置：对于Qwen2系列模型，仔细检查chat模板配置，确保stop word设置正确。

3. 资源分配：Qwen2-72B作为大型模型，需要充足的GPU资源。在配置文件中可以看到gpu_memory_utilization被设置为0.95，这是为了最大化利用可用显存。

4. 量化配置：AWQ量化虽然能减少显存占用，但需要注意load_in_4bit参数的设置，确保量化正确加载。

通过解决这些问题，开发者可以更顺利地在api-for-open-llm项目中部署和运行Qwen2-72B-AWQ等大型语言模型，为后续的应用开发奠定基础。