Lighteval项目v0.10.0版本发布：全面支持视觉语言模型评估

Lighteval是Hugging Face推出的开源评估框架，专注于为大型语言模型(LLM)提供高效、全面的评估能力。该项目旨在简化模型评估流程，支持多种评估场景，包括零样本、小样本学习等。最新发布的v0.10.0版本带来了多项重要更新，特别是对视觉语言模型(VLM)评估的支持，标志着该项目在评估能力上的重大扩展。

视觉语言模型评估支持

本次更新的核心亮点是新增了对视觉语言模型(VLM)的评估能力。这一功能扩展使Lighteval能够评估那些同时处理文本和图像输入的模型，如多模态大模型。为了支持这一功能，开发团队实现了：

1. 多模态输入处理管道，能够同时加载和处理文本和图像数据
2. 新增了MMMU Pro评估基准，这是一个专门针对多模态模型设计的评估数据集
3. 图像预处理和特征提取工具，确保输入数据符合模型要求

这项更新使得研究人员能够更全面地评估那些结合了视觉和语言理解能力的先进模型。

量化与性能优化

v0.10.0版本在模型推理效率方面做出了重要改进：

1. 新增了对vLLM后端的量化支持，允许用户使用4位和8位量化来减少显存占用
2. 实现了vLLM后端的异步推理功能，显著提高了批量评估时的吞吐量
3. 优化了模型加载参数传递机制，支持通过model_kwargs传递更多加载参数

这些优化特别有利于在资源有限的环境中评估大型模型，使得研究人员能够在消费级硬件上运行更大规模的评估实验。

评估任务与指标扩展

评估能力的广度和深度在本版本中得到了进一步扩展：

1. 新增Flores机器翻译评估数据集，支持多语言翻译能力评估
2. 增加了LiveCodeBench v6编程能力评估任务
3. 改进了多项选择题(MCQ)评估支持，优化了Yourbench评估框架的兼容性
4. 更新了多语言任务集，增强了对非英语语言模型评估的支持

这些新增任务覆盖了从基础语言理解到专业编程能力的多个维度，为模型能力评估提供了更全面的视角。

使用体验改进

除了核心功能外，本次更新还包含多项用户体验优化：

1. 新增了自定义结果保存路径模板功能，允许用户灵活配置评估结果的存储位置和命名规则
2. 修复了vLLM分词器版本控制问题，提高了模型加载的稳定性
3. 改进了LiteLLM集成的兼容性
4. 更新了代码风格检查工具Ruff的版本，提升了代码质量一致性

Lighteval v0.10.0版本的发布标志着该项目在多模态评估领域的重大进展。通过支持视觉语言模型评估、优化推理效率以及扩展评估任务范围，该框架为研究人员提供了更强大、更灵活的工具来全面评估现代AI模型的各项能力。这些改进不仅有助于推动多模态研究的发展，也为模型优化和比较提供了更可靠的基准。