LMOps项目中医学知识探测测试的数据预处理方法解析

在LMOps项目"Adapting LLM via Reading Comprehension"的研究工作中，医学知识探测测试(Knowledge Probing Test)是一个重要的评估环节。本文将从技术实现角度详细解析该测试的数据预处理方法，帮助研究人员更好地理解和复现这一评估过程。

数据来源与预处理目标

医学知识探测测试使用了MedMCQA数据集作为基础数据源。该数据集包含医学领域的多项选择题，涵盖21个医学专业科目。预处理的核心目标是：从原始训练集中筛选出适合知识探测的标准化问题，并按科目进行分类存储。

关键预处理步骤

1. 数据过滤标准：

   • 排除多选题类型(choice_type为"multi"的条目)
   • 排除包含特定疑问词的问题(如which、what、when等)
   • 排除包含特殊符号的问题(如__、:、?、-等)

2. 科目分类处理：

   • 将过滤后的数据按照21个医学专业科目进行分类
   • 每个科目单独保存为JSONL格式文件
   • 支持设置随机种子以保证数据顺序的可复现性

技术实现细节

预处理脚本采用了Python语言实现，主要使用了json_lines和jsonlines库处理JSONL格式数据。关键函数包括：

• read_jsonl()：读取原始JSONL格式的训练数据
• filter()：实现上述过滤逻辑的判断函数
• save_jsonl()：将处理后的数据按科目保存为新的JSONL文件

脚本通过命令行参数接收输入文件路径、输出目录和随机种子等配置，具有良好的灵活性。

评估指标说明

在知识探测测试中，评估指标采用的是21个科目上的平均准确率。需要注意的是：

• 不同实现可能产生绝对分数上的微小差异
• 研究重点应关注通用LLM与经过DAPT训练的LLM之间的相对性能差异
• 科目平衡性对最终平均结果有重要影响

实践建议

对于希望复现或改进此项研究的开发者，建议：

1. 使用官方提供的预处理脚本确保数据一致性
2. 关注科目分布情况，避免评估偏差
3. 理解过滤逻辑的合理性，必要时可调整以适应特定需求
4. 记录完整的预处理参数以便结果复现

通过规范化的数据预处理流程，研究者可以更准确地评估语言模型在医学专业领域的知识掌握程度，为后续的领域适应训练提供可靠基准。