HELM项目新增泰国语言模型OpenThaiLLM和Pathumma的技术解析

近日，斯坦福大学CRFM实验室主导的开源评估框架HELM迎来了两个重要的泰国语言模型——OpenThaiLLM-Prebuilt-7B和Pathumma-llm-text-1.0.0。这两个由泰国国家电子与计算机技术中心(NECTEC)开发的大语言模型，为东南亚语言处理领域带来了新的技术突破。

模型技术背景

OpenThaiLLM-Prebuilt-7B是一个基于Qwen2.5-7B架构预训练的泰语大语言模型，拥有72亿参数。该模型特别针对泰语特性进行了优化，最大序列长度达到4096个token，能够处理复杂的泰语长文本。

Pathumma-llm-text-1.0.0则是基于OpenThaiLLM-Prebuilt-7B进一步微调的指令跟随模型，最大序列长度扩展至8192个token。该模型特别强化了对用户指令的理解和执行能力，使其在对话系统和任务导向应用中表现更佳。

技术实现细节

两个模型都采用了HuggingFace架构实现，并已集成到HELM评估框架中。关键配置包括：

1. 分词器配置：

   • OpenThaiLLM使用<|im_end|>作为文本结束标记
   • Pathumma额外使用<|im_start|>作为前缀标记，强化对话场景下的表现

2. 模型参数：

   • 两者均为72亿参数规模
   • 采用开放访问许可
   • 支持泰语文本生成和理解

3. 评估表现：

   • 在ThaiExam基准测试中，OpenThaiLLM得分为0.594
   • Pathumma模型得分为0.566

技术意义与应用前景

这两个模型的加入丰富了HELM框架对东南亚语言的支持能力，特别为泰语NLP研究提供了标准化评估基准。它们的开源特性将促进：

1. 泰语自然语言处理研究的标准化比较
2. 多语言大模型的技术发展
3. 东南亚地区AI应用的本地化适配

随着这两个模型在HELM框架中的集成，研究人员可以更方便地进行跨模型性能对比，推动泰语大语言模型技术的进一步发展。这也标志着HELM框架在支持非英语语言模型评估方面迈出了重要一步。