Ollama-python 项目中使用 Modelfile 创建自定义模型的注意事项

在 ollama-python 项目中创建自定义模型时，开发者经常会使用 Modelfile 来定义模型的行为和特性。然而，一个常见的错误可能导致创建过程失败，本文将详细解析这个问题及其解决方案。

问题现象

当开发者尝试通过 Python 代码创建自定义模型时，可能会遇到如下错误提示：

ResponseError: command must be one of "from", "license", "template", "system", "adapter", "parameter", or "message"

这个错误通常发生在使用 ollama.create() 方法并传入 modelfile 参数时，表明 Modelfile 的语法结构存在问题。

问题根源

经过分析，这类错误最常见的原因是 Modelfile 中的 SYSTEM 指令内容没有正确使用三重引号闭合。在示例中，开发者将 "Très important" 这段文本放在了 SYSTEM 指令的三重引号之外，导致解析器无法识别这部分内容的指令类型。

正确的 Modelfile 结构

一个规范的 Modelfile 应该遵循以下结构：

modelfile = '''
FROM 模型名称
SYSTEM """
这里是系统指令内容
所有相关内容都应包含在三重引号内
"""
'''

关键要点：

1. FROM 指令必须放在首位，指定基础模型
2. SYSTEM 指令需要使用三重引号（"""）将内容完整包裹
3. 所有与系统提示相关的内容都应包含在三重引号内

解决方案

对于出现的问题，修正方法是将所有系统提示内容都包含在 SYSTEM 指令的三重引号内：

modelfile='''FROM ''' + TARGET_MODEL + '''
SYSTEM """Tu es un expert en ressources humaines. Ta spécialité est de lier des activités ou des sujets au
référentiel des codes ROME de France Travail.

[...其他内容...]

Très important : plus le json sera complet, meilleures seront les analyses produites par la suite par le data-analyste.
"""
'''

最佳实践建议

1. 语法检查：在创建模型前，先打印出完整的 modelfile 内容进行检查
2. 引号匹配：确保所有指令内容都被正确的引号包裹
3. 指令顺序：保持 FROM 指令在最前面，其他指令按需排列
4. 内容组织：较长的系统提示可以预先定义在单独变量中，提高可读性
5. 错误处理：在代码中添加对 ResponseError 的捕获和处理逻辑

通过遵循这些规范，开发者可以避免常见的 Modelfile 语法错误，顺利创建自定义模型。记住，Modelfile 的语法要求严格，任何格式上的小错误都可能导致创建失败。