Feast项目中BigQuery离线存储配置的billing_project_id问题解析

问题背景

在Feast项目中使用BigQuery作为离线存储时，当配置中包含billing_project_id参数时，系统会抛出错误。这个问题主要出现在Feast 0.37和0.40版本中，影响了Mac(M1)平台的用户。

技术细节分析

该问题的核心在于Pydantic验证逻辑的实现方式。在Feast的SDK代码中，BigQuery离线存储配置类(BigQueryOfflineStoreConfig)包含对billing_project_id参数的验证逻辑。当用户指定了billing_project_id时，系统会检查是否同时配置了project_id。

在Pydantic 1.x版本中，验证器可以直接通过values字典访问其他字段的值。但在升级到Pydantic 2.x后，values字典的结构发生了变化，现在需要通过values.data来访问这些字段值。

问题根源

具体来说，在sdk/python/feast/infra/offline_stores/bigquery.py文件的第107行附近，验证器期望project_id存在于values字典中。然而在Pydantic 2.9.2版本中，这些字段值实际上存储在values.data属性下。

这种版本差异导致了验证逻辑无法正确获取project_id的值，从而抛出错误。这是一个典型的向后兼容性问题，在库升级过程中经常遇到。

解决方案

正确的实现方式应该是修改验证器逻辑，通过values.data来访问project_id字段。具体代码应该调整为：

def project_id_exists(cls, v, values, **kwargs):
    if v and not values.data.get("project_id"):
        raise ValueError(
            "please specify project_id if billing_project_id is specified"
        )
    return v

这种修改保持了原有的业务逻辑，同时适配了Pydantic 2.x的新API。

影响范围

这个问题主要影响：

1. 使用BigQuery作为离线存储的用户
2. 在配置中指定了billing_project_id参数的情况
3. 运行在Pydantic 2.x环境下的Feast实例

对于不使用billing_project_id或者仍在使用Pydantic 1.x的用户，不会遇到这个问题。

最佳实践建议

对于遇到此问题的用户，建议：

1. 检查当前使用的Pydantic版本
2. 如果使用Pydantic 2.x，可以考虑临时降级到1.x版本
3. 或者等待Feast官方发布包含修复的版本
4. 在本地修改验证器逻辑作为临时解决方案

对于项目维护者，建议在代码中加入版本检测逻辑，以兼容不同版本的Pydantic API，提高代码的健壮性。