Feast项目中RequestSource与在线存储写入的兼容性问题分析

问题背景

在Feast项目的最新开发中，发现了一个关于RequestSource数据源与在线存储写入功能不兼容的技术问题。RequestSource作为Feast提供的一种特殊数据源类型，主要用于在线请求时直接提供特征数据，而不需要从持久化存储中读取。

问题现象

当开发者尝试将RequestSource配置为特征视图(FeatureView)的数据源，并启用在线存储写入功能(write_to_online_store)时，系统会在数据转换过程中抛出异常。具体表现为无法从RequestSource中提取时间戳字段(timestamp_field)，导致数据无法正确转换为协议缓冲区格式。

技术分析

问题的根本原因在于Feast内部的数据转换逻辑中，默认假设所有批处理数据源(batch_source)都包含时间戳字段。然而，RequestSource作为一种特殊的数据源类型，其设计初衷是用于在线请求时的即时特征计算，并不需要历史时间点数据，因此没有内置时间戳字段的定义。

在当前的实现中，_convert_arrow_to_proto函数会尝试从数据源的timestamp_field属性获取时间戳信息，但RequestSource类并没有这个属性，导致转换失败。

解决方案探讨

针对这个问题，社区提出了几种可能的解决方案方向：

1. 扩展RequestSource属性：为RequestSource添加timestamp_field属性，允许用户显式指定时间戳字段。这种方法保持了现有接口的一致性，但需要考虑RequestSource的实际使用场景是否真的需要时间戳。

2. 修改转换逻辑：对于RequestSource类型的数据源，在写入在线存储时跳过时间戳处理。这种方法更符合RequestSource的设计初衷，因为它主要用于在线请求而非历史数据存储。

3. 创建新的数据源类型：如果用户确实需要将临时数据写入在线存储，可以考虑设计一种新的数据源类型，专门用于这种临时数据导入场景。

相关开发进展

值得注意的是，社区中已经有相关工作在进行，特别是关于持久化按需特征视图(Persistent On Demand Feature Views)的开发。这些工作可能会对RequestSource的功能扩展和在线存储写入的兼容性问题提供更全面的解决方案。

总结

这个问题揭示了Feast在数据源类型设计和在线存储功能之间的一个接口不匹配问题。解决这个问题不仅需要技术实现上的调整，还需要从架构设计层面考虑不同数据源类型的语义和使用场景。对于需要使用RequestSource写入在线存储的用户，目前建议等待社区提供官方解决方案，或者考虑使用其他数据源类型作为临时替代方案。