Feast项目SQLite存储引擎的UPDATE与INSERT逻辑优化

在Feast项目的SQLite存储引擎实现中，存在一个可以优化的代码逻辑。当前代码在处理数据更新时采用了先尝试UPDATE再INSERT的冗余方式，而实际上可以利用SQLite的ON CONFLICT语法更优雅地实现这一功能。

当前实现的问题

现有代码采用了两个独立的SQL操作：

1. 首先执行UPDATE语句尝试更新已有记录
2. 然后执行INSERT OR IGNORE语句尝试插入新记录

这种方式存在几个问题：

• 需要执行两次数据库操作，增加了网络和计算开销
• 代码逻辑不够简洁直观
• 存在潜在的竞态条件风险

优化方案

SQLite提供了ON CONFLICT语法，可以原子性地处理插入冲突情况。我们可以将上述两个操作合并为一个原子操作：

conn.execute(
    f"""
    INSERT INTO {table_name} (entity_key, feature_name, value, event_ts, created_ts)
    VALUES (?, ?, ?, ?, ?)
    ON CONFLICT(entity_key, feature_name) DO UPDATE SET
        value = excluded.value,
        event_ts = excluded.event_ts,
        created_ts = excluded.created_ts;
    """,
    (
        entity_key_bin,          # entity_key
        feature_name,            # feature_name
        val.SerializeToString(), # value
        timestamp,               # event_ts
        created_ts               # created_ts
    ),
)

优化后的优势

1. 原子性操作：整个插入或更新过程在一个原子操作中完成，消除了竞态条件
2. 性能提升：减少了一次数据库操作，降低了网络和计算开销
3. 代码简洁：逻辑更加清晰，减少了代码量
4. 一致性保证：使用excluded伪表确保更新值与插入值一致

实现细节

1. ON CONFLICT子句：指定当(entity_key, feature_name)组合冲突时的处理方式
2. DO UPDATE SET：冲突时执行更新操作
3. excluded伪表：引用尝试插入但导致冲突的值
4. 参数绑定：使用参数化查询防止SQL注入

适用范围

这种优化不仅适用于Feast核心功能，也适用于项目中其他使用SQLite的组件，如sqlite-vec等。这种模式是SQLite中处理"upsert"(更新或插入)操作的推荐方式，值得在整个项目中推广使用。

通过这种优化，Feast项目可以获得更高效、更可靠的存储操作实现，同时保持代码的简洁性和可维护性。