Flyte项目数据库索引优化实践：解决工作流页面加载缓慢问题

问题背景

在Flyte项目中，当数据库中存在大量工作流记录时（超过5万条），用户界面加载工作流页面会出现明显的性能问题，页面加载时间可能延长至数分钟。同时，每次访问该页面都会导致数据库服务器CPU使用率飙升。

性能瓶颈分析

通过数据库慢查询日志分析，发现以下SQL查询是性能瓶颈的主要来源：

SELECT executions.*
FROM executions
INNER JOIN workflows ON executions.workflow_id = workflows.id
WHERE executions.execution_project = $1
  AND executions.execution_domain = $2
  AND workflows.name = $3
  AND executions.state = $4
ORDER BY created_at DESC
LIMIT 1

该查询存在两个关键性能问题：

1. 在workflows表上只对name字段进行过滤，而数据库中存在的是复合索引(project, domain, name)
2. 查询条件中project和domain字段是过滤executions表而非workflows表

优化方案

针对上述问题，可以实施以下优化措施：

查询重写优化

将查询条件中的project和domain过滤应用于workflows表而非executions表，使查询能够利用现有的复合索引：

SELECT executions.*
FROM executions
INNER JOIN workflows ON executions.workflow_id = workflows.id
WHERE workflows.project = $1
  AND workflows.domain = $2
  AND workflows.name = $3
  AND executions.state = $4
ORDER BY created_at DESC
LIMIT 1

类似问题的任务查询优化

同样的问题也存在于任务查询中：

SELECT executions.*
FROM executions
INNER JOIN tasks ON executions.task_id = tasks.id
WHERE executions.execution_project = $1
  AND executions.execution_domain = $2
  AND tasks.name = $3
  AND executions.state = $4
ORDER BY created_at DESC
LIMIT 100

优化后的查询应改为：

SELECT executions.*
FROM executions
INNER JOIN tasks ON executions.task_id = tasks.id
WHERE tasks.project = $1
  AND tasks.domain = $2
  AND tasks.name = $3
  AND executions.state = $4
ORDER BY created_at DESC
LIMIT 100

实现层面的优化

问题根源在于Flyte控制台(UI)发出的API请求中，过滤条件只包含了工作流名称和版本，而没有包含project和domain信息。API请求格式如下：

/api/v1/executions/my-project/my-domain?filters=eq(workflow.name,my-workflow)+eq(workflow.version,0.1.0)

优化后的请求应包含完整的过滤条件：

/api/v1/executions/my-project/my-domain?filters=eq(workflow.project,my-project)+eq(workflow.domain,my-domain)+eq(workflow.name,my-workflow)+eq(workflow.version,0.1.0)

性能优化效果

通过上述优化，预计可以获得以下改进：

1. 工作流页面加载时间从分钟级降至秒级
2. 数据库服务器CPU使用率显著降低
3. 系统整体响应速度提升，用户体验改善

总结

数据库查询优化是大型分布式系统性能调优的重要环节。Flyte项目中工作流页面加载缓慢的问题，通过分析发现是由于查询未能有效利用现有索引导致的。通过调整查询条件，使查询能够充分利用数据库已有的复合索引，可以显著提升系统性能。这种优化思路不仅适用于Flyte项目，对于其他数据库应用系统也具有参考价值。