Psycopg2多线程环境下共享游标的问题与解决方案

问题背景

在使用Psycopg2连接PostgreSQL数据库时，开发者经常会在多线程环境下遇到游标共享问题。一个典型场景是在FastAPI应用中，通过ThreadPoolExecutor处理后台数据库操作时，多个线程尝试共享同一个游标对象，导致查询结果混乱或"no results to fetch"错误。

问题现象

当多个线程同时执行数据库操作时，可能会出现以下异常情况：

1. 执行fetchone()时抛出"no results to fetch"错误
2. 打印cursor.query时显示与当前执行语句不符的其他SQL查询
3. 查询结果被其他线程的操作覆盖

根本原因

Psycopg2的游标对象不是线程安全的。在多线程环境中，如果多个线程共享同一个游标实例，会导致：

1. 游标状态被并发操作破坏
2. 查询结果集被其他线程的操作覆盖
3. SQL语句执行顺序混乱

解决方案

方案一：为每个线程创建独立连接和游标

最直接的解决方法是避免共享游标，为每个线程任务创建独立的数据库连接和游标实例：

def process_in_thread(stid):
    # 为每个线程创建新连接
    connection = psycopg2.connect(...)
    cursor = connection.cursor()
    
    # 执行查询操作
    cursor.execute("SELECT ...")
    result = cursor.fetchone()
    
    # 关闭资源
    cursor.close()
    connection.close()
    return result

方案二：使用连接池管理连接

对于高频数据库操作场景，频繁创建和关闭连接会影响性能。可以使用连接池来管理数据库连接：

from psycopg2.pool import ThreadedConnectionPool

# 初始化连接池
pool = ThreadedConnectionPool(
    minconn=1,
    maxconn=10,
    host='...',
    database='...',
    user='...',
    password='...'
)

def process_with_pool(stid):
    # 从池中获取连接
    connection = pool.getconn()
    cursor = connection.cursor()
    
    try:
        cursor.execute("SELECT ...")
        result = cursor.fetchone()
        return result
    finally:
        # 释放连接回池中
        cursor.close()
        pool.putconn(connection)

方案三：升级到Psycopg3

Psycopg3提供了更好的异步支持和内置连接池功能，可以更优雅地处理并发数据库访问：

import psycopg_pool

# 创建异步连接池
pool = psycopg_pool.AsyncConnectionPool(...)

async def process_with_psycopg3(stid):
    async with pool.connection() as conn:
        async with conn.cursor() as cur:
            await cur.execute("SELECT ...")
            result = await cur.fetchone()
            return result

最佳实践建议

1. 避免共享游标：永远不要在多个线程间共享同一个游标对象
2. 合理管理连接：根据应用场景选择适当的连接管理策略
3. 使用上下文管理器：确保资源正确释放
4. 考虑异步方案：对于高并发场景，异步数据库驱动通常性能更好
5. 错误处理：始终包含适当的错误处理和事务回滚机制

总结

在多线程环境下使用Psycopg2时，正确处理数据库连接和游标的生命周期至关重要。通过为每个线程创建独立连接、使用连接池或升级到Psycopg3，可以有效解决游标共享导致的问题，确保数据库操作的线程安全和性能。