解决Ollama Python SDK中AsyncClient的异步调用问题

在使用Ollama Python SDK的AsyncClient进行异步编程时，开发者可能会遇到一个常见的运行时错误："asyncio.run() cannot be called from a running event loop"。这个问题通常发生在Jupyter Notebook等已经运行事件循环的环境中，直接调用asyncio.run()会导致冲突。

问题分析

当我们在以下环境中执行异步代码时会出现这个问题：

1. Jupyter Notebook/IPython环境（它们内部已经运行了事件循环）
2. 其他已经启动事件循环的异步上下文中
3. 嵌套调用asyncio.run()的情况

错误的核心在于asyncio.run()设计为程序的主入口点，它会创建一个新的事件循环。如果环境中已经存在运行中的事件循环，就会抛出这个运行时错误。

解决方案

对于不同的使用场景，我们有几种解决方法：

方案一：在普通Python脚本中使用

如果是独立的Python脚本，可以保持原有写法：

from ollama import AsyncClient
import asyncio

async def chat():
    message = {"role":"user","content":"why people smile?"}
    response = await AsyncClient().chat(model="llama2",messages=[message])
    print(response)

asyncio.run(chat())

方案二：在Jupyter Notebook中使用

在Jupyter环境中，应该使用以下方式：

from ollama import AsyncClient

async def chat():
    message = {"role":"user","content":"why people smile?"}
    response = await AsyncClient().chat(model="llama2",messages=[message])
    print(response)

# 在Notebook中直接await协程
await chat()

方案三：通用兼容写法

如果需要代码在多种环境中都能运行，可以这样处理：

from ollama import AsyncClient
import asyncio

async def chat():
    message = {"role":"user","content":"why people smile?"}
    response = await AsyncClient().chat(model="llama2",messages=[message])
    print(response)

try:
    # 尝试在现有事件循环中运行
    import nest_asyncio
    nest_asyncio.apply()
    await chat()
except:
    # 如果没有事件循环，则创建新的
    asyncio.run(chat())

最佳实践建议

1. 明确区分脚本环境和交互环境的使用方式
2. 在库开发中避免直接调用asyncio.run()，应该由调用方决定如何运行协程
3. 对于复杂的异步应用，考虑使用更高级的框架如FastAPI等
4. 在Jupyter环境中可以安装nest_asyncio包来处理事件循环嵌套问题

原理深入

Python的asyncio设计遵循以下原则：

• 一个线程同一时间只能有一个运行中的事件循环
• asyncio.run()会创建新的事件循环并设置为当前线程的默认循环
• 在已有事件循环的上下文中再次调用asyncio.run()违反了这一设计原则

理解这些底层机制有助于开发者更好地处理异步编程中的各种边界情况。Ollama的AsyncClient作为异步客户端，需要遵循这些原则才能在各种环境中正确工作。

通过采用上述解决方案，开发者可以灵活地在不同环境中使用Ollama的异步功能，充分发挥大语言模型的潜力。