Strands Agents 实时响应流处理技术详解

引言

在现代人工智能应用开发中，实时处理和展示大语言模型(LLM)的响应变得越来越重要。Strands Agents项目提供了两种强大的实时响应处理机制：异步迭代器和回调处理器。本文将深入解析这两种技术的工作原理、适用场景以及实际应用方法。

技术概览

Strands Agents提供了两种处理实时响应的主要方法：

1. 异步迭代器(Async Iterators)：适用于FastAPI、aiohttp等异步框架，通过stream_async方法返回异步迭代器
2. 回调处理器(Callback Handlers)：允许在代理执行过程中拦截和处理事件，实现实时监控、自定义输出格式等功能

环境准备

系统要求

• Python 3.10+
• AWS账号
• Amazon Bedrock上已启用Anthropic Claude 3.7

依赖安装

!pip install -r requirements.txt

基础导入

import asyncio
import httpx
import nest_asyncio
import uvicorn
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
from strands import Agent, tool
from strands_tools import calculator

方法一：异步迭代器实现流式响应

核心概念

异步迭代器是Python异步编程的重要特性，特别适合处理长时间运行的流式数据。在Strands Agents中，stream_async方法返回的异步迭代器能够实时产生代理执行过程中的各种事件。

基础实现

nest_asyncio.apply()  # 允许嵌套异步事件循环

agent = Agent(tools=[calculator], callback_handler=None)

async def process_streaming_response():
    agent_stream = agent.stream_async("Calculate 2+2")
    async for event in agent_stream:
        print(event)

asyncio.run(process_streaming_response())

事件生命周期分析

通过增强的打印格式，我们可以清晰地观察代理执行的生命周期：

async def process_streaming_response():
    agent_stream = agent.stream_async("What is the capital of France and what is 42+7?")
    async for event in agent_stream:
        if event.get("init_event_loop", False):
            print("🔄 Event loop initialized")
        elif event.get("start_event_loop", False):
            print("▶️ Event loop cycle starting")
        elif event.get("start", False):
            print("📝 New cycle started")
        elif "message" in event:
            print(f"📬 New message created: {event['message']['role']}")
        elif event.get("complete", False):
            print("✅ Cycle completed")
        elif event.get("force_stop", False):
            print(f"🛑 Event loop force-stopped: {event.get('force_stop_reason', 'unknown reason')}")
        
        if "current_tool_use" in event and event["current_tool_use"].get("name"):
            tool_name = event["current_tool_use"]["name"]
            print(f"🔧 Using tool: {tool_name}")
        
        if "data" in event:
            data_snippet = event["data"][:20] + ("..." if len(event["data"]) > 20 else "")
            print(f"📟 Text: {data_snippet}")

asyncio.run(process_streaming_response())

FastAPI集成实战

将流式响应集成到FastAPI中可以创建强大的实时API端点。我们首先扩展代理功能，添加天气预测工具：

@tool
def weather_forecast(city: str, days: int = 3) -> str:
    return f"Weather forecast for {city} for the next {days} days..."

app = FastAPI()

class PromptRequest(BaseModel):
    prompt: str

@app.post("/stream")
async def stream_response(request: PromptRequest):
    async def generate():
        agent = Agent(tools=[calculator, weather_forecast], callback_handler=None)
        try:
            async for event in agent.stream_async(request.prompt):
                if "data" in event:
                    yield event["data"]
        except Exception as e:
            yield f"Error: {str(e)}"
    
    return StreamingResponse(generate(), media_type="text/plain")

async def start_server():
    config = uvicorn.Config(app, host="0.0.0.0", port=8001, log_level="info")
    server = uvicorn.Server(config)
    await server.serve()

server_task = asyncio.create_task(start_server())
await asyncio.sleep(0.1)
print("✅ Server is running at http://0.0.0.0:8001")

客户端调用示例：

async def fetch_stream():
    async with httpx.AsyncClient() as client:
        async with client.stream(
            "POST",
            "http://0.0.0.0:8001/stream",
            json={"prompt": "What is weather in NYC?"},
        ) as response:
            async for line in response.aiter_lines():
                if line.strip():
                    print("Received:", line)

await fetch_stream()

方法二：回调处理器实现流式响应

核心概念

回调处理器提供了一种更灵活的方式来拦截和处理代理执行过程中的各种事件。这种方法特别适合需要深度定制处理逻辑的场景。

实现自定义回调处理器

def custom_callback_handler(**kwargs):
    if "data" in kwargs:
        print(f"MODEL OUTPUT: {kwargs['data']}")
    elif "current_tool_use" in kwargs and kwargs["current_tool_use"].get("name"):
        print(f"\nUSING TOOL: {kwargs['current_tool_use']['name']}")

agent = Agent(tools=[calculator], callback_handler=custom_callback_handler)
agent("Calculate 2+2")

技术对比与选型建议

特性	异步迭代器	回调处理器
适用场景	异步框架集成	自定义事件处理
复杂度	中等	低
灵活性	高	极高
性能	优	良
推荐用途	API流式响应	监控、日志、定制输出

最佳实践

1. 生产环境部署：在FastAPI等异步框架中优先使用异步迭代器
2. 调试与监控：使用回调处理器记录详细执行日志
3. 性能优化：对于长时间运行的代理，考虑结合两种方法
4. 错误处理：确保流式响应中妥善处理异常情况

结语

Strands Agents提供的两种流式响应处理方法各有优势，开发者可以根据具体需求选择合适的技术方案。异步迭代器适合构建实时API，而回调处理器则提供了更细粒度的事件控制能力。掌握这两种技术将大大增强您构建高效、响应式AI应用的能力。