Strands Agents 实时响应流处理技术详解
2025-06-03 03:11:13作者:申梦珏Efrain
引言
在现代人工智能应用开发中,实时处理和展示大语言模型(LLM)的响应变得越来越重要。Strands Agents项目提供了两种强大的实时响应处理机制:异步迭代器和回调处理器。本文将深入解析这两种技术的工作原理、适用场景以及实际应用方法。
技术概览
Strands Agents提供了两种处理实时响应的主要方法:
- 异步迭代器(Async Iterators):适用于FastAPI、aiohttp等异步框架,通过
stream_async
方法返回异步迭代器 - 回调处理器(Callback Handlers):允许在代理执行过程中拦截和处理事件,实现实时监控、自定义输出格式等功能
环境准备
系统要求
- Python 3.10+
- AWS账号
- Amazon Bedrock上已启用Anthropic Claude 3.7
依赖安装
!pip install -r requirements.txt
基础导入
import asyncio
import httpx
import nest_asyncio
import uvicorn
from fastapi import FastAPI
from fastapi.responses import StreamingResponse
from pydantic import BaseModel
from strands import Agent, tool
from strands_tools import calculator
方法一:异步迭代器实现流式响应
核心概念
异步迭代器是Python异步编程的重要特性,特别适合处理长时间运行的流式数据。在Strands Agents中,stream_async
方法返回的异步迭代器能够实时产生代理执行过程中的各种事件。
基础实现
nest_asyncio.apply() # 允许嵌套异步事件循环
agent = Agent(tools=[calculator], callback_handler=None)
async def process_streaming_response():
agent_stream = agent.stream_async("Calculate 2+2")
async for event in agent_stream:
print(event)
asyncio.run(process_streaming_response())
事件生命周期分析
通过增强的打印格式,我们可以清晰地观察代理执行的生命周期:
async def process_streaming_response():
agent_stream = agent.stream_async("What is the capital of France and what is 42+7?")
async for event in agent_stream:
if event.get("init_event_loop", False):
print("🔄 Event loop initialized")
elif event.get("start_event_loop", False):
print("▶️ Event loop cycle starting")
elif event.get("start", False):
print("📝 New cycle started")
elif "message" in event:
print(f"📬 New message created: {event['message']['role']}")
elif event.get("complete", False):
print("✅ Cycle completed")
elif event.get("force_stop", False):
print(f"🛑 Event loop force-stopped: {event.get('force_stop_reason', 'unknown reason')}")
if "current_tool_use" in event and event["current_tool_use"].get("name"):
tool_name = event["current_tool_use"]["name"]
print(f"🔧 Using tool: {tool_name}")
if "data" in event:
data_snippet = event["data"][:20] + ("..." if len(event["data"]) > 20 else "")
print(f"📟 Text: {data_snippet}")
asyncio.run(process_streaming_response())
FastAPI集成实战
将流式响应集成到FastAPI中可以创建强大的实时API端点。我们首先扩展代理功能,添加天气预测工具:
@tool
def weather_forecast(city: str, days: int = 3) -> str:
return f"Weather forecast for {city} for the next {days} days..."
app = FastAPI()
class PromptRequest(BaseModel):
prompt: str
@app.post("/stream")
async def stream_response(request: PromptRequest):
async def generate():
agent = Agent(tools=[calculator, weather_forecast], callback_handler=None)
try:
async for event in agent.stream_async(request.prompt):
if "data" in event:
yield event["data"]
except Exception as e:
yield f"Error: {str(e)}"
return StreamingResponse(generate(), media_type="text/plain")
async def start_server():
config = uvicorn.Config(app, host="0.0.0.0", port=8001, log_level="info")
server = uvicorn.Server(config)
await server.serve()
server_task = asyncio.create_task(start_server())
await asyncio.sleep(0.1)
print("✅ Server is running at http://0.0.0.0:8001")
客户端调用示例:
async def fetch_stream():
async with httpx.AsyncClient() as client:
async with client.stream(
"POST",
"http://0.0.0.0:8001/stream",
json={"prompt": "What is weather in NYC?"},
) as response:
async for line in response.aiter_lines():
if line.strip():
print("Received:", line)
await fetch_stream()
方法二:回调处理器实现流式响应
核心概念
回调处理器提供了一种更灵活的方式来拦截和处理代理执行过程中的各种事件。这种方法特别适合需要深度定制处理逻辑的场景。
实现自定义回调处理器
def custom_callback_handler(**kwargs):
if "data" in kwargs:
print(f"MODEL OUTPUT: {kwargs['data']}")
elif "current_tool_use" in kwargs and kwargs["current_tool_use"].get("name"):
print(f"\nUSING TOOL: {kwargs['current_tool_use']['name']}")
agent = Agent(tools=[calculator], callback_handler=custom_callback_handler)
agent("Calculate 2+2")
技术对比与选型建议
特性 | 异步迭代器 | 回调处理器 |
---|---|---|
适用场景 | 异步框架集成 | 自定义事件处理 |
复杂度 | 中等 | 低 |
灵活性 | 高 | 极高 |
性能 | 优 | 良 |
推荐用途 | API流式响应 | 监控、日志、定制输出 |
最佳实践
- 生产环境部署:在FastAPI等异步框架中优先使用异步迭代器
- 调试与监控:使用回调处理器记录详细执行日志
- 性能优化:对于长时间运行的代理,考虑结合两种方法
- 错误处理:确保流式响应中妥善处理异常情况
结语
Strands Agents提供的两种流式响应处理方法各有优势,开发者可以根据具体需求选择合适的技术方案。异步迭代器适合构建实时API,而回调处理器则提供了更细粒度的事件控制能力。掌握这两种技术将大大增强您构建高效、响应式AI应用的能力。
登录后查看全文
热门项目推荐
- QQwen3-Omni-30B-A3B-InstructQwen3-Omni是多语言全模态模型,原生支持文本、图像、音视频输入,并实时生成语音。00
- HHunyuan-MT-7B腾讯混元翻译模型主要支持33种语言间的互译,包括中国五种少数民族语言。00
GitCode-文心大模型-智源研究院AI应用开发大赛
GitCode&文心大模型&智源研究院强强联合,发起的AI应用开发大赛;总奖池8W,单人最高可得价值3W奖励。快来参加吧~0269get_jobs
💼【AI找工作助手】全平台自动投简历脚本:(boss、前程无忧、猎聘、拉勾、智联招聘)Java00AudioFly
AudioFly是一款基于LDM架构的文本转音频生成模型。它能生成采样率为44.1 kHz的高保真音频,且与文本提示高度一致,适用于音效、音乐及多事件音频合成等任务。Python00GOT-OCR-2.0-hf
阶跃星辰StepFun推出的GOT-OCR-2.0-hf是一款强大的多语言OCR开源模型,支持从普通文档到复杂场景的文字识别。它能精准处理表格、图表、数学公式、几何图形甚至乐谱等特殊内容,输出结果可通过第三方工具渲染成多种格式。模型支持1024×1024高分辨率输入,具备多页批量处理、动态分块识别和交互式区域选择等创新功能,用户可通过坐标或颜色指定识别区域。基于Apache 2.0协议开源,提供Hugging Face演示和完整代码,适用于学术研究到工业应用的广泛场景,为OCR领域带来突破性解决方案。00- HHowToCook程序员在家做饭方法指南。Programmer's guide about how to cook at home (Chinese only).Dockerfile08
- PpathwayPathway is an open framework for high-throughput and low-latency real-time data processing.Python00
热门内容推荐
最新内容推荐
项目优选
收起

OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
149
1.95 K

deepin linux kernel
C
22
6

旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
980
395

React Native鸿蒙化仓库
C++
192
274

🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
931
555

openGauss kernel ~ openGauss is an open source relational database management system
C++
145
190

Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0

为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
75
66

本仓将为广大高校开发者提供开源实践和创新开发平台,收集和展示openHiTLS示例代码及创新应用,欢迎大家投稿,让全世界看到您的精巧密码实现设计,也让更多人通过您的优秀成果,理解、喜爱上密码技术。
C
65
518

为仓颉编程语言开发者打造活跃、开放、高质量的社区环境
Markdown
1.11 K
0