Stagehand项目中混合使用Playwright原生命令的技术实践

在自动化测试和网页交互领域，Playwright作为一个强大的浏览器自动化工具已经被广泛采用。而Stagehand项目在此基础上增加了LLM（大型语言模型）的智能交互能力，为开发者提供了更高级的自动化能力。然而，在实际开发过程中，我们经常会遇到需要混合使用传统Playwright命令和LLM驱动交互的场景。

为什么需要混合使用两种命令

在实际的自动化测试或网页交互脚本中，存在两种典型场景：

1. 确定性操作：当开发者明确知道页面元素的位置、属性或行为时，直接使用Playwright原生命令更为高效可靠。例如点击已知类名的按钮、填写特定ID的表单字段等。

2. 模糊性操作：当页面元素不确定或需要语义理解时，LLM驱动的交互则显示出优势。例如在动态生成的商品列表中选择符合特定描述的商品，或理解自然语言描述的操作指令。

Stagehand中的实现方式

Stagehand项目巧妙地将Playwright的page和context对象暴露出来，使得开发者可以在同一个脚本中无缝切换两种交互模式：

// 使用Playwright原生命令导航到目标页面
await stagehand.page.goto("https://example.com");

// 使用LLM驱动的智能交互点击特定描述的链接
await stagehand.act({ action: "点击'所有案例记录搜索'链接" });

// 再次使用Playwright原生命令精确操作特定元素
await stagehand.page.locator("label").filter({ hasText: "搜索方式" }).click();

最佳实践建议

1. 优先使用原生命令：对于确定性操作，优先考虑使用Playwright原生命令，这样执行更高效且结果可预测。

2. 合理使用LLM交互：在需要语义理解或处理动态内容的场景下，再引入LLM驱动的交互，以增强脚本的灵活性。

3. 注意上下文保持：混合使用时要注意操作之间的上下文关系，确保前一操作完成后页面状态符合下一操作的预期。

4. 错误处理：针对不同类型的操作实施不同的错误处理策略，原生命令通常有明确的错误类型，而LLM交互可能需要更通用的容错机制。

实际应用示例

假设我们需要测试一个电商网站的购买流程，其中登录环节是确定的，而商品选择则需要一定智能：

// 使用原生命令完成登录
await stagehand.page.goto("https://shop.example.com");
await stagehand.page.locator("#login-button").click();
await stagehand.page.locator("#username").fill("testuser");
await stagehand.page.locator("#password").fill("password123");
await stagehand.page.locator("#submit-login").click();

// 使用LLM交互选择商品
await stagehand.act({
  action: "选择一款价格在100-200元之间的无线耳机"
});

// 继续使用原生命令完成结账
await stagehand.page.locator("#checkout-button").click();

这种混合使用的方式既保证了关键路径的可靠性，又在需要智能决策的环节发挥了LLM的优势，是Stagehand项目中非常实用的技术实践。