使用Huginn的WebsiteAgent监控JSON数据变化时的去重策略

在Huginn项目中，WebsiteAgent是一个强大的工具，用于监控网页或API返回的JSON数据变化。但在实际应用中，我们经常会遇到一些特殊场景，比如需要监控JSON数据结构变化但忽略某些频繁变动的字段值。

问题背景

当使用WebsiteAgent监控视频平台API返回的JSON数据时，数据结构通常包含视频的基本信息和实时变化的播放量数据。例如：

{
    "sub_time": 20241202,
    "sub_user": "xxx",
    "content_node": {
        "text": "视频描述",
        "video": {
            "play": 1111,
            "video_title": "视频标题",
            "video_img": "封面图URL",
            "video_link": "视频链接"
        }
    }
}

其中play字段(播放量)会频繁更新，而其他字段如标题、封面图等则相对稳定。直接使用WebsiteAgent会导致每次播放量变化都被识别为新事件，产生大量重复数据。

解决方案分析

1. 预处理过滤法

通过组合多个Agent实现预处理过滤：

1. Post Agent：获取原始JSON数据
2. JavaScript Agent：遍历数据并移除play字段
3. Website Agent：处理净化后的数据生成事件

这种方法的优点是可以精确控制需要过滤的字段，缺点是增加了处理链的复杂度。

2. 变更检测后处理法

使用De-Duplication Agent对生成的事件进行去重：

1. Website Agent：直接监控原始JSON数据
2. De-Duplication Agent：基于视频唯一标识(如sub_time或video_link)去重

这种方法实现简单，但可能会遗漏真正的内容变更。

3. 高级JSONPath过滤

尝试使用JSONPath表达式精确指定需要监控的字段：

{{ content_node.video | json: "video_title,video_img,video_link" }}

这种方法理论上可行，但在Huginn中的实际效果可能有限。

最佳实践建议

对于视频监控场景，推荐采用组合方案：

1. 第一层过滤：使用JavaScript Agent预处理，移除高度易变的字段
2. 第二层监控：Website Agent监控预处理后的数据
3. 第三层校验：De-Duplication Agent确保事件唯一性

示例JavaScript处理代码：

// 遍历JSON数组并删除play字段
payload.forEach(item => {
    if(item.content_node && item.content_node.video) {
        delete item.content_node.video.play;
    }
});
return {payload: payload};

技术要点总结

1. 理解数据特性：识别稳定字段和易变字段是关键
2. 分层处理：复杂场景需要多层Agent协同工作
3. 性能考量：预处理可以减少不必要的事件触发
4. 灵活性：根据实际业务需求调整处理策略

通过合理配置Huginn的Agent链，可以有效解决JSON监控中的字段级变化过滤问题，为下游处理提供干净、准确的数据源。