Mautic项目中BitlyBot爬虫触发页面访问记录的解决方案

问题背景

在Mautic营销自动化平台中，当用户配置了Twilio短信服务和Bitly链接缩短服务后，系统出现了一个异常行为：Bitly的爬虫bot在扫描短链接时会触发页面访问记录，这些记录会被错误地关联到联系人身上。

技术现象分析

该问题表现为：

1. 当发送包含Bitly短链接的短信后，BitlyBot爬虫会访问目标页面进行内容扫描
2. 这些爬虫访问被Mautic记录为真实用户的页面访问
3. 导致基于"访问页面"条件的营销活动决策出现错误触发

问题根源

经过技术分析，发现问题出在Mautic的页面访问记录逻辑上：

1. 系统虽然在内置的"不跟踪机器人列表"中包含了bitlybot
2. 但页面模型(PageModel)的hitPage方法没有进行IP/用户代理的跟踪性检查
3. 与重定向控制器(PublicController.redirectAction)不同，页面控制器(PublicController.indexAction)直接记录访问而不过滤爬虫

解决方案

核心修复思路是在页面访问记录逻辑中添加爬虫检测：

1. 修改PageModel.php文件中的hitPage方法
2. 在记录访问前先获取IP地址信息
3. 调用isTrackable()方法检查该访问是否应该被跟踪
4. 只有可跟踪的访问才会被记录

技术实现细节

修复方案主要包含以下关键修改：

// 在hitPage方法中添加IP跟踪性检查
$ipAddress = $this->ipLookupHelper->getIpAddress();
if (!$ipAddress->isTrackable()) {
    return;
}

这一修改确保：

• 所有爬虫访问都会被正确识别
• 只有真实用户访问才会被记录
• 保持系统原有功能对合法访问的完整记录

影响范围

该修复主要影响以下场景：

• 使用链接缩短服务的营销活动
• 通过短信渠道发送的跟踪链接
• 任何可能被爬虫扫描的公开页面

最佳实践建议

对于Mautic用户，建议：

1. 定期更新到最新版本以获取此修复
2. 检查系统配置中的"不跟踪机器人列表"
3. 对于关键营销活动，可考虑使用自定义域名的短链接服务
4. 监控页面访问日志，确保没有异常爬虫记录

该修复已合并到Mautic主分支，用户可以通过升级系统版本获得这一改进。