IntelOwl项目中Maxmind分析器的调整与优化

背景介绍

IntelOwl是一个开源威胁情报分析平台，它集成了多种分析工具和服务来帮助安全研究人员快速分析可疑文件、域名、IP地址等。其中，Maxmind的地理位置数据库分析器是IntelOwl中用于IP地址地理位置查询的重要组件。

问题发现

在近期维护过程中，开发团队发现当前的Maxmind分析器实现存在几个需要改进的地方：

1. 目前仅下载City和Country数据库，缺少ASN(自治系统号)数据库的支持
2. 使用的下载URL已经过时，Maxmind官方提供了更直接的下载方式
3. 使用的Python库不是Maxmind官方推荐的版本

技术分析

数据库下载机制

Maxmind提供了三种主要的数据库类型：

• GeoLite2-Country：国家级别的地理位置数据
• GeoLite2-City：城市级别的地理位置数据
• GeoLite2-ASN：自治系统号(ASN)数据

新的下载机制要求使用HTTP基本认证，需要提供账户ID和许可证密钥两个凭证。这与旧版仅需许可证密钥的机制有所不同。

官方库对比

当前实现使用的是第三方Maxmind库，而Maxmind官方推荐使用geoip2库。但需要注意的是：

• geoip2的Web服务功能仅支持City和Country数据库查询
• ASN数据库仍需通过下载本地数据库文件的方式使用

解决方案

经过讨论和Maxmind产品经理的确认，最终采取的优化方案包括：

1. 保留本地数据库文件的下载机制，不强制迁移到Web服务API
2. 更新下载URL至最新官方推荐格式
3. 添加ASN数据库的支持
4. 实现账户ID和许可证密钥的双重认证机制

实现细节

在代码层面，主要做了以下改进：

1. 新增了获取账户ID的类方法，与现有的获取API密钥方法类似
2. 使用requests模块实现带认证的数据库下载
3. 扩展了数据库类型支持，包括ASN数据库
4. 更新了相关文档说明新的认证要求

注意事项

Maxmind产品经理特别提醒开发者注意以下两点：

1. 下载客户端必须配置为接受重定向
2. 服务器防火墙不应阻止到CDN存储的重定向连接

总结

这次对IntelOwl中Maxmind分析器的调整，不仅增加了ASN数据库支持，还使下载机制更加符合Maxmind的最新规范。通过保持本地数据库文件的处理方式，既保证了功能的完整性，又简化了迁移过程。这种改进体现了开源项目持续优化和与时俱进的特点，为用户提供了更全面、更稳定的IP地理位置分析能力。