Crawlab项目中存储型脚本注入问题分析与防御实践

问题背景

在Crawlab项目的数据爬取功能中，发现了一个典型的存储型跨站脚本注入问题。当爬虫程序抓取到包含恶意脚本代码的网页内容时，这些内容会被直接存储到数据库中，在用户查看数据时触发执行，导致安全风险。

问题原理

存储型脚本注入(也称为持久型脚本注入)是最危险的一类跨站脚本问题。攻击者将恶意脚本提交到目标网站的数据库中，当其他用户浏览包含这些恶意内容页面时，脚本就会在用户浏览器中执行。

在Crawlab的案例中，当爬虫抓取到包含类似<script>alert(1)</script>这样恶意脚本的网页时，系统未对这些内容进行适当过滤和转义，导致这些脚本被原样存储。当管理员或用户在Web界面查看这些数据时，浏览器会解析并执行这些脚本。

问题危害

1. 会话劫持：攻击者可窃取用户的会话cookie，获取系统权限
2. 钓鱼攻击：伪造登录界面诱导用户输入凭证
3. 数据泄露：通过脚本注入窃取敏感数据
4. 恶意操作：在用户不知情下执行系统操作
5. 传播蠕虫：自我复制的脚本注入蠕虫可在用户间传播

解决方案

1. 输入过滤与净化

在数据入库前，应对所有用户输入和爬取内容进行严格过滤：

from bs4 import BeautifulSoup
from html import escape

def sanitize_html(content):
    # 使用白名单方式过滤HTML标签
    allowed_tags = ['a', 'p', 'span', 'br', 'div']  # 根据需求定义允许的标签
    soup = BeautifulSoup(content, 'html.parser')
    
    for tag in soup.find_all(True):
        if tag.name not in allowed_tags:
            tag.decompose()
    
    return str(soup)

2. 输出编码

在将内容输出到HTML页面时，必须进行适当的编码：

function escapeHtml(unsafe) {
    return unsafe
        .replace(/&/g, "&")
        .replace(/</g, "&lt;")
        .replace(/>/g, "&gt;")
        .replace(/"/g, "&quot;")
        .replace(/'/g, "&#039;");
}

3. 内容安全策略(CSP)

通过设置HTTP头部的Content-Security-Policy，可以限制页面中可执行的脚本来源：

Content-Security-Policy: default-src 'self'; script-src 'self' 'unsafe-inline' 'unsafe-eval'

4. HttpOnly和Secure Cookie标记

确保所有cookie设置了HttpOnly和Secure属性，防止通过JavaScript窃取：

http.SetCookie(w, &http.Cookie{
    Name:     "session",
    Value:    sessionID,
    HttpOnly: true,
    Secure:   true,
    SameSite: http.SameSiteStrictMode,
})

最佳实践建议

1. 采用防御性编程：对所有用户输入和第三方数据都视为不可信的
2. 使用安全框架：如Django、React等现代框架内置了脚本注入防护机制
3. 定期安全审计：使用自动化工具扫描脚本注入问题
4. 安全编码培训：提高开发人员的安全意识
5. 多层防御：结合输入过滤、输出编码、CSP等多重防护

总结

存储型脚本注入问题在Web应用中危害严重，特别是像Crawlab这样的数据采集系统，处理大量不可控的第三方网页内容时风险更高。通过实施严格的输入过滤、输出编码，配合内容安全策略等防御措施，可以有效降低脚本注入攻击风险。安全是一个持续的过程，需要开发团队保持警惕，定期审查和更新防护措施。