【附下载链接】160万条标注推文:情感分析数据集与训练上手速览
【附下载链接】160万条标注推文:情感分析数据集与训练上手速览
一套由斯坦福大学整理的情感分析数据集:含 160 万条正负标注推文与 498 条人工标注测试样本,适合做模型训练、工具开发和研究评测,先看这篇速览。
一、它是什么:面向文本分类的情感数据资源
做情感分析,最缺的往往不是算法,而是带标签的语料。这份斯坦福整理的语料提供约 160 万条极性标注推文和 498 条人工标注测试样本,面向文本分类、极性判断等任务。要点先看表:
| 速览项 | 内容 |
|---|---|
| 数据规模 | 训练集 1,600,000 条,测试集 498 条 |
| 标签类别 | 0(负面)/ 4(正面),训练集两极各 80 万条 |
| 文本来源 | 2009 年前后的英文推文(noemoticon 版本) |
| 许可证 | MIT License(见 LICENSE) |
二、核心内容拆解:数据构成与字段说明
1. 训练集:160 万条均衡标注推文
training.1600000.processed.noemoticon.csv 共 160 万行,标签 0 与 4 各 80 万条,正负均衡,直接适合二分类训练。文本为已处理的推文,无需额外清洗。
2. 测试集:498 条人工标注样本
testdata.manual.2009.06.14.csv 由人工标注,共 498 条:4 标 182 条、0 标 177 条,另有 139 条 2 标。标注口径与训练集不同,适合独立评测,不建议并入训练。
3. CSV 字段:一行七列,末列是文本
两个 CSV 结构一致:标签、推文 ID、发布时间、搜索词、用户名、推文正文,共 7 列。正文用双引号包裹且可含逗号,读取时用标准 CSV 解析器,别按逗号直接切。
三、拿它实际能做什么:训练、工具与研究三类场景
1. 模型训练:跑通情感分类基线
以"判断推文正面还是负面"为目标,取 0/4 样本训练文本分类模型,再用测试集的 0/4 样本独立评测,即可得到一条可复现的基线。这是该数据集最典型用法。
2. 工具开发:给产品加情感分析能力
目标是产品功能时,可以基于它训练小模型,接入舆情监控、营销分析或客服工单摘要,先验证效果,再考虑更大规模语料。
3. 研究分析:对比算法与评估方法
做方法对比时,它提供统一的数据输入:不同算法在同一批样本上比较 F1 与准确率,结果才有可比性;0/4 的均衡分布也简化了指标计算。
四、上手前要知道的事:格式、限制与注意事项
- 📦 解压使用:数据在 trainingandtestdata.zip 中,训练 CSV 约 226 MB,先解压再加载。
- 标签口径:训练集只有 0 和 4;测试集混有 139 条 2 标,评测前先决定是否剔除。
- 语言与领域:语料是 2009 年前后的英文推文,中文情感分析或新领域直接迁移要谨慎。
- 许可证:MIT License,允许商用与修改;数据源自社交平台,内容使用条款请自行确认。
- 无表头:CSV 不含标题行,代码中需自行定义列名。
拿到压缩包后,建议先解压、用测试集跑一次基线,再决定后续投入。
登录后查看全文