【纯免费分享】5份中文停用词表怎么选?把"的、了、是"踢出你的文本挖掘结果
【纯免费分享】5份中文停用词表怎么选?把"的、了、是"踢出你的文本挖掘结果
跑过中文分词的人都撞过这堵墙:词频统计和 TF-IDF 的头部全是"的、了、在、是"。这些词单看没意义,凑一起却占满了你的结果。本文介绍的中文停用词表集合收录了 5 份主流中文停用词表,下载即用,专门用来过滤这类低价值词,让分词和文本挖掘的结果干净一个量级。
什么是停用词表,为什么各家版本不一样
停用词表(stopword list)就是"对分析和检索贡献极小"的词的清单,过滤它们能减少噪音、提升模型输入的信噪比。
那为什么没有一份"标准答案"?因为维护方的数据来源不同:
- 搜索团队盯的是真实查询习惯,所以口语、网络表达多;
- 高校实验室面向学术语料,收录偏书面、偏全;
- 通用列表则取各家交集,保守但稳。
数据源不同,选词口径就不同——这也是五份表并存的原因,选型时没有对错,只有适不适合你的语料。
五份停用词表横向对比,选哪份看这张表
五个文件都打包在 stopwords.rar 里,解压即可用:
| 文件 | 来源 | 特点 | 推荐场景 |
|---|---|---|---|
cn_stopwords.txt |
通用整理 | 常见语气词、功能词,体量适中,最"稳" | 首次上手的默认选择 |
hit_stopwords.txt |
哈尔滨工业大学 | 面向学术语料,书面功能词覆盖全 | 论文分析、学术检索 |
baidu_stopwords.txt |
百度搜索 | 源自真实查询日志,口语、网络表达多 | 网页文本、搜索相关任务 |
scu_stopwords.txt |
四川大学机器智能实验室 | 口语化词项丰富,短文本表现好 | 评论、弹幕、短文本 |
cn_all_stopwords.txt |
多来源综合 | 覆盖面最大,过滤最彻底 | 深度清洗、做基线对比 |
停用词表如何加载到 Python:2行代码搞定
加载的核心思路:读文件 → 转成集合(set)→ 用集合做包含判断。集合查找是 O(1) 的,几万个词也不拖速度:
stopwords = set(open("cn_stopwords.txt", encoding="utf-8").read().split())
tokens = [w for w in words if w not in stopwords]
words 替换成你分词器(jieba、HanLP 等)的输出即可。
选型建议与避坑:通用表起步,按业务增删
🚀 三步选表法:
- 先用
cn_stopwords.txt起步,跑完看剩余 top 20 词频; - 噪音仍多就换
cn_all_stopwords.txt对比,看差异有多大; - 确认主表后,针对你的业务做自定义增删。
⚠️ 两个高频坑:
- 误伤领域词:停用词表里的词在你的领域可能恰恰是关键——比如做电商分析时"款"是高频但"款型"有意义。凡是业务上承载含义的词,一律从表里剔除。
- 只减不增:通用表管不了你的场景。统计一遍你自己语料的词频,把"高频但无信息量"的词(比如你的产品内部代号)补进表里,效果立竿见影。
另外记得检查文件编码和空行,避免把 \n 读成"一个停用词"。
协议与反馈
项目采用 MIT License,商用、修改、再分发都没问题。使用中如果发现某份词表漏词或误伤,欢迎直接提 issue 反馈。
登录后查看全文