【纯免费分享】5份中文停用词表怎么选?把"的、了、是"踢出你的文本挖掘结果

原创2026-11-11 23:46:181,643 阅读
文章标签:数据集NLP

【纯免费分享】5份中文停用词表怎么选?把"的、了、是"踢出你的文本挖掘结果

跑过中文分词的人都撞过这堵墙:词频统计和 TF-IDF 的头部全是"的、了、在、是"。这些词单看没意义,凑一起却占满了你的结果。本文介绍的中文停用词表集合收录了 5 份主流中文停用词表,下载即用,专门用来过滤这类低价值词,让分词和文本挖掘的结果干净一个量级。

什么是停用词表,为什么各家版本不一样

停用词表(stopword list)就是"对分析和检索贡献极小"的词的清单,过滤它们能减少噪音、提升模型输入的信噪比。

那为什么没有一份"标准答案"?因为维护方的数据来源不同:

  • 搜索团队盯的是真实查询习惯,所以口语、网络表达多;
  • 高校实验室面向学术语料,收录偏书面、偏全;
  • 通用列表则取各家交集,保守但稳。

数据源不同,选词口径就不同——这也是五份表并存的原因,选型时没有对错,只有适不适合你的语料。

五份停用词表横向对比,选哪份看这张表

五个文件都打包在 stopwords.rar 里,解压即可用:

文件 来源 特点 推荐场景
cn_stopwords.txt 通用整理 常见语气词、功能词,体量适中,最"稳" 首次上手的默认选择
hit_stopwords.txt 哈尔滨工业大学 面向学术语料,书面功能词覆盖全 论文分析、学术检索
baidu_stopwords.txt 百度搜索 源自真实查询日志,口语、网络表达多 网页文本、搜索相关任务
scu_stopwords.txt 四川大学机器智能实验室 口语化词项丰富,短文本表现好 评论、弹幕、短文本
cn_all_stopwords.txt 多来源综合 覆盖面最大,过滤最彻底 深度清洗、做基线对比

停用词表如何加载到 Python:2行代码搞定

加载的核心思路:读文件 → 转成集合(set)→ 用集合做包含判断。集合查找是 O(1) 的,几万个词也不拖速度:

stopwords = set(open("cn_stopwords.txt", encoding="utf-8").read().split())
tokens = [w for w in words if w not in stopwords]

words 替换成你分词器(jieba、HanLP 等)的输出即可。

选型建议与避坑:通用表起步,按业务增删

🚀 三步选表法:

  1. 先用 cn_stopwords.txt 起步,跑完看剩余 top 20 词频;
  2. 噪音仍多就换 cn_all_stopwords.txt 对比,看差异有多大;
  3. 确认主表后,针对你的业务做自定义增删。

⚠️ 两个高频坑:

  • 误伤领域词:停用词表里的词在你的领域可能恰恰是关键——比如做电商分析时"款"是高频但"款型"有意义。凡是业务上承载含义的词,一律从表里剔除。
  • 只减不增:通用表管不了你的场景。统计一遍你自己语料的词频,把"高频但无信息量"的词(比如你的产品内部代号)补进表里,效果立竿见影。

另外记得检查文件编码和空行,避免把 \n 读成"一个停用词"。

协议与反馈

项目采用 MIT License,商用、修改、再分发都没问题。使用中如果发现某份词表漏词或误伤,欢迎直接提 issue 反馈。

登录后查看全文
中文停用词表集合分享