【附下载链接】搜狗词库TXT版本下载:3000万词汇,一条命令合并成一个文件

原创2026-10-28 22:53:522,167 阅读
文章标签:数据集NLP

【附下载链接】搜狗词库TXT版本下载:3000万词汇,一条命令合并成一个文件

这是搜狗词库TXT版本下载的资源包:3000多万词汇,散在不到2万个TXT文件里,解压完就能拿来做全文检索和拆词(也就是把句子切成一个个词,行内称分词)。

这套3000万词库适合谁用?

正在做下面任意一件事的人,都能直接把它当全文检索词库来用:

  • 搭全文检索:当搜索引擎的词汇底座,建索引、做命中统计更省心
  • 做分词词表:NLP场景里,直接用高频词当切分规则
  • 攒语料:词汇已经整理清洗过,省掉自己爬数据、洗数据的功夫

数字很实在:zip包内共不到2万个TXT文件,每个文件装着若干词汇,词汇总量超过3000万。

压缩包打开后长什么样?

仓库直接给出一个资源文件:搜狗词库-TXT版本.zip。解压后是一大批纯文本文件,内容不带格式、不带结构,就是词和换行。

只挑几个词看看,打开单个文件就够;想用全量3000万词,得先做合并。这个3000万词库下载包解压即用,不需要额外安装。

搜狗词库TXT合并实操:3步生成一个大文件

3步走:

  1. 按 Win+R,输入 cmd,打开命令提示符
  2. 用 cd 命令进入TXT文件所在目录
  3. 执行合并命令:type *.txt > d:\a.txt

命令做的事:把当前目录里所有TXT文件的内容按顺序读出来,写进D盘的 a.txt。输出路径可以随意换,比如改成 type *.txt > c:\words\all.txt,想存哪就存哪。

先知道3个小细节 💡

  • 磁盘空间:合并出来的文件不小,动手前先确认目标盘有足够余量
  • 耗时:2万个文件不是一秒能合完的,快慢看机器性能,耐心等等
  • 环境:上面步骤只在Windows的cmd里适用,Mac或Linux要换对应命令

3000万词汇到手,全文检索建索引、分词词表整理、NLP语料准备,都能立刻推进。下载即用,试试看。

登录后查看全文
搜狗词库-TXT版本下载