如何快速上手loklak_scraper_js:从零搭建环境到运行第一个爬虫的完整教程
如何快速上手loklak_scraper_js:从零搭建环境到运行第一个爬虫的完整教程
loklak_scraper_js 是 FOSSASIA 开源的 JavaScript 爬虫工具集,专为 loklak 消息搜索系统设计。它内置了 Twitter、Quora、微博、Reddit、GitHub、YouTube 等多平台爬虫,运行后会输出统一的 JSON 搜索结果。本文是一份面向新手的完整教程:从搭建 Node.js 环境、安装依赖,到运行第一个爬虫并读懂爬虫基类,全程只需十几分钟。
一、loklak_scraper_js 是什么?
简单来说,它是一个"多合一"的网页爬虫集合:
- 统一输出:所有爬虫运行后都输出类似 loklak 搜索结果的 JSON 对象,方便上层系统直接消费
- 共用代码基座:loklak 服务端、移动端(wok / wok_ios)和网页集成版共用这一套爬虫代码
- 开箱即用:内置 10+ 个平台爬虫,
node命令一行即可运行
项目核心文件都在 README.md 中有说明,项目依赖声明在 package.json 中(主要用到 request 发起请求、cheerio 解析网页)。
二、环境准备:安装 Node.js
项目基于 Node.js 运行,请先确认本机已安装:
node -v
npm -v
- 如果输出版本号,说明环境已就绪(建议 Node.js 8 及以上)
- 如果没有输出,前往 Node.js 官网下载安装,或使用 nvm 等版本管理工具
💡 小提示:本项目依赖较老(request 2.x、webpack 2.x),建议使用 Node.js 14 或以下版本以获得最佳兼容性。
三、获取代码并安装依赖
第一步:克隆仓库
打开终端,执行:
git clone https://gitcode.com/gh_mirrors/lo/loklak_scraper_js
cd loklak_scraper_js
第二步:一键安装依赖
npm install
完成后,所有依赖会安装到 node_modules 目录中,无需手动配置任何库。
四、项目结构速览
| 目录/文件 | 说明 |
|---|---|
scrapers/ |
核心目录,每个文件对应一个平台爬虫 |
scrapers/base.js |
所有爬虫的基类 BaseLoklakScrapper |
scrapers/example.js |
示例爬虫,输出静态 JSON,是学习模板 |
clients/ |
面向其他编程框架的示例实现(如 Nashorn.java) |
tests/ |
mocha 测试用例 |
webpack.config.js |
打包配置,可将全部爬虫构建到 build/ 目录 |
package.json |
依赖与脚本声明 |
五、运行第一个爬虫:3 步完成
第 1 步:运行示例爬虫
项目自带一个示例爬虫 scrapers/example.js,它会直接输出一段静态 JSON(模拟 loklak 搜索结果)。在项目根目录执行:
node scrapers/example.js
如果终端打印出一大段包含 search_metadata、statuses 字段的 JSON,说明环境完全正常 ✅
第 2 步:运行真实的网页爬虫
以 Quora 个人资料爬虫为例,它会抓取指定用户的 bio、粉丝数、回答数等信息:
node scrapers/quora.js <profile_name>
例如抓取某用户资料:
node scrapers/quora.js Saptak-Sengupta
成功后会输出类似下面的 JSON 对象:
{ bio: 'Loves developing anything and everything through coding...',
user: 'Saptak Sengupta',
answersCount: '147',
followersCount: '675',
... }
注意:真实爬虫依赖目标网站页面结构,若对方页面改版,输出可能变化或失败,这是爬虫项目的常态。
第 3 步:挑选你需要的爬虫
scrapers/ 目录下按"目标平台 = 文件名"命名,常用内置爬虫一览:
| 爬虫文件 | 目标平台 | 运行方式 |
|---|---|---|
| scrapers/twitter.js | 传入查询关键词 | |
| scrapers/quora.js | Quora | 传入用户名 |
| scrapers/weibo.js | 微博 | 参考文件内实现 |
| scrapers/reddit.js | 传入查询词 | |
| scrapers/github.js | GitHub | 传入查询词 |
| scrapers/youtube.js | YouTube | 传入查询词 |
| scrapers/youku.js | 优酷 | 传入查询词 |
| scrapers/flickr.js | Flickr | 传入查询词 |
| scrapers/instagram.js | 传入查询词 | |
| scrapers/wordpress.js | WordPress | 传入查询词 |
| scrapers/timeanddate.js | 时间日期查询 | 传入地点名 |
🎯 通用规律:文件接收命令行参数作为查询词,输出统一格式的 JSON 数据。
六、读懂爬虫基类:base.js 的工作原理
想自己写爬虫?先看基类 scrapers/base.js 中的 BaseLoklakScrapper 类。它封装了完整的抓取生命周期:
- init():初始化时先做参数检查(
argumentSanityCheck),再调用子类的onInit() - request():向
REQUEST_URL发起 HTTP 请求 - 解析:把返回的 HTML 交给
cheerio.load(body)生成$对象 - scrape($): 由子类实现,负责从 HTML 中提取字段
- 收尾:调用
onAfterScrape(),最终结果存放在JSON属性中
关键代码片段(scrapers/base.js 的 request() 方法):
request(options)
.then((body) => {
this.HTML = body;
this.$ = cheerio.load(body);
this.scrape(this.$); // 子类实现的具体抓取逻辑
this.onAfterScrape(); // 可选的后处理
})
.catch((error) => {
console.error(error);
});
自己写爬虫的最快方法
在 scrapers/ 下新建 mysite.js,继承基类,实现 onInit()(解析参数、拼接 URL)、scrape($)(用 cheerio 提取字段并写入 this.JSON)即可,参考 scrapers/example.js 的静态输出格式保持 JSON 结构一致。
七、运行测试与打包构建
运行 mocha 测试
package.json 中预置了测试脚本,可验证 Twitter 爬虫抓取的数据结构是否完整(对照 tests/testTweet.json):
npm test
测试用例位于 tests/twitter.js,会检查"是否收到非空 tweets 对象、字段是否齐全"等。
使用 webpack 打包全部爬虫
项目内置了 webpack.config.js,它会自动扫描 scrapers/ 目录,用 babel-loader(es2015 预设)将每个爬虫打包为独立的 JS 文件输出到 build/ 目录:
npx webpack
打包后的文件可直接作为其他 Node 项目的模块引入,实现"一个爬虫一个文件"的按需使用。
八、常见问题(FAQ)
Q1:运行爬虫提示 Cannot find module 'cheerio'?
依赖没有安装完整,回到项目根目录重新执行 npm install。
Q2:爬虫运行后没有任何输出?
部分爬虫需要查询参数(如 node scrapers/quora.js 用户名),不带参数会静默退出,请补上参数重试。
Q3:抓取结果为空或报错? 目标网站页面结构可能已变化,爬虫需要更新选择器;另外请检查本机网络能否正常访问目标站点。
Q4:Node 版本太高报错怎么办?
建议降到 Node.js 14 或更低版本,本项目使用的 request、webpack 2 均为早期版本。
九、总结
- loklak_scraper_js 是一套 JavaScript 多平台爬虫工具集,统一输出 loklak 风格 JSON
- 上手三步曲:
git clone→npm install→node scrapers/example.js - 写新爬虫只需继承 scrapers/base.js 中的
BaseLoklakScrapper,实现onInit()和scrape($)两个方法 - 测试用
npm test,打包用npx webpack
跟着本文操作,你现在应该已经跑通了第一个爬虫。接下来可以打开任意一个内置爬虫源码,对照基类流程读懂 cheerio 的选择器写法,再动手为自己常用的网站写一个爬虫 —— 这就是从"会用"到"会造"的全部距离 🚀