learnyounode HTTP CLIENT 练习详解:用 Node.js `http.get()` 逐块读取响应流
learnyounode HTTP CLIENT 练习详解:用 Node.js http.get() 逐块读取响应流
本指南围绕 learnyounode(“Learn You The Node.js For Much Win!”)交互式教程中的 HTTP CLIENT 练习展开,该练习要求你编写一个程序,以命令行第一个参数给出的 URL 发起 HTTP GET 请求,并把响应 response 在每次 "data" 事件中到达的每一个数据块(chunk)以字符串形式逐行打印到标准输出(stdout)。读完本文,你将掌握 http 核心模块的用法、http.get() 快捷方法、Node Stream 的事件模型,以及如何通过 setEncoding('utf8') 免去 Buffer 到字符串的手动转换,并能看懂练习在仓库中的验证机制与官方解法。
练习目标:把每次 "data" 事件的响应数据逐行输出
原始任务(见 exercises/http_client/problem.vi.md,英文版见 exercises/http_client/problem.md)要求如下:
- 创建一个名为
http-client.js的文件; - 程序通过命令行第一个参数获得目标 URL;
- 对该 URL 发起一次 HTTP GET 请求;
- 将响应过程中
response对象上每一个"data"事件携带的数据,以字符串形式打印到新的一行(stdout)。
注意题眼是“从每个 data 事件分别打印”,而不是把整个响应拼成一个整体后再输出——这正是后续 http_collect(HTTP COLLECT)练习与之形成对照的地方:本练习考察的是对 Stream 事件逐个处理的能力。
在 learnyounode 的练习清单中,HTTP CLIENT 排在第 7 位,位于 MAKE IT MODULAR 之后、HTTP COLLECT 之前(见 learnyounode.js),是学习者从文件 I/O 过渡到 HTTP 网络编程的入门关卡。
使用 http 核心模块
Node.js 自带 http 核心模块,无需安装任何第三方依赖。在文件顶部通过 require 引入即可:
const http = require('http')
练习提示中给出的官方文档位于仓库的 docs-nodejs/http.html,里面详细描述了 http 模块的 API、事件与类。如果你本地运行的是 learnyounode 交互式终端,也可以在练习界面中直接通过提示链接跳转到该文档。
http.get():发起简单 GET 请求的快捷方式
http.get() 是 http.request() 针对“无需请求体、只关心响应”场景的简化封装。它的签名是:
http.get(url, callback)
- 第一个参数:要发起 GET 请求的 URL,来自
process.argv[2]; - 第二个参数:响应回调函数。
与 Node 中大多数异步回调不同,http.get() 的回调只有一个参数:
function callback (response) { /* ... */ }
其中 response 是一个 Node Stream(可读流)对象。仓库中的官方解法(见 exercises/http_client/solution/solution.js)正是这样组织的:
'use strict'
const http = require('http')
http.get(process.argv[2], function (response) {
response.setEncoding('utf8')
response.on('data', console.log)
response.on('error', console.error)
}).on('error', console.error)
测试目录中的有效解法(见 test/http_client/valid_01.js)采用了几乎相同的逻辑,只是把回调提取成了命名函数:
require('http').get(process.argv[2], processResponse)
function processResponse (res) {
res.setEncoding('utf8')
res.on('data', console.log)
res.on('error', console.error)
}
值得注意的一个细节:http.get() 返回的请求对象本身也是一个可读流,它可能触发 "error" 事件(例如 DNS 解析失败、连接被拒),所以官方解法在链式调用末尾又补了一个 .on('error', console.error)。这意味着你至少要在两个层面监听错误——请求层与响应层。
把 response 当作事件发射器:data、error、end
从 http.get() 回调拿到的 response 是 Node 的 Stream 对象,而 Node Stream 是继承了 EventEmitter 的“事件发射器”。你可以用 .on() 注册监听器:
response.on('data', function (data) { /* ... */ })
本练习最需要关心的三个事件是:
| 事件 | 触发时机 | 监听器收到的数据 |
|---|---|---|
"data" |
每个数据块到达且可处理时触发 | 一个数据块(Buffer 或经 setEncoding() 转换后的字符串) |
"error" |
响应流发生错误时触发 | 错误对象 |
"end" |
响应流读取完毕时触发 | 无 |
关于 "data" 事件,练习文档强调了两点:
- 数据块的大小取决于底层数据源,也就是说分块是网络层/服务器决定的,你无法预知单次
"data"携带多少字节; - 因此,把
console.log直接绑定为"data"的监听器(response.on('data', console.log))是可行的:每来一块数据就打印一行,恰好满足“每个 data 事件输出一行”的要求。
在 learnyounode 的验证环境里,这个分块特性被刻意强化了。看 exercises/http_client/exercise.js 的验证器实现:
this.server = http.createServer(function (req, res) {
;(function next (i) {
if (i === words.length) {
return res.end()
}
res.write(words[i].trim())
setTimeout(next.bind(null, i + 1), 25)
}(0))
})
验证器在本地启动一个 HTTP 服务器,把 lib/words.js(见 lib/words.js,内容来自 boganipsum/clean_words,随机排序后取前 10 个词)中的每个词分开写入,每次写入间隔 25ms。也就是说,你的客户端程序会收到一连串按 25ms 间隔到达的小数据块——如果解法是“等全部收到再一次性打印”,就无法通过验证;只有按 "data" 事件逐个输出,才能与服务器发送节奏匹配。这从源码层面印证了“每个数据块单独处理”是本题的核心考察点。
setEncoding('utf8'):让 data 事件直接吐字符串
默认情况下,"data" 事件携带的是 Node 标准 Buffer 对象(二进制数据),要打印或拼接字符串必须先手动转换。练习提示给出的简化方案是调用 response / Stream 上的 setEncoding() 方法:
response.setEncoding('utf8')
一旦以 "utf8" 调用该方法,后续的 "data" 事件就会直接发射字符串而不是 Buffer。这样 console.log(data) 无需任何转换即可输出文本内容;同时由于 setEncoding 还接管了流内部的数据解码,即使单个数据块在 UTF-8 多字节字符的中间被截断,解码器也会在流层面处理好续接,避免出现乱码。
如果你的场景中数据不是 UTF-8(例如是二进制图片、压缩数据),则不应调用 setEncoding,而是保持 Buffer 形态另行处理——这在本练习的文本场景下是不需要的。
运行与验证
完成 http-client.js 后,在 learnyounode 交互式环境中运行:
$ learnyounode verify http-client.js
验证器会启动本地测试服务器(端口随机,见 exercise.js 中 this.server.listen(0, ...)),把测试 URL 作为命令行第一个参数传给你的程序(this.submissionArgs = [url]),再对照你的输出结果判定是否通过。你也可以先进入对应练习后用 learnyounode run http-client.js 预览程序行为。
参考实现与常见错误
完整的官方参考解法位于 exercises/http_client/solution/solution.js,测试用的有效解法位于 test/http_client/valid_01.js。一个最小可运行的实现大致如下:
const http = require('http')
http.get(process.argv[2], function (response) {
response.setEncoding('utf8')
response.on('data', console.log)
response.on('error', console.error)
}).on('error', console.error)
常见错误主要有三类:
- 对整块响应一次性处理:误用
response.on('end')之后再打印,或者在"data"中拼接所有数据到最后才输出,无法满足“每个 data 事件逐行打印”的要求(注意这与 HTTP COLLECT 练习的目标恰好相反,那个练习是要求收齐后再输出); - 忘记
setEncoding('utf8'):"data"事件拿到的是Buffer,直接console.log虽然能打印出字节内容,但后续若想拼字符串必须显式toString(); - 遗漏错误监听:请求层(
http.get(...).on('error'))和响应层(response.on('error'))都可能出错,忽略错误会让程序在异常时无提示地失败。
下一步:向 HTTP COLLECT 进阶
HTTP CLIENT 是本系列 HTTP 练习的第一关。紧接着的 HTTP COLLECT(见 exercises/http_collect/solution/solution.js)要求把多个 "data" 事件的数据收集拼接后统计字符数并整体输出,其解法会引入 concat-stream / bl 之类的缓冲工具或手动拼接逻辑;再往后还有 JUGGLING ASYNC(并发请求多个 URL)等练习。理解好本练习中的 Stream 事件模型与 setEncoding 用法,是顺利进阶这些练习的共同前提。