learnyounode HTTP CLIENT 练习详解:用 Node.js `http.get()` 逐块读取响应流

原创2026-09-28 12:45:221,745 阅读
文章标签:教程CLI

learnyounode HTTP CLIENT 练习详解:用 Node.js http.get() 逐块读取响应流

本指南围绕 learnyounode(“Learn You The Node.js For Much Win!”)交互式教程中的 HTTP CLIENT 练习展开,该练习要求你编写一个程序,以命令行第一个参数给出的 URL 发起 HTTP GET 请求,并把响应 response 在每次 "data" 事件中到达的每一个数据块(chunk)以字符串形式逐行打印到标准输出(stdout)。读完本文,你将掌握 http 核心模块的用法、http.get() 快捷方法、Node Stream 的事件模型,以及如何通过 setEncoding('utf8') 免去 Buffer 到字符串的手动转换,并能看懂练习在仓库中的验证机制与官方解法。

练习目标:把每次 "data" 事件的响应数据逐行输出

原始任务(见 exercises/http_client/problem.vi.md,英文版见 exercises/http_client/problem.md)要求如下:

  1. 创建一个名为 http-client.js 的文件;
  2. 程序通过命令行第一个参数获得目标 URL;
  3. 对该 URL 发起一次 HTTP GET 请求;
  4. 将响应过程中 response 对象上每一个 "data" 事件携带的数据,以字符串形式打印到新的一行(stdout)。

注意题眼是“从每个 data 事件分别打印”,而不是把整个响应拼成一个整体后再输出——这正是后续 http_collect(HTTP COLLECT)练习与之形成对照的地方:本练习考察的是对 Stream 事件逐个处理的能力。

在 learnyounode 的练习清单中,HTTP CLIENT 排在第 7 位,位于 MAKE IT MODULAR 之后、HTTP COLLECT 之前(见 learnyounode.js),是学习者从文件 I/O 过渡到 HTTP 网络编程的入门关卡。

使用 http 核心模块

Node.js 自带 http 核心模块,无需安装任何第三方依赖。在文件顶部通过 require 引入即可:

const http = require('http')

练习提示中给出的官方文档位于仓库的 docs-nodejs/http.html,里面详细描述了 http 模块的 API、事件与类。如果你本地运行的是 learnyounode 交互式终端,也可以在练习界面中直接通过提示链接跳转到该文档。

http.get():发起简单 GET 请求的快捷方式

http.get() 是 http.request() 针对“无需请求体、只关心响应”场景的简化封装。它的签名是:

http.get(url, callback)
  • 第一个参数:要发起 GET 请求的 URL,来自 process.argv[2];
  • 第二个参数:响应回调函数。

与 Node 中大多数异步回调不同,http.get() 的回调只有一个参数:

function callback (response) { /* ... */ }

其中 response 是一个 Node Stream(可读流)对象。仓库中的官方解法(见 exercises/http_client/solution/solution.js)正是这样组织的:

'use strict'
const http = require('http')

http.get(process.argv[2], function (response) {
  response.setEncoding('utf8')
  response.on('data', console.log)
  response.on('error', console.error)
}).on('error', console.error)

测试目录中的有效解法(见 test/http_client/valid_01.js)采用了几乎相同的逻辑,只是把回调提取成了命名函数:

require('http').get(process.argv[2], processResponse)

function processResponse (res) {
  res.setEncoding('utf8')
  res.on('data', console.log)
  res.on('error', console.error)
}

值得注意的一个细节:http.get() 返回的请求对象本身也是一个可读流,它可能触发 "error" 事件(例如 DNS 解析失败、连接被拒),所以官方解法在链式调用末尾又补了一个 .on('error', console.error)。这意味着你至少要在两个层面监听错误——请求层与响应层。

把 response 当作事件发射器:data、error、end

从 http.get() 回调拿到的 response 是 Node 的 Stream 对象,而 Node Stream 是继承了 EventEmitter 的“事件发射器”。你可以用 .on() 注册监听器:

response.on('data', function (data) { /* ... */ })

本练习最需要关心的三个事件是:

事件 触发时机 监听器收到的数据
"data" 每个数据块到达且可处理时触发 一个数据块(Buffer 或经 setEncoding() 转换后的字符串)
"error" 响应流发生错误时触发 错误对象
"end" 响应流读取完毕时触发 无

关于 "data" 事件,练习文档强调了两点:

  • 数据块的大小取决于底层数据源,也就是说分块是网络层/服务器决定的,你无法预知单次 "data" 携带多少字节;
  • 因此,把 console.log 直接绑定为 "data" 的监听器(response.on('data', console.log))是可行的:每来一块数据就打印一行,恰好满足“每个 data 事件输出一行”的要求。

在 learnyounode 的验证环境里,这个分块特性被刻意强化了。看 exercises/http_client/exercise.js 的验证器实现:

this.server = http.createServer(function (req, res) {
  ;(function next (i) {
    if (i === words.length) {
      return res.end()
    }
    res.write(words[i].trim())
    setTimeout(next.bind(null, i + 1), 25)
  }(0))
})

验证器在本地启动一个 HTTP 服务器,把 lib/words.js(见 lib/words.js,内容来自 boganipsum/clean_words,随机排序后取前 10 个词)中的每个词分开写入,每次写入间隔 25ms。也就是说,你的客户端程序会收到一连串按 25ms 间隔到达的小数据块——如果解法是“等全部收到再一次性打印”,就无法通过验证;只有按 "data" 事件逐个输出,才能与服务器发送节奏匹配。这从源码层面印证了“每个数据块单独处理”是本题的核心考察点。

setEncoding('utf8'):让 data 事件直接吐字符串

默认情况下,"data" 事件携带的是 Node 标准 Buffer 对象(二进制数据),要打印或拼接字符串必须先手动转换。练习提示给出的简化方案是调用 response / Stream 上的 setEncoding() 方法:

response.setEncoding('utf8')

一旦以 "utf8" 调用该方法,后续的 "data" 事件就会直接发射字符串而不是 Buffer。这样 console.log(data) 无需任何转换即可输出文本内容;同时由于 setEncoding 还接管了流内部的数据解码,即使单个数据块在 UTF-8 多字节字符的中间被截断,解码器也会在流层面处理好续接,避免出现乱码。

如果你的场景中数据不是 UTF-8(例如是二进制图片、压缩数据),则不应调用 setEncoding,而是保持 Buffer 形态另行处理——这在本练习的文本场景下是不需要的。

运行与验证

完成 http-client.js 后,在 learnyounode 交互式环境中运行:

$ learnyounode verify http-client.js

验证器会启动本地测试服务器(端口随机,见 exercise.js 中 this.server.listen(0, ...)),把测试 URL 作为命令行第一个参数传给你的程序(this.submissionArgs = [url]),再对照你的输出结果判定是否通过。你也可以先进入对应练习后用 learnyounode run http-client.js 预览程序行为。

参考实现与常见错误

完整的官方参考解法位于 exercises/http_client/solution/solution.js,测试用的有效解法位于 test/http_client/valid_01.js。一个最小可运行的实现大致如下:

const http = require('http')

http.get(process.argv[2], function (response) {
  response.setEncoding('utf8')
  response.on('data', console.log)
  response.on('error', console.error)
}).on('error', console.error)

常见错误主要有三类:

  1. 对整块响应一次性处理:误用 response.on('end') 之后再打印,或者在 "data" 中拼接所有数据到最后才输出,无法满足“每个 data 事件逐行打印”的要求(注意这与 HTTP COLLECT 练习的目标恰好相反,那个练习是要求收齐后再输出);
  2. 忘记 setEncoding('utf8'):"data" 事件拿到的是 Buffer,直接 console.log 虽然能打印出字节内容,但后续若想拼字符串必须显式 toString();
  3. 遗漏错误监听:请求层(http.get(...).on('error'))和响应层(response.on('error'))都可能出错,忽略错误会让程序在异常时无提示地失败。

下一步:向 HTTP COLLECT 进阶

HTTP CLIENT 是本系列 HTTP 练习的第一关。紧接着的 HTTP COLLECT(见 exercises/http_collect/solution/solution.js)要求把多个 "data" 事件的数据收集拼接后统计字符数并整体输出,其解法会引入 concat-stream / bl 之类的缓冲工具或手动拼接逻辑;再往后还有 JUGGLING ASYNC(并发请求多个 URL)等练习。理解好本练习中的 Stream 事件模型与 setEncoding 用法,是顺利进阶这些练习的共同前提。

登录后查看全文
learnyounode