Limiter 项目技术文档

本文档旨在帮助用户安装、使用以及详细了解Limiter项目，该项目为Web和Node.js提供了一个通用的速率限制器，适用于API客户端、网络爬虫或其他需要节流的任务。

1. 安装指南

首先，确保您的系统已经安装了Node.js。然后，通过以下命令安装Limiter：

yarn add limiter

或者，如果您使用npm：

npm install limiter

2. 项目的使用说明

Limiter项目提供了两种速率限制类：RateLimiter 和 TokenBucket。

RateLimiter

RateLimiter 类基于 TokenBucket 类，它添加了对每个间隔可以移除的令牌数量的限制，以满足常见的API限制，如“每小时最多150个请求”。

以下是一个简单的例子，允许每小时150个请求：

import { RateLimiter } from "limiter";

//limiter";

// 允许每小时150个请求（Twitter搜索限制）。也支持 'second', 'minute', 'day' 或毫秒数
const limiter = new RateLimiter({ tokensPerInterval: 150, interval: "hour" });

async function sendRequest() {
  const remainingRequests = await limiter.removeTokens(1);
  callMyRequestSendingFunction(...);
}

TokenBucket

TokenBucket 类提供了一个更低级别的速率限制接口，具有可配置的爆发率和滴流率。

以下是一个例子，允许每250毫秒发送一条消息：

import { RateLimiter } from "limiter";

const limiter = new RateLimiter({ tokensPerInterval: 1, interval: 250 });

async function sendMessage() {
  const remainingMessages = await limiter.removeTokens(1);
  callMyMessageSendingFunction(...);
}

立即触发

如果您希望立即触发请求（即使速率限制生效），可以设置 fireImmediately 为 true。这将立即解决Promise，但 remainingRequests 将设置为-1。

import { RateLimiter } from "limiter";

const limiter = new RateLimiter({
  tokensPerInterval: 150,
  interval: "hour",
  fireImmediately: true
});

async function requestHandler(request, response) {
  const remainingRequests = await limiter.removeTokens(1);
  if (remainingRequests < 0) {
    response.writeHead(429, {'Content-Type': 'text/plain;charset=UTF-8'});
    response.end('429 Too Many Requests - your IP is being rate limited');
  } else {
    callMyMessageSendingFunction(...);
  }
}

同步方法

RateLimiter 和 TokenBucket 都提供了一个同步方法 tryRemoveTokens()，它将立即返回一个布尔值，指示令牌移除是否成功。

import { RateLimiter } from "limiter";

const limiter = new RateLimiter({ tokensPerInterval: 10, interval: "second" });

if (limiter.tryRemoveTokens(5))
  console.log('Tokens removed');
else
  console.log('No tokens removed');

获取剩余令牌

要获取 removeTokens Promise之外的剩余令牌数，请使用 getTokensRemaining 方法。

import { RateLimiter } from "limiter";

const limiter = new RateLimiter({ tokensPerInterval: 1, interval: 250 });

console.log(limiter.getTokensRemaining());

字节级别的节流

直接使用 TokenBucket 类来在字节级别进行节流：

import { TokenBucket } from "limiter";

const BURST_RATE = 1024 * 1024 * 150; // 150KB/sec爆发率
const FILL_RATE = 1024 * 1024 * 50; // 50KB/sec持续率

const bucket = new TokenBucket({
  bucketSize: BURST_RATE,
  tokensPerInterval: FILL_RATE,
  interval: "second"
});

async function handleData(myData) {
  await bucket.removeTokens(myData.byteLength);
  sendMyData(myData);
}

3. 项目API使用文档

本项目提供了以下API：

• RateLimiter(options): 创建一个新的速率限制器。
• removeTokens(tokens, [fireImmediately]): 移除指定数量的令牌，可选立即触发。
• tryRemoveTokens(tokens): 同步尝试移除指定数量的令牌，返回布尔值。
• getTokensRemaining(): 获取当前剩余的令牌数。

4. 项目安装方式

项目的安装方式已在安装指南中详细说明。您可以通过 yarn 或 npm 进行安装。