Node-Redis处理二进制数据的注意事项

在使用Node-Redis库处理二进制数据时，开发者可能会遇到一些意料之外的问题。本文将以gzip压缩数据为例，详细讲解如何正确地在Redis中存储和读取二进制数据。

问题现象

当开发者尝试将gzip压缩后的Buffer数据存入Redis，然后再读取出来解压时，可能会遇到"invalid header"的错误。这通常发生在以下场景：

1. 使用Node.js的zlib模块压缩数据得到Buffer
2. 直接将Buffer存入Redis
3. 从Redis读取数据后尝试解压失败

根本原因

问题的根源在于Redis客户端默认将返回值转换为字符串，而Buffer到字符串的转换是有损转换。当二进制数据被强制转换为字符串时，数据完整性会被破坏，导致后续的解压操作失败。

解决方案

Node-Redis提供了commandOptions配置项，可以通过设置returnBuffers: true来确保获取原始Buffer数据而非字符串：

const data = await redis.get(
  client.commandOptions({ returnBuffers: true }), 
  'gzip'
) || Buffer.from('{}');

完整示例代码

import { promisify } from 'node:util';
import { gzip, gunzip } from 'node:zlib';
import { redis } from '~/library/provider';

const asyncGzip = promisify(gzip);
const asyncGunzip = promisify(gunzip);

export async function handler() {
  try {
    await redis.connect();
  } catch (error) {}

  // 压缩数据
  const compressed = await asyncGzip(Buffer.from(JSON.stringify({ ok: true })));

  // 存储二进制数据
  await redis.set('gzip', compressed);

  // 读取时指定返回Buffer
  const data = await redis.get(
    redis.commandOptions({ returnBuffers: true }),
    'gzip'
  ) || Buffer.from('{}');

  // 解压数据
  const decompressed = await asyncGunzip(data);
  
  await redis.disconnect();

  return {
    statusCode: 200,
    body: JSON.stringify({ result: JSON.parse(decompressed.toString()) }),
  };
}

技术要点

1. Buffer与字符串转换：Buffer到字符串的转换会使用默认编码(通常是UTF-8)，这可能导致二进制数据损坏。

2. Redis数据存储：Redis本身可以完美存储二进制数据，问题出在客户端的默认处理方式上。

3. 性能考虑：对于大型二进制数据，直接处理Buffer比转换为字符串更高效。

最佳实践

1. 明确数据类型：处理二进制数据时，始终明确指定需要Buffer而非字符串。

2. 错误处理：添加适当的错误处理逻辑，特别是对于解压操作。

3. 类型检查：在处理返回数据前，可以使用Buffer.isBuffer()进行检查。

通过理解这些概念和正确使用Node-Redis的API，开发者可以轻松地在Redis中存储和处理各种二进制数据，包括但不限于压缩数据、图像、音频等。