穿越网络的数据利器：HOT Redis

由 Stephen McDonald 创建的HOT Redis是一个针对 redis-py 客户端的包装库。与直接从客户端调用 Redis 命令不同的是，它提供了一系列类似Python内置数据类型和标准库类的数据类型，如列表、字典、集合等，以及在多线程和collections模块中常见的许多类。

这些类型都由Redis支持，允许在网络中的对象原子性地进行操作。其中，许多方法的实现都是基于 Lua 脚本在Redis内部执行，以确保在适用的情况下能完成原子性操作。

项目名称"HOT Redis"最初代表“更高阶类型用于Redis”，但由于实现并不严格符合这个定义，所以现在被解释为“Redis的高级对象工具包”。

HOT Redis源自于流行的Google Reader替代品——Kouio RSS reader 的后台基础设施。

安装

使用 pip 安装是最简单的方式：

$ pip install -U hot-redis

或者直接从源代码安装：

$ python setup.py install

使用

HOT Redis提供的每种类型的API尽量保持与Python内置类型和标准库类型相同的签名和返回值。主要区别在于每个类型的__init__ 方法。每个HOT Redis类型的__init__方法都可以接受initial和key作为关键字参数，分别用于定义要存储在Redis中的初始值和所使用的键。如果未提供键，则会自动生成一个，可以通过key属性访问：

>>> from hot_redis import List
>>> my_list = List()
>>> my_list.key
'93366bdb-90b2-4226-a52a-556f678af40e'
>>> my_list_with_key = List(key="foo")
>>> my_list_with_key.key
'foo'

一旦确定了键名策略，就可以创建HOT Redis对象并跨网络进行交互。例如，在一台电脑上（我们称其为A）：

>>> list_on_computer_a = List(key="foo", initial=["a", "b", "c"])

然后在另一台电脑上（我们称其为B）：

>>> list_on_computer_b = List(key="foo")
>>> list_on_computer_b[:]  # 表现为：LRANGE foo 0 -1
['a', 'b', 'c']
>>> list_on_computer_b += ['d', 'e', 'f']  # 表现为：RPUSH foo d e f

再回到电脑A：

>>> list_on_computer_a[:]  # 表现为：LRANGE foo 0 -1
['a', 'b', 'c', 'd', 'e', 'f']
>>> 'c' in list_on_computer_a  # 类似Python列表的预期行为
True
>>> list_on_computer_a.reverse()
>>> list_on_computer_a[:]
['f', 'e', 'd', 'c', 'b', 'a']

最后一个交互操作很有意思。Python的list.reverse()是原地反转列表，即修改现有的列表，而不是返回反转副本。如果我们天真地直接读取Redis中的列表，反向本地列表，然后再将反向列表存回Redis，那就会出现问题。在这样的场景下，以及其他许多场景下，HOT Redis提供了专门的Lua脚本来原子性地在Redis内原地反转列表。我在我的一篇博客文章《Redis中的位操作Lua》中有更详细的讨论。

配置

默认情况下，HOT Redis尝试连接到运行在本地6379端口的Redis实例。你可以通过调用hot_redis.configure函数来配置默认的客户端，传递给它的参数会传给底层的redis-py客户端：

>>> from hot_redis import configure
configure(host='myremotehost', port=6380)

或者，如果你希望为每个对象使用不同的客户端，可以显式创建一个HotClient实例，并将其传递给每个对象：

>>> from hot_redis import HotClient, Queue
>>> client = HotClient(host="myremotehost", port=6380)
>>> my_queue = Queue(client=client)

事务处理

HOT Redis提供了基本的线程安全的事务支持，使用了Redis的MULTI和EXEC命令：

>>> from hot_redis import List, Queue, transaction
>>> my_list = List(key="foo")
>>> my_queue = Queue(key="bar")
>>> with transaction():
...     for i in range(20):
...         my_list.append(i)
...         my_queue.put(i)

在这个例子中，所有append和put调用都被批量到一起，当transaction()上下文退出时执行。

数据类型

以下表格列出了HOT Redis提供的所有类型，映射到它们的Python对等物，以及底层的Redis类型，还有需要注意的特殊考虑：

HOT Redis	Python	Redis	注意事项
List	list	list
Set	set	set
Dict	dict	hash
String	string	string	可变 - Python中通常创建新字符串的方法也会改变Redis中存储的字符串
ImmutableString	string	string	不可变 - 行为类似于Python字符串
Int	int	int
Float	float	float
Queue	Queue.Queue	list
LifoQueue	Queue.LifoQueue	list
SetQueue	N/A	list + set	对象队列扩展，成员唯一
LifoSetQueue	N/A	list + set	后进先出的成员唯一队列
BoundedSemaphore	threading.BoundedSemaphore	list	队列扩展，利用Redis的阻塞列表弹出操作和超时，同时使用Queue的maxsize参数提供BoundedSemaphore的value参数
Semaphore	threading.Semaphore	list	BoundedSemaphore的扩展，但无队列大小限制
Lock	threading.Lock	list	BoundedSemaphore的扩展，队列大小为1
RLock	threading.RLock	list	锁的扩展，允许多次acquire调用

结论

HOT Redis是构建分布式应用程序的理想选择，尤其适用于需要跨服务器共享数据的场景。通过提供与Python内置类型一致的接口，它使开发者能够无缝地使用Redis的强大功能，而无需学习新的API。此外，由于其内建的原子性和事务处理，HOT Redis为复杂、高并发的应用程序提供了可靠的数据一致性保障。无论你是经验丰富的开发者还是初学者，都将发现这个库易于理解且实用性强。立即加入HOT Redis的世界，开启你的高效、可靠的Redis编程之旅！