Celery Singleton 项目教程

1. 项目目录结构及介绍

celery-singleton/
├── celery_singleton/
│   ├── __init__.py
│   ├── backend.py
│   ├── exceptions.py
│   ├── lock.py
│   ├── singleton.py
│   └── utils.py
├── tests/
│   ├── __init__.py
│   ├── test_backend.py
│   ├── test_lock.py
│   ├── test_singleton.py
│   └── test_utils.py
├── setup.py
├── README.md
└── requirements.txt

目录结构介绍

• celery_singleton/: 核心代码目录，包含实现 Celery Singleton 功能的主要模块。

  • init.py: 初始化文件，使目录成为一个 Python 包。
  • backend.py: 定义了与 Redis 后端交互的逻辑。
  • exceptions.py: 定义了项目中可能抛出的异常。
  • lock.py: 实现了分布式锁的逻辑。
  • singleton.py: 核心模块，实现了 Singleton 任务的功能。
  • utils.py: 包含一些辅助函数。

• tests/: 测试代码目录，包含项目的单元测试。

  • init.py: 初始化文件，使目录成为一个 Python 包。
  • test_backend.py: 测试 backend.py 模块的单元测试。
  • test_lock.py: 测试 lock.py 模块的单元测试。
  • test_singleton.py: 测试 singleton.py 模块的单元测试。
  • test_utils.py: 测试 utils.py 模块的单元测试。

• setup.py: 项目的安装脚本，用于打包和分发项目。

• README.md: 项目的说明文档，包含项目的介绍、安装方法、使用示例等。

• requirements.txt: 项目依赖的 Python 包列表。

2. 项目的启动文件介绍

Celery Singleton 项目本身是一个库，没有直接的启动文件。它主要通过 celery_singleton.singleton.Singleton 类来实现 Singleton 任务的功能。用户需要在他们的 Celery 项目中引入并使用这个类。

使用示例

from celery_singleton import Singleton
from somewhere import celery_app

@celery_app.task(base=Singleton)
def do_stuff(*args, **kwargs):
    time.sleep(4)
    return 'I just woke up'

在这个示例中，do_stuff 任务被装饰为 Singleton 任务，确保在同一时间只有一个实例在运行。

3. 项目的配置文件介绍

Celery Singleton 项目依赖于 Redis 作为后端存储，因此需要配置 Redis 的连接信息。通常，这些配置信息会在 Celery 的配置文件中指定。

配置示例

# celeryconfig.py

# Redis 连接 URL
CELERY_BROKER_URL = 'redis://localhost:6379/0'
CELERY_RESULT_BACKEND = 'redis://localhost:6379/0'

# Celery Singleton 配置
CELERY_SINGLETON_TEST_REDIS_URL = 'redis://localhost:6379/0'

配置项说明

• CELERY_BROKER_URL: Celery 的消息代理 URL，通常使用 Redis。
• CELERY_RESULT_BACKEND: Celery 的结果存储后端 URL，通常使用 Redis。
• CELERY_SINGLETON_TEST_REDIS_URL: Celery Singleton 测试使用的 Redis URL，通常与 CELERY_BROKER_URL 和 CELERY_RESULT_BACKEND 相同。

通过这些配置，Celery Singleton 可以确保在分布式环境中防止重复执行任务。