FastAPI与Celery集成教程

项目介绍

FastAPI是一个现代、快速（高性能）的Web框架，用于构建API，基于Python 3.7+标准类型提示。Celery是一个简单、灵活且可靠的分布式系统，用于处理大量消息，同时提供操作作业队列的能力。将FastAPI与Celery结合，可以实现异步任务处理和定时任务，非常适合需要后台处理的应用场景。

项目快速启动

安装依赖

首先，克隆项目仓库并安装所需的依赖：

git clone https://github.com/testdrivenio/fastapi-celery.git
cd fastapi-celery
pip install -r requirements.txt

配置Celery

在项目中，创建一个celery_app.py文件，配置Celery：

from celery import Celery

celery_app = Celery(
    "worker",
    broker="redis://localhost:6379/0",
    backend="redis://localhost:6379/0"
)

@celery_app.task
def long_task():
    # 你的长时间运行任务逻辑
    pass

配置FastAPI

在FastAPI应用中，导入并使用Celery任务：

from fastapi import FastAPI
from celery_app import long_task

app = FastAPI()

@app.get("/start")
def start_task():
    task = long_task.delay()
    return {"message": "Task started", "task_id": task.id}

启动服务

使用Docker Compose启动所有服务：

docker-compose up --build

应用案例和最佳实践

异步任务处理

在Web应用中，某些操作可能需要较长时间完成，例如发送电子邮件、处理大数据集等。使用Celery可以将这些任务移至后台处理，提高应用的响应速度和用户体验。

定时任务

Celery还支持定时任务，可以定期执行某些任务，例如数据备份、报告生成等。通过配置beat_schedule，可以轻松实现定时任务：

from datetime import timedelta

celery_app.conf.beat_schedule = {
    "call-task-every-minute": {
        "task": "your_project_name.celery_app.long_task",
        "schedule": timedelta(minutes=1)
    }
}

典型生态项目

Redis

Redis是一个高性能的键值存储系统，常用作消息代理和结果存储后端。在FastAPI和Celery的集成中，Redis是常用的选择。

Docker

Docker是一个容器化平台，可以轻松部署和管理应用。通过Docker Compose，可以方便地启动和管理多个服务，如FastAPI、Celery worker、Celery beat和Redis。

Uvicorn

Uvicorn是一个基于ASGI的服务器，用于运行FastAPI应用。它提供了高性能的异步支持，非常适合FastAPI的运行环境。

通过以上步骤，你可以快速启动并运行一个集成了FastAPI和Celery的项目，实现异步任务处理和定时任务。根据具体需求，可以进一步优化和扩展项目。