celery笔记一之celery介绍、启动和运行结果跟踪

这篇具有很好参考价值的文章主要介绍了celery笔记一之celery介绍、启动和运行结果跟踪。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文首发于公众号:Hunter后端
原文链接:celery笔记一之celery介绍、启动和运行结果跟踪

本篇笔记内容如下:

  1. celery 介绍
  2. celery 准备
  3. celery 启动和异步任务的运行
  4. 运行结果跟踪

1、celery 介绍

celery 大致有两种应用场景,一种是异步任务,一种是定时任务。

比如说在一个接口请求中,某个函数执行所需的时间过长,而前端页面并不是立刻需要在接口中获取处理结果,可以将这个函数作为异步任务,先返回给前端处理中的信息,在后台单独运行这个函数,这就是异步任务。

另一个比如说某个函数需要每天晚上运行一遍,不可能人天天守着后台手动执行一遍这个函数,那么就可以用 celery 来实现这个定时的周期任务。

接下来介绍一下 celery 的组成:

task

这个任务就是我们前面举的例子的异步任务或者是定时任务,即为 task,我们可以定义这些任务,然后发送到 broker

broker

broker 可以理解成消息中间件,用于获取异步或者定时任务,形成一个或多个消息队列,然后发送给 worker 处理这些消息

broker 的形式可以是 Redis,RabbitMQ 或者其他,这里我们使用 Redis 作为消息中间件

worker

worker 是处理消息的程序,获取 broker 中的消息,然后在 worker 中执行,然后根据配置决定将处理结果发送到 backend

result_backend

在 worker 处理完消息之后会有 return 或者没有返回结果,都会根据配置将结果发送出来,可以配置成发送到 redis 中,也可以将之存储到 database 中

beat

主要用于调用定时任务,根据设定好的定时任务,比如每天晚上十点执行某个函数,beat 则会在相应的时间将这个 task 发送给 broker,然后 worker 获取任务进行处理

定时任务除了说的每天晚上十点这种周期任务,也可以是间隔任务,比如说每隔多少秒,多少分钟执行一次

注意:异步任务的发送是不经过 beat 处理,直接发送给 broker 的

在上面的结构中,broker 需要将相应的服务比如 redis 运行起来,而 worker 和 beat 需要在手动用程序运行,而且每次更改了定时策略之后需要重新启动 beat 和 worker 才能生效。

2、celery 准备

接下来我们实现一个最简单的异步任务,在执行异步任务前,我们做如下的准备工作

1.安装依赖

我们需要安装一下 celery 和 redis 的依赖:

pip3 install celery==5.1.2 -i https://mirrors.aliyun.com/pypi/simple/
pip3 install redis==3.5.3 -i https://mirrors.aliyun.com/pypi/simple/

2.消息中间件

这里我们用到的消息中间件是 redis,可以去官网下载一个 redis 启动,也可以使用 docker 来执行安装。

我在之前的 docker 系列笔记中有介绍过如何拉取镜像和运行容器,我们这里直接使用 docker 来运行:

docker run -itd -p 6379:6379 redis:latest

3.异步任务准备

我们准备一个最简单的 add() 函数,放在 tasks.py 文件中:

# tasks.py
from celery import Celery

app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')

@app.task
def add(x, y): 
    return x + y

在这段代码里,我们引入 Celery 模块,并将其实例化为 app,且配置了 broker 参数,表示消息队列都会被放在 redis 的第一个数据库下

指定的 backend 参数则表示函数运行的结果被放在 redis 的第二个数据库下

然后用 @app.task 修饰 add 函数,表示它是 app 下的 task 任务

以上,我们的准备工作就完成了,接下来尝试运行这个异步任务

3、celery 启动和异步任务的运行

说是 celery 的启动,其实是 worker 的启动,中间件是 redis,已经在前面的步骤中启动了。

我们在 tasks.py 所在的文件夹下执行下面的命令:

celery -A tasks worker -l INFO

在这里,tasks 是我们任务所在的文件名,worker 表示启动的是 worker 程序

-l INFO 则会在控制台打印出 worker 接收到的消息详情,如果不执行,则信息流不会被打印出来

执行了上面的程序后,可以看到控制台会输出下面这种信息:


 -------------- celery@localhost v5.1.2 (sun-harmonics)
--- ***** ----- 
-- ******* ---- Darwin-21.4.0-x86_64-i386-64bit 2022-07-17 23:56:09
- *** --- * --- 
- ** ---------- [config]
- ** ---------- .> app:         tasks:0x7fc8ddf3df98
- ** ---------- .> transport:   redis://localhost:6379/0
- ** ---------- .> results:     disabled://
- *** --- * --- .> concurrency: 12 (prefork)
-- ******* ---- .> task events: OFF (enable -E to monitor tasks in this worker)
--- ***** ----- 
 -------------- [queues]
                .> celery           exchange=celery(direct) key=celery
                

[tasks]
  . tasks.add

[2022-07-17 23:56:09,685: INFO/MainProcess] Connected to redis://localhost:6379/0
[2022-07-17 23:56:09,699: INFO/MainProcess] mingle: searching for neighbors
[2022-07-17 23:56:10,737: INFO/MainProcess] mingle: all alone
[2022-07-17 23:56:10,780: INFO/MainProcess] celery@localhost ready.

则表示 worker 启动成功

执行异步任务

在另一个 shell 窗口,进入 python 的交互界面,输入以下命令:

from tasks import add
res = add.delay(1,2)

add 是我们需要执行的异步任务的函数名

delay 是异步任务执行的特有方法,这个其实是 apply_async() 函数的简便写法,不带任何参数,apply_async() 除了可以实现异步任务的功能,还可以指定多少时间后执行,比如说二十秒后执行,这个在后面的笔记中我们再介绍。

而异步任务的返回我们这里用 res 来定义,它是一个包含了这个任务所有执行信息对象,有任务状态(是否执行成功),有返回结果(add() 函数的return),还有这个 task 特有的标识 id等信息

至此,我们的一个异步任务的执行就完成了,我们可以在下一步查看它的运行结果等信息。

4、运行结果跟踪

接下来,我们在 tasks.py 中建立下面几个函数,来测试我们对结果的跟踪:

# tasks.py

import time
from celery import Celery

app = Celery('tasks', broker='redis://localhost/0', backend='redis://localhost/1')


@app.task
def add(x, y):
    return x + y


@app.task
def div(x, y):
    return x / y


@app.task
def test_not_finished():
    time.sleep(30)
    return True

然后重新运行 worker:

celery -A tasks worker -l INFO

然后引入和执行函数:

from tasks import add, div, test_not_finished

获取延时任务的结果

res = add.delay(1, 2)
print(res.result)

# 也可以使用 get() 
print(res.get())

get() 函数也可以加个超时的设置:

res.get(timeout=2)

但是这样需要注意,因为如果超时了还未获取到结果,程序就会报错

判断函数运行是否完成

print(res.ready())

打印出的结果为 True 则表示函数运行完成

我们可以测试函数为完成的状态:

res2 = test_not_finished.delay()

在这个函数里,我们设置了 30s 的休眠,所以在 30s 內我们打印结果可以看到 res2.ready() 是为 False 的:

print(res2.ready())

获取task id

每个被执行的 task 都有各自对应的 id 作为它们的唯一键:

print(res.id)

查看任务执行的状态

# 任务执行是否失败,返回 布尔型数据
is_failed = res.failed()

# 任务执行是否成功,返回布尔型数据
is_successful = res.successful()

# 执行的任务所处的状态
state = res.state
# state 的值会在 PENDING,STARTED,SUCCESS,RETRY,FAILURE 这几种状态中,分别是 待处理中,任务已经开始,成功,重试中,失败

报错处理

如果执行的延时任务在程序中报错,比如我们定义的 div() 函数,我们传入的除数为 0 的话,在程序中是会报错的,我们使用 get() 来获取结果的话程序是会报错的:

res3 = div.delay(3, 0)
res3.get()

# 返回会报错

但是我们可以使用 propagate=False 参数来忽略程序的报错:

res3.get(propagate=False)

这样我们获取的就不是程序报错,而是程序报错的信息作为结果返回

使用 res3.state 发现返回的结果是 FAILURE

当延时任务在程序中报错,它的返回值就不会是正确的,我们可以通过 res3.traceback 是否有值来判断函数运行过程中是有报错:

if res3.traceback:
    print("延时任务报错")
else:
    print("程序正常运行,可以获取返回值")

result资源释放

因为 backend 会使用资源来保存和传输结果,为了确保资源被释放,所以在执行完异步任务后,你必须对每一个结果调用 get() 或者 forget() 函数

result.get() 函数获取结果

result.forget() 在 backend 删掉该数据

在官方文档上,意思是 get() 和 forget() 方法都可以释放资源,但是经过我测试,貌似只有 forget() 函数会释放资源

查看是否资源被释放也很简单,登录到对应的 backend,我这里是 redis,使用 redis-cli 或者通过 docker 进入 redis:

select 1

keys*

查看相应的 task id 是否还在列表就可以知道该资源是否被释放

如果不想手动释放资源,可以在配置里设置一个过期时间,那么结果就会在指定时间段后被释放:

app.conf.update(result_expires=60)

这个我们可以在后面的配置里再详细介绍。

以上就是本篇笔记全部内容,下一篇笔记我们将介绍如何建立一个 celery 项目、配置的几种方法及一些基本的配置。

如果想获取更多后端相关文章,可扫码关注阅读:
celery笔记一之celery介绍、启动和运行结果跟踪文章来源地址https://www.toymoban.com/news/detail-467575.html

到了这里,关于celery笔记一之celery介绍、启动和运行结果跟踪的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

原文地址:https://www.cnblogs.com/hunterxiong/p/17450464.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【学习笔记】 科目一之概念篇

    概念题方法 1)抓重点:科目一设计知识范围太广,不要妄想所有知识点都复习到,这是不可能的,我们的目标是45分几个而不是考高分,复习时间有限,所以要学会抓重点,比如法律条文之类,内容虽多,但常考点就那么几个,把历年常考的重点知识点复习扎实,足够你通过

    2024年02月11日
    浏览(18)
  • celery笔记四之在Django中使用celery

    本文首发于公众号:Hunter后端 原文链接:celery笔记四之在Django中使用celery 这一篇笔记介绍一下如何在 Django 系统中使用 celery。 如果是想纯粹使用 celery,这一篇笔记可以略过。 本篇笔记目录如下: 文件配置 task 定义 运行 worker 我们这里使用前面的创建的 hunter Django 系统。

    2024年02月09日
    浏览(13)
  • Python笔记一之excel的读取

    本文首发于公众号:Hunter后端 原文链接:Python笔记一之excel的读取 这里我常用的 python 对于 excel 的读取库有两个,一个是 xlsxwriter 用于操作 excel 的写入,一个是 xlrd 用于 excel 文件的读取。 使用的库的版本如下: xlsx==1.2.6 xlrd==1.1.0 新建一个 excel 添加一个 sheet: sheet 表格数据

    2024年02月04日
    浏览(10)
  • tp8 升级TP框架版本,同时网站打不开,错误代码 ERR_ADDRESS_INVALID,启动内置服务器 运行PHP命令php think run 输出结果是空白

    环境:windows11  phpstudy_pro  thinkphp8.0 php8.2.9   进入composer : 选择composer,再选择对应网站的PHP版本, 启动内置服务器 按上面操作,发现输出结果是空白,没有任何东西 三、启用VSCODE的xdebug调试 在VSCODE中启用调试F5,在think文件中打断点 全部勾上 一直一步一步往下走,发现

    2024年01月22日
    浏览(17)
  • Django笔记三十一之全局异常处理

    本文首发于公众号:Hunter后端 原文链接:Django笔记三十一之全局异常处理 这一篇笔记介绍 Django 的全局异常处理。 当我们在处理一个 request 请求时,会尽可能的对接口数据的格式,内部调用的函数做一些异常处理,但可能还是会有一些意想不到的漏网之鱼,造成程序的异常

    2023年04月26日
    浏览(17)
  • Redis数据结构一之对象的介绍及各版本对应实现

    本文首发于公众号:Hunter后端 原文链接:Redis数据结构一之对象的介绍及各版本对应实现 本篇笔记开始介绍 Redis 数据结构的底层实现。 当我们被问到 Redis 中有什么数据结构,或者说数据类型,我们可能会说有字符串、列表、哈希、集合、有序集合。 其实这几种数据类型在

    2024年02月04日
    浏览(13)
  • celery笔记二之建立celery项目、配置及几种加载方式

    本文首发于公众号:Hunter后端 原文链接:celery笔记二之建立celery项目、配置及几种加载方式 接下来我们创建一个 celery 项目,文件夹及目录如下: 接下来我们逐个文件向里面添加内容。 我们建立了一个名为 proj 的文件夹作为我们的项目文件夹,其下有两个文件,celery.py 和

    2024年02月07日
    浏览(14)
  • Angular学习笔记一之项目构建与模块创建

    Angular是三大框架之一,是最早开始出现并流行的框架。它是使用HTML、CSS、TypeScript编写的一个重量级框架,为大型应用开发而设计。使用Angular开发出来的客户端应用是高度模块化的。Angular提供了cli工具,组件和模块都可以使用cli工具提供的命令行来创建。Angular对于状态管理

    2024年02月07日
    浏览(10)
  • Django+Celery学习笔记

    Django+Celery学习笔记 DJANGO中使用CELERY实现定时任务(用DJCELERY) https://www.cnblogs.com/wumingxiaoyao/p/8521567.html Django中celery机制的使用总结 https://blog.csdn.net/Enjolras_fuu/article/details/108513357 代码 https://github.com/furuiyang0715/celery_learn 参考 https://www.celerycn.io/yong-hu-zhi-nan/canvas-she-ji-gong-zuo-liu-che

    2024年02月12日
    浏览(11)
  • Django笔记四十一之Django中使用es

    前面在 Python 连接 es 的操作中,有过介绍如何使用 Python 代码连接 es 以及对 es 数据进行增删改查。 这一篇笔记介绍一下如何为 es 的 索引 index 定义一个 model,像 Django 里的 model 一样使用 es。 因为本篇笔记要介绍的内容是直接嵌入在 Django 系统使用,所以本篇笔记直接归属于

    2024年02月07日
    浏览(12)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包