2024年11月26日 Python51
我们在构建一个框架之前，首先考虑的是用这个框架做些什么，能不能让这个框架尽可能的实现更多的功能操作。在思考完了这些问题后，我们对框架的搭建已经有了初步的模型考量。今天就python分布式爬虫中另一个celery框架的搭建方法为大家进行讲解，较之前的两个框架比较来说，功能使用上更加广泛。
celery典型的分布式任务队列，常用于异步操作中，如tornado、Django的异步任务中，用celery设计分布式爬虫系统，往往结合网络框架，打造一个爬虫任务接口，提供给其他人使用。
同时celery在定时任务方面有着优势，只需要在配置文件中设置一下，就可以定期执行任务，不必自己写定时操作。
celery使用消息中间件，而这个消息中间件，可以使用Redis也可以使用RabbitMQ，但他的调度不必担心，已经封装。
主程序示例：
以上只是celery框架在python分布式爬虫中搭建中的一个步骤，让小伙伴们体验一下搭建celery框架的感觉。有兴趣的小伙伴可以搜集相关的资料，完成整体elery框架的搭建。python爬虫celery如何安装
本文链接：http://so.lmcjl.com/news/18525/