yanshigou | Dzt's Blog

无法改变世界, 但可以改变看世界的角度

django-celery之定时任务

celery定时任务

前言 之前我详细的写了celery异步任务的创建和使用 这篇就文章详细的写如何创建一个定时任务 配置settings 基于之前的settings配置增加 CELERY_IMPORTS = ('tools.tasks',) # 导入tasks.py CELERYBEAT_SCHEDULER = 'djcelery.schedulers.DatabaseScheduler' # 定时...

自动化运维工具Fabric之fabfile 和 shell编程

补上之前fabfile的使用和shell脚本

前言 我的好几个项目都是使用fabfile文件一键打包上传至nginx服务器的,所以这个东西很方便,减少了很多工作量。 fabfile windows下的命令 # -*- coding: utf-8 -*- from datetime import datetime from fabric.api import * from fabvenv import virtualenv #...

Nginx之ngxtop的使用

ngxtop实时解析nginx访问日志,并且将处理结果输出到终端

前言 之前的nginx的日志都是我每天下载下来,再用我自己写的python脚本分析: 统计nginx服务器上的access.log日志,输出结果如下: [23/Oct/2018:06:25:01] 至 [23/Oct/2018:20:24:21] 单秒最大访问量:298 nginx访问ip个数:9095 nginx一共访问量:126555 统计时间: 2018-10-24...

MySQL server has gone away

在查看celery.log时发现(2006, 'MySQL server has gone away')

前言 运行了很长时间的celery之后,发现有任务一直没有完成,也没有失败,一直处于执行当中,就去查看了celery的log。 截取了少部分error: File "/home/ubuntu/www/cmxcelery/kkwork/local/lib/python2.7/site-packages/MySQLdb/cursors.py", line 205, in execute...

什么是数据库?MySQL、MongoDB、Redis···

非关系型数据库与关系型数据库的应用

前言 由于公司准备对数据库优化方面做一点改动,所以叫我研究一下使用什么数据库对公司的业务更为方便、安全、性能更高。 所以,我在分析的过程中,顺带把这个过程记录下来。 Mysql 1、MySQL属于关系型数据库: 1.关系型数据库就是以行和列的形式去存储数据 2.表中的每一行叫一条数据记录;每一列叫做一个字段 3.表和表、表和字段、数据和数据存在着关系 例: ...

django-celery如何使用和配置

celery在django mysql数据库下的使用和配置

上一篇文章我详细的写了如何在服务器上搭建异步任务队列项目 这篇就文章详细的写如何创建一个django-celery项目 前言 首先简单介绍一下,Celery 是一个强大的分布式任务队列,它可以让任务的执行完全脱离主程序,甚至可以被分配到其他主机上运行。我们通常使用它来实现异步任务(async task)和定时任务(crontab)。 它的架构组成如下图: 框架集成 ...

nginx+uwsgi+django+celery

celery分布式任务队列在服务器上的使用

Celery - 分布式任务队列 Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统,并且提供维护这样一个系统的必需工具。 它是一个专注于实时处理的任务队列,同时也支持任务调度 源码在我的github上 —> https://github.com/yanshigou/MyScripts/tree/master/test_celery 前言 在web应用中,...

又花了1天的时间爬了一下网易云音乐

爬取网易云音乐的音频

爬取网易云音乐网站上指定专辑的音乐的地址 有了上一次爬取喜马拉雅的经验后,着手网易云音乐的爬取就入手快一点 但是!! 网易云音乐使用了好几次加密 复杂难度比喜马拉雅的高很多 查阅到很多资料,完美解决了问题 源码在我的github上 —> https://github.com/yanshigou/music163 基本信息 网易云的信息就只有这么点 ...

花了3天的下班时间写了个爬虫

爬取喜马拉雅的音频信息

爬取喜马拉雅网站上所有音频专辑的基本信息 简单分析了网页源码之后 就开始下手去做了 还是遇到不少难题,还好有很多人都做过类似爬虫,查阅相关资料,最终如愿完成 源码在我的github上 —> https://github.com/yanshigou/ximalaya 基本信息 音频名字 专辑名字 图片地址 mp3地址 m4a地址 ...

在服务器上搭建自己的项目遇到的坑

闲下来的时候挨着填坑

2018-11-16 23:16 终于在服务器上搭建好我自己的项目了 也算接上一偏文章吧 好几天前搞的了 虽然当时记录了一些 但总感觉遗漏了些什么 踩过好多坑 太晚了 明天终于加班了(…可能我心里有病) 有空的时候 再记录一下填一下坑吧 一、nginx.conf(1) 和 uwsgi.ini(2) 中 .sock 网址访问nginx,ngin...