linux环境下实现python自动化
目录一、安装cron二、cron相关用法三、定时任务实战四、总结今天主要介绍 Linux 下的 cron 这个服务,熟练使用它可以让你在工作中省去大部分时间,提高工作效率一、安装cron基本上所有的Linux发行版在默认情况下都预安装了cron工具。 即使未预装cron,也很简单,执行几条简单的命令就可手动安装# 检查是否已经预装了cronservice cron status复制代码默认一般
目录
今天主要介绍 Linux 下的 cron 这个服务,熟练使用它可以让你在工作中省去大部分时间,提高工作效率
一、安装cron
基本上所有的Linux发行版在默认情况下都预安装了cron工具。 即使未预装cron,也很简单,执行几条简单的命令就可手动安装
# 检查是否已经预装了cron
service cron status
复制代码
默认一般情况是出现以下结果,说明已经可以使用cron了
root@vmi411292:~# servide cron status
-bash: servide: command not found
root@vmi411292:~# service cron status
● cron.service - Regular background program processing daemon
Loaded: loaded (/lib/systemd/system/cron.service; enabled; vendor preset: enabled)
Active: active (running) since Wed 2020-07-01 04:36:42 CST; 5 months 2 days ago
Docs: man:cron(8)
Main PID: 487 (cron)
Tasks: 1
Memory: 10.0M
CPU: 25min 11.945s
CGroup: /system.slice/cron.service
└─487 /usr/sbin/cron -f
复制代码
如果没安装的话输入按照下表操作
安装:apt-get install cron
启动/停止/重启:service cron start/stop/restart
查询当前任务:crontab -l
复制代码
二、cron相关用法
有几个关于cron的简单用法可以了解一下,后面也会通过一个案例详细介绍如何使用
首先,列出当前用户计划的cron作业:
crontab -l
复制代码
查看其它用户的cron作业:
crontab –l –u username
复制代码
移除已经计划的cron作业:
crontab –r
#注意这个命令会移除全部设置好的自动化命令,要删除其中一条使用crontab -e进行编辑
复制代码
熟悉了cron的查看,接下来进行语法的介绍
m h dom mon dow commmand
复制代码
这个是crontab调度作业的一个使用,可以用来设置定时任务 ,具体一点的语法是这样的:
m h dom mon dow command
* * * * * command
- - - - - -
| | | | | |
| | | | | --- 预执行的命令
| | | | ----- 表示星期0~7(其中星期天可以用0或7表示)
| | | ------- 表示月份1~12
| | --------- 表示日期1~31
| ----------- 表示小时1~23(0表示0点)
------------- 表示分钟1~59 每分钟用*或者 */1表示
复制代码
举几个简单的应用案例:
- 每天 04:00 执行任务
0 4 * * * command
复制代码
- 每天 5:00和17:00执行任务
0 5,17 * * * command
复制代码
- 每10min 执行一次任务
*/10 * * * * command
复制代码
- 在特定的某几个月的周日 17:00 执行任务
0 17 * jan,may,aug sun command
复制代码
上面案例中的command 表示你具体需要执行的任务
例如打印一段话:
echo "Hello World"
复制代码
或者将这段话输出到txt中:
echo "Hello World" >> /tmp/test.txt
复制代码
或者是你需要执行一个Python脚本:
python demo.py filepath
复制代码
三、定时任务实战
上面的都搞清楚了,就可以开始今天的重头戏了
首先我们需要每天从ftp服务器中下载最新的任务数据,将数据下载到本地后通过Python进行数据汇总统计,最后将结果存入数据库中,如果期间某个环节出现问题则发送告警邮件。
1、编写Python脚本
首先需要编写Python脚本完成以下功能:
- 从数据库中获取最新数据日期
- 从ftp中下载最新数据到本地
- 对本地最新数据进行汇总统计
- 统计结果存入数据库汇总
- 邮件通知
上面这个流程大致的伪代码是这样的:
if __name__ == '__main__':
"""获取最新数据日期"""
latest_date = get_max_date()
# 以最新日期为名创建文件夹
download_dir = os.path.join(sys.argv[1], latest_date)
if not os.path.exists(download_dir):
os.makedirs(download_dir)
"""从ftp中下载最新数据"""
download_file(latest_date, download_dir)
"""处理最新数据并保存"""
process_data(latest_date, download_dir)
复制代码
邮件监控可以在加一个try catch的异常捕获,有异常发生的时候则发送邮件 2、 编写cron定时任务 打开crontab,编辑如下内容到最后一行,保存并退出
crontab是会自动实时更新任务列表的,如果不放心也可以通过restart命令重启cron 服务
05 8,18 * * * python /home/demo.py /home/定时任务源数据
复制代码
这里有个小建议,所有的路径都填写绝对路径
如果Python代码没有问题,任务会定时执行。
这里建议可以把自己的command单独在控制台运行下,没有问题的时候再写进到cron任务列表红。
四、总结
使用cron还是很方便的,如果说你平时的工作有很多重复的任务,像日常指标的采集、取数汇总统计、邮件自动转发等等
一旦这些工作你可以通过脚本设置好逻辑,自动化任务也就可以实现它,最多就需要你每天注意一下邮件,看看有没有发生错误就行了。
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)