基于Python Flask的全国气象数据采集及可视化系统

一、项目简介

本项目是一个基于Web技术的实时气象数据可视化系统。通过爬取中国天气网的各个城市气象数据，并将其保存到自己的数据库中，我们利用Python、Flask、ECharts和MySQL等技术，实现了数据的分析和可视化呈现。这是一个采用B/S架构的现代化气象数据管理系统，用户只需通过浏览器便可访问。在项目完善版本中，我们进一步优化了数据处理和可视化，提高了系统的性能和用户体验。

二、项目技术

  • Python爬虫技术：借助Python强大的网络爬虫库，我们能够高效地从中国天气网上获取实时气象数据，并将其转化为结构化数据。
  • Flask后端框架：作为一种轻量级的后端框架，Flask简化了开发流程，使得我们能够快速搭建灵活且可扩展的Web应用程序。
  • MySQL数据库：作为一个成熟的关系型数据库管理系统，MySQL提供了高效可靠的数据存储和查询能力，使得我们能够方便地管理爬取的气象数据。
  • ECharts大数据可视化：ECharts作为当时流行的数据可视化库，为我们提供了丰富的图表类型和交互式特性，使得我们能够将庞大的气象数据以直观的图表形式展示给用户。
  • layui后台管理前端框架：借助layui框架，我们实现了美观、简洁的后台管理界面，提升了用户操作的友好性和便捷性。

三、项目功能

系统功能模块的设计是基于对现实需求的深入理解和用户体验的关注，详情功能结构图，如下图所示。主要包括以下五大功能：

  • 可视化功能模块：通过ECharts技术，将爬取的气象数据转化为图表形式，以直观的方式展示各城市的气象情况，使用户能够快速把握气象趋势和变化，更好地做出决策。
  • 版本管理功能模块：用于记录系统的不同版本，包括功能更新、性能优化和Bug修复等内容，确保系统持续发展和不断完善。
  • 用户管理功能模块：实现用户注册、登录和权限控制，不同用户拥有不同的菜单权限，保障系统的安全性和数据隐私。
  • 实时气象数据管理功能模块：用于存储、更新和管理从中国天气网爬取的实时气象数据，确保数据的准确性和及时性。
  • 爬虫管理功能模块：针对爬虫任务进行管理，包括设置爬取频率、指定目标城市等，以确保爬虫的高效稳定运行。
    在这里插入图片描述

四、运行截图

大屏可视化页面请添加图片描述

用户登录页面
请添加图片描述用户注册页面
请添加图片描述后台管理首页面
在这里插入图片描述后台用户管理页面
在这里插入图片描述后台版本管理页面
在这里插入图片描述后台气象管理页面
在这里插入图片描述后台气象编辑页面
在这里插入图片描述后台爬虫日志管理页面
在这里插入图片描述

五、分类说明

AQI：

0-50良好

51-100:中等

101-150：偏差，对敏感人群不健康

151-200：差，不健康

201-300：极差，非常不健康

300+：有毒

风力等级：

在这里插入图片描述

六、实现代码

爬虫头部实现代码

class GetWeather:
    def __init__(self):
        self.baseUrl = r""
        self.headers = {'Accept': "*/*",
                        'Accept-Encoding': 'gzip, deflate',
                        'Accept-Language': 'keep-alive',
                        'Connection': '',
                        'Cookie': ''.encode("utf-8").decode("latin1"),
                        'Host': 'd1.weather.com.cn',
                        'Referer': '',
                        'User-Agent': '', }
        self.loadList = []
        # 格式为：列表里面的子列表都是一个省份的所有城市，子列表里所有元素都是字典，每个字典有两项
        self.cityList = [] 
        self.cityDict = {}
        self.result = xlwt.Workbook(encoding='utf-8', style_compression=0)
        self.sheet = self.result.add_sheet('result', cell_overwrite_ok=True)
        self.cityRow = 0
        self.totalGet = 0

数据清洗存入数据库

 data = json.loads(self.htmlResult.replace("var dataSK=", ""))
                nameen = data["nameen"]  # 城市拼音
                cityname = data["cityname"]  # 城市名称
                temp = data["temp"]  # 当前温度
                WD = data["WD"]  # 风向
                WS = data["WS"].replace("级", "")  # 风力
                wse = data["wse"].replace("km/h", "")  # 风速
                sd = data["sd"].replace("%", "")  # 湿度
                weather = data["weather"]  # 天气
                record_date = data["date"]  # 时间
                record_time = data["time"]  # 时分
                aqi = data["aqi"]  # 时分
                judge_sql = "select count(id) from `weather` where nameen = '" + nameen + "' and cityname='" + cityname + "' and record_date='" + record_date + "' and record_time='" + record_time + "'";
                sql = "INSERT INTO `weather` VALUES (null, '" + nameen + "', '" + cityname + "', '" + record_date + "', '" + record_time + "', " + str(
                    temp) + ", '" + WD + "', " + WS + ", " + wse + ", " + sd + ", '" + weather + "', " + aqi + ", '" + time.strftime(
                    "%Y-%m-%d %H:%M:%S", time.localtime()) + "',0);"
                i = db.query_noargs(judge_sql)[0][0]
                if int(i) > 0:
                    print("跳过：", judge_sql)
                    continue
                update_sql = "update `weather` set is_old=1 where nameen = '" + nameen + "' and cityname='" + cityname + "'";
                print("插入：", sql)
                count += 1
                db.query_noargs(update_sql)
                db.query_noargs(sql)

首页城市空气质量统计

# 获取城市空气质量统计
def get_AQI_total_data():
    db = dbUtil()
    lh_sql = "SELECT COUNT(id) FROM weather WHERE aqi<=50 AND is_old=0"
    zd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>50 AND aqi<=100 AND is_old=0"
    pc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>100 AND aqi<=150 AND is_old=0"
    c_sql = "SELECT COUNT(id) FROM weather WHERE aqi>150 AND aqi<=200 AND is_old=0"
    jc_sql = "SELECT COUNT(id) FROM weather WHERE aqi>200 AND aqi<=300 AND is_old=0"
    yd_sql = "SELECT COUNT(id) FROM weather WHERE aqi>300 AND is_old=0"
    lh = db.query_noargs(lh_sql)[0][0]
    zd = db.query_noargs(zd_sql)[0][0]
    pc = db.query_noargs(pc_sql)[0][0]
    c = db.query_noargs(c_sql)[0][0]
    jc = db.query_noargs(jc_sql)[0][0]
    yd = db.query_noargs(yd_sql)[0][0]
    db.close_commit()
    return jsonify([{"time": "良好", "value": lh, "name": "空气质量"},
                    {"time": "中等", "value": zd, "name": "空气质量"},
                    {"time": "偏差", "value": pc, "name": "空气质量"},
                    {"time": "较差", "value": c, "name": "空气质量"},
                    {"time": "极差", "value": jc, "name": "空气质量"},
                    {"time": "有毒", "value": yd, "name": "空气质量"}])

空气质量可视化构建

function center_kqzlfm() {    
    $.ajax({       
        url: "/main/aqi",
        method: "get",
        success: function (obj) {
            // 基于准备好的dom，初始化echarts实例            
            const myChart = echarts.init(document.getElementById("kqzlfm-table")) 
            // 指定图表的配置项
            let option = {...}            
            // 指定图表的数据
            let data = obj            
            //数据处理 开始
            let xKey = "time" 
            let yKey = "value" 
            let sKey = "name"
            let seriesArr = []
            let dataColumn = []   
            //....省略数据格式化处理太长了
            option.yAxis.type = "value"
            option.xAxis.type = "category"
            option.xAxis.data = dataColumn
            // 数据处理完 
            option.series = seriesObj
            // 使用刚指定的配置项和数据显示图表。
            myChart.setOption(option) 
        }   
    })}

七、数据库结构

slog表

字段名称数据类型是否必填注释
idint是
logvarchar(255)否
create_timedatetime否

sys_version表

字段名称数据类型是否必填注释
idint是系统版本
sys_namevarchar(255)否名称
sys_versionvarchar(255)否描述

user表

字段名称数据类型是否必填注释
idint是
namevarchar(255)否用户名称（供应商名称）
accountvarchar(255)否用户账号
passwordvarchar(255)否用户密码
companyvarchar(255)否企业名称
phonevarchar(255)否电话号码
mailvarchar(255)否邮箱
typeint否0管理员，1普通用户
statusint否0禁用1启用

weather表

字段名称数据类型是否必填注释
idint是
nameenvarchar(255)否城市拼音
citynamevarchar(50)否城市名称
record_datevarchar(50)否天气时间
record_timevarchar(50)否实时时分
tempint否当前温度
wdvarchar(20)否风向
wsint否凤力
wseint否风速
sdint否湿度
weathervarchar(20)否天气
aqiint否空气质量
create_timedatetime是数据创建时间
is_oldint否1老数据，0新数据

八、源码下载

源码、安装教程文档、项目简介文档以及其它相关文档已经上传到是云猿实战官网，可以通过下面官网进行获取项目！

# python # flask # 信息可视化
Logo
开放原子开发者工作坊

开放原子开发者工作坊旨在鼓励更多人参与开源活动，与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动，如meetup、训练营等，主打技术交流，干货满满，真诚地邀请各位开发者共同参与！

更多推荐

第二届开放原子大赛open-eBackup/Cantian两大赛项火热开启

第二届开放原子大赛open-eBackup/Cantian两大赛项火热开启

avatar 开放原子开发者工作坊

人民邮电报：“开源”到底是什么？为啥热度越来越高？

人民邮电报：“开源”到底是什么？为啥热度越来越高？

avatar 开放原子开发者工作坊

第二届开放原子大赛——vivo蓝河操作系统创新赛火热进行中

第二届开放原子大赛——vivo蓝河操作系统创新赛火热进行中

avatar 开放原子开发者工作坊