大数据毕业设计PySpark+Hadoop地震预测系统 地震数据分析可视化 地震爬虫 Flink Hadoop 深度学习 机器学习 深度学习 知识图谱 人工智能 数据可视化 计算机毕业设计
大数据毕业设计PySpark+Hadoop地震预测系统 地震数据分析可视化 地震爬虫 Flink Hadoop 深度学习 机器学习 深度学习 知识图谱 人工智能 数据可视化 计算机毕业设计
·
1.采集中国地震局地震数据约100万条存入.csv和mysql,清洗后的.csv上传mysql;
3.分析指标离线可选用Hive,实时可选装PySpark/PyFlink,可三选一也可以只选一种或者三个都选;
4.计算结果使用sqoop工具对接到mysql数据库的指标表;
5.使用flask+echarts制作可视化大屏、layui查询表格;
6.使用卷积神经网络KNN CNN RNN对地震数据进行预测;
创新点:全新DrssionPage爬虫框架、可视化大屏、离线计算实时计算全部实现、深度学习算法预测地震
分析代码如下分享:
import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.model_selection import train_test_split
# 加载地震数据集
data = pd.read_csv('earthquake_data.csv')
X = data.drop('magnitude', axis=1)
y = data['magnitude']
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 构建神经网络模型
model = tf.keras.Sequential([
tf.keras.layers.Dense(64, input_shape=(X_train.shape[1],), activation='relu'),
tf.keras.layers.Dense(64, activation='relu'),
tf.keras.layers.Dense(1)
])
# 编译模型
model.compile(optimizer='adam',
loss='mse',
metrics=['mae'])
# 训练模型
model.fit(X_train, y_train, epochs=50, batch_size=32, verbose=0)
# 评估模型
test_loss, test_mae = model.evaluate(X_test, y_test, verbose=0)
print('Test MAE: ', test_mae)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
已为社区贡献55条内容
所有评论(0)