1.采集中国地震局地震数据约100万条存入.csv和mysql,清洗后的.csv上传mysql;
3.分析指标离线可选用Hive,实时可选装PySpark/PyFlink,可三选一也可以只选一种或者三个都选;
4.计算结果使用sqoop工具对接到mysql数据库的指标表;
5.使用flask+echarts制作可视化大屏、layui查询表格;
6.使用卷积神经网络KNN CNN RNN对地震数据进行预测;
创新点:全新DrssionPage爬虫框架、可视化大屏、离线计算实时计算全部实现、深度学习算法预测地震

分析代码如下分享: 

import numpy as np
import pandas as pd
import tensorflow as tf
from sklearn.model_selection import train_test_split

# 加载地震数据集
data = pd.read_csv('earthquake_data.csv')
X = data.drop('magnitude', axis=1)
y = data['magnitude']

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 构建神经网络模型
model = tf.keras.Sequential([
    tf.keras.layers.Dense(64, input_shape=(X_train.shape[1],), activation='relu'),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

# 编译模型
model.compile(optimizer='adam',
              loss='mse',
              metrics=['mae'])

# 训练模型
model.fit(X_train, y_train, epochs=50, batch_size=32, verbose=0)

# 评估模型
test_loss, test_mae = model.evaluate(X_test, y_test, verbose=0)
print('Test MAE: ', test_mae)

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐