前言

在上文的末尾，我们已经完成了对环境变量的矢量化，那这次我们就正式开始强化学习的训练。请查看最终代码的顺序，帮助你更好理解本文内容。

---

一、库导入

import os
from stable_baselines3 import PPO
from stable_baselines3.common.callbacks import BaseCallback

os库用于保存训练的模型参数。
PPO用于导入我们训练需要的算法。
BaseCallback库用于帮助我们保存和可视化的查看我们的训练过程，包括但不限于loss是否下降等等，可以直观的看出训练有没有效果以及问题排查。

二、训练

1.引入库

chechpoint_dir = './train/'
log_dir = './logs/'

checkpoint_dir 保存训练集
log_dir 保存训练日志 即每次训练之后的loss等的数据 的路劲

2.训练

model = PPO('CnnPolicy', environment, verbose=1, tensorboard_log=log_dir, learning_rate=0.000001,
            n_steps=512)
model.learn(total_timesteps=200000, callback=callback)

我们调用PPO函数，这是开源库已经帮我们做好的算法接口，我们调用即可。此处我们使用的是CnnPolicy，就是卷积神经网络。简单阐述一下，卷积神经网络是通过矩阵的卷积操作来识别、分析图片，一般用于图像识别等的有监督学习中。此处由于我们需要处理马里奥游戏传给我们的图片，所以我们使用卷积神经网络。

learning_rate是学习率，是我们一次训练后，要向更优方向移动的距离，step是一次训练的次数。
model.learn设定训练总量。

输出是这样就说明正在训练了。

3.你可能遇到的问题

如果你遇到
ImportError: Trying to log data to tensorboard but tensorboard is not installed.
说明你没安装tensorboard库，请输入

pip install tensorboard

三、数据保存

1.保存

class TrainAndLoggingCallback(BaseCallback):
    def __init__(self, check_freq, save_path, verbose=1):
        super(TrainAndLoggingCallback, self).__init__(verbose)
        self.check_freq = check_freq
        self.save_path = save_path

    def _init_callback(self):
        if self.save_path is not None:
            os.makedirs(self.save_path, exist_ok=True)

    def _on_step(self):
        if self.n_calls % self.check_freq == 0:
            model_path = os.path.join(self.save_path, 'best_model_{}'.format(self.n_calls))
            self.model.save(model_path)

        return True

这一部分是重写了BaseCallBack库，这些方法名都是库内做过抽象方法的，如果你需要自行改写，请不要修改这些方法名字。此处就是设定了一些路径，不必浪费过多时间，复制即可。

#调用
callback = TrainAndLoggingCallback(check_freq=10000, save_path=chechpoint_dir)

以上函数是调用了TrainAndLoggingCallBack函数，每10000次记录一次。

这是保存的文件。左为日志，右为模型。
我们可以使用tensorboard查看左边的log数据，方法如下数据可视化教材

2.注意参数设置！

请注意 n_steps=512和total_timesteps=200000，这两个设置，如果你需要快速得出答案，需要调小哦，本人3060，这个参数需要训练一个小时，请注意电脑散热、电量。

---

本文最终代码

import gym_super_mario_bros
from nes_py.wrappers import JoypadSpace
from gym_super_mario_bros.actions import SIMPLE_MOVEMENT

from gym.wrappers import FrameStack, GrayScaleObservation
from stable_baselines3.common.vec_env import VecFrameStack, DummyVecEnv
from matplotlib import pyplot as plt
import time

environment = gym_super_mario_bros.make('SuperMarioBros-v0')
environment = JoypadSpace(environment, SIMPLE_MOVEMENT)
environment = GrayScaleObservation(environment, keep_dim=True)
environment = DummyVecEnv([lambda : environment])
environment = VecFrameStack(environment , 4, channels_order='last')

# 用于保存训练的模型参数
import os
# 导入训练用的算法
from stable_baselines3 import PPO
# 帮助保存，不一定需要
from stable_baselines3.common.callbacks import BaseCallback

class TrainAndLoggingCallback(BaseCallback):
#都是重写，注意格式
    def __init__(self, check_freq, save_path, verbose=1):
        super(TrainAndLoggingCallback, self).__init__(verbose)
        self.check_freq = check_freq
        self.save_path = save_path

    def _init_callback(self):
        if self.save_path is not None:
            os.makedirs(self.save_path, exist_ok=True)

    def _on_step(self):
        if self.n_calls % self.check_freq == 0:
            model_path = os.path.join(self.save_path, 'best_model_{}'.format(self.n_calls))
            self.model.save(model_path)

        return True
#保存训练集
chechpoint_dir = './train/'
#保存训练日志 即每次训练之后的loss等的数据
log_dir = './logs/'
#每一万次保存一次，防止数据丢失
callback = TrainAndLoggingCallback(check_freq=10000, save_path=chechpoint_dir)
model = PPO('CnnPolicy', environment, verbose=1, tensorboard_log=log_dir, learning_rate=0.000001,
            n_steps=512)
model.learn(total_timesteps=200000, callback=callback)