fbprophet
Prophet的原理知识:Prophet的原理知识_lamusique的博客-CSDN博客_prophet原理Prophet的使用:时间序列模型Prophet使用详细讲解_anshuai_aw1的博客-CSDN博客_prophet官方链接:论文:《Forecasting at scale》,https://peerj.com/preprints/3190/github:https://github
1 Prophet 简介
Facebook 开源了一个时间序列预测的算法,叫做 fbprophet,它的官方网址与基本介绍来自于以下几个网站:
- Github:https://github.com/facebook/prophet
- 官方网址:https://facebook.github.io/prophet/
- 论文名字与网址:Forecasting at scale,https://peerj.com/preprints/3190/
从官网的介绍来看,Facebook 所提供的 prophet 算法不仅可以处理时间序列存在一些异常值的情况,也可以处理部分缺失值的情形,还能够几乎全自动地预测时间序列未来的走势。从论文上的描述来看,这个 prophet 算法是基于时间序列分解和机器学习的拟合来做的,其中在拟合模型的时候使用了 pyStan 这个开源工具,因此能够在较快的时间内得到需要预测的结果。除此之外,为了方便统计学家,机器学习从业者等人群的使用,prophet 同时提供了 R 语言和 Python 语言的接口。从整体的介绍来看,如果是一般的商业分析或者数据分析的需求,都可以尝试使用这个开源算法来预测未来时间序列的走势。
2 Prophet 数据的输入和输出
prophet 所做的事情就是:
- 输入已知的时间序列的时间戳和相应的值;
- 输入需要预测的时间序列的长度;
- 输出未来的时间序列走势。
- 输出结果可以提供必要的统计指标,包括拟合曲线,上界和下界等。
就一般情况而言,时间序列的离线存储格式为时间戳和值这种格式,更多的话可以提供时间序列的 ID,标签等内容。因此,离线存储的时间序列通常都是以下的形式。其中 date 指的是具体的时间戳,category 指的是某条特定的时间序列 id,value 指的是在 date 下这个 category 时间序列的取值,label 指的是人工标记的标签('0' 表示异常,'1‘ 表示正常,'unknown' 表示没有标记或者人工判断不清)。
而 fbprophet 所需要的时间序列也是这种格式的,根据官网的描述,只要用 csv 文件存储两列即可,第一列的名字是 'ds', 第二列的名称是 'y'。第一列表示时间序列的时间戳,第二列表示时间序列的取值。通过 prophet 的计算,可以计算出 yhat,yhat_lower,yhat_upper,分别表示时间序列的预测值,预测值的下界,预测值的上界。两份表格如下面的两幅图表示。
Prophet 的输入画图:
- 黑色表示原始的时间序列离散点,
- 深蓝色的线表示使用时间序列来拟合所得到的取值,
- 浅蓝色的线表示时间序列的一个置信区间,也就是所谓的合理的上界和下界。
3 Prophet 算法原理
在时间序列分析领域,有一种常见的分析方法叫做时间序列的分解(Decomposition of Time Series),它把时间序列 分成几个部分,分别是季节项,趋势项,剩余项,也就是说对所有的,都有
除了加法的形式,还有乘法的形式,也就是:
*
以上式子等价于 。所以,有的时候在预测模型的时候,会先取对数,然后再进行时间序列的分解,就能得到乘法的形式。在 fbprophet 算法中,作者们基于这种方法进行了必要的改进和优化。
模型整体主要由三部分组成:
- growth(增长趋势)
- seasonality(季节趋势)
- holidays(节假日对预测值的影响)
其中:
- g(t) 表示趋势项,它表示时间序列在非周期上面的变化趋势;
- s(t) 表示周期项,或者称为季节项,一般来说是以周或者年为单位;
- h(t) 表示节假日项,表示时间序列中那些潜在的具有非固定周期的节假日对预测值造成的影响;
- 即误差项或者称为剩余项,表示模型未预测到的波动,服从高斯分布;
Prophet 算法就是通过拟合这几项,然后最后把它们累加起来就得到了时间序列的预测值。
2.1 趋势项模型
趋势项有两个重要的函数,一个是基于逻辑回归函数的(非线性增长),另一个是基于分段线性函数的(线性增长)
2.1.1 基于逻辑回归的趋势项
如果回顾逻辑回归函数的话,一般都会想起这样的形式:,它的导数是,如果增加一些参数的话,那么逻辑回归就可以改写成:
这里的 称为曲线的最大渐近值, 表示曲线的增长率, 表示曲线的中点。当 时,恰好就是大家常见的 sigmoid 函数的形式。从 sigmoid 的函数表达式来看,它满足以下的微分方程:。
那么,如果使用分离变量法来求解微分方程就可以得到:
但是在现实环境中,函数 的三个参数 不可能都是常数,而很有可能是随着时间的迁移而变化的,因此,在 Prophet 里面,作者考虑把这三个参数全部换成了随着时间而变化的函数,也就是 。
除此之外,在现实的时间序列中,曲线的走势肯定不会一直保持不变,在某些特定的时候或者有着某种潜在的周期曲线会发生变化,这种时候,就有学者会去研究变点检测,也就是所谓 change point detection。例如下面的这幅图的 就是时间序列的两个变点。
在 Prophet 里面,是需要设置变点的位置的,而每一段的趋势和走势也是会根据变点的情况而改变的。在程序里面有两种方法:
- 一种是通过人工指定的方式指定变点的位置;
- 另外一种是通过算法来自动选择。
在默认的函数里面,Prophet 会选择 n_changepoints = 25 个变点,然后设置变点的范围是前 80%(changepoint_range),也就是在时间序列的前 80% 的区间内会设置变点。通过 forecaster.py 里面的 set_changepoints 函数可以知道,首先要看一些边界条件是否合理,例如时间序列的点数是否少于 n_changepoints 等内容;其次如果边界条件符合,那变点的位置就是均匀分布的,这一点可以通过 np.linspace 这个函数看出来。
2.1.2 基于分段线性函数的趋势项
众所周知,线性函数指的是 ,而分段线性函数指的是在每一个子区间上,函数都是线性函数,但是在整段区间上,函数并不完全是线性的。正如下图所示,分段线性函数就是一个折线的形状。
因此,基于分段线性函数的模型形如:
其中
- 表示增长率(growth rate),
- 表示增长率的变化量,
- 表示 offset parameter。
而这两种方法(分段线性函数与逻辑回归函数)最大的区别就是 的设置不一样,在分段线性函数中, 注意:这与之前逻辑回归函数中的设置是不一样的。
在 Prophet 的源代码中,forecast.py 这个函数里面包含了最关键的步骤,其中 piecewise_logistic 函数表示了前面所说的基于逻辑回归的增长函数,它的输入包含了 cap 这个指标,因此需要用户事先指定 capacity。而在 piecewise_linear 这个函数中,是不需要 capacity 这个指标的,因此 m = Prophet() 这个函数默认的使用 growth = 'linear' 这个增长函数,也可以写作 m = Prophet(growth = 'linear');如果想用 growth = 'logistic',就要这样写:
m = Prophet(growth='logistic')
df['cap'] = 6
m.fit(df)
future = m.make_future_dataframe(periods=prediction_length, freq='min')
future['cap'] = 6
2.2 变点的选择
在介绍变点之前,先要介绍一下 Laplace 分布,它的概率密度函数为:
其中 表示位置参数, 表示尺度参数。Laplace 分布与正态分布有一定的差异。
在 Prophet 算法中,是需要给出变点的位置,个数,以及增长的变化率的。因此,有三个比较重要的指标,那就是
- changepoint_range,
- n_changepoint,
- changepoint_prior_scale。
changepoint_range 指的是百分比,需要在前 changepoint_range 那么长的时间序列中设置变点,在默认的函数中是 changepoint_range = 0.8。n_changepoint 表示变点的个数,在默认的函数中是 n_changepoint = 25。changepoint_prior_scale 表示变点增长率的分布情况,在论文中, ,这里的 就是 change_point_scale。
在整个开源框架里面,在默认的场景下,变点的选择是基于时间序列的前 80% 的历史数据,然后通过等分的方法找到 25 个变点(change points),而变点的增长率是满足 Laplace 分布 的。因此,当 趋近于零的时候, 也是趋向于零的,此时的增长函数将变成全段的逻辑回归函数或者线性函数。这一点从 的定义可以轻易地看出。
2.3 对未来的预估
2.4 季节性趋势
几乎所有的时间序列预测模型都会考虑这个因素,因为时间序列通常会随着天,周,月,年等季节性的变化而呈现季节性的变化,也称为周期性的变化。对于周期函数而言,大家能够马上联想到的就是正弦余弦函数。而在数学分析中,区间内的周期性函数是可以通过正弦和余弦的函数来表示的:假设 是以 为周期的函数,那么它的傅立叶级数就是
2.5 节假日效应(holidays and events)
在现实环境中,除了周末,同样有很多节假日,而且不同的国家有着不同的假期。在 Prophet 里面,通过维基百科里面对各个国家的节假日的描述,hdays.py 收集了各个国家的特殊节假日。除了节假日之外,用户还可以根据自身的情况来设置必要的假期,例如 The Super Bowl,双十一等。
2.5 模型拟合(Model Fitting)
按照以上的解释,我们的时间序列已经可以通过增长项,季节项,节假日项来构建了,i.e.
下一步我们只需要拟合函数就可以了,在 Prophet 里面,作者使用了 pyStan 这个开源工具中的 L-BFGS 方法来进行函数的拟合。具体可以参考 forecast.py 里面的 stan_init 函数。
2.6 Prophet 中可以设置的参数
在 Prophet 中,用户一般可以设置以下四种参数:
- growth:增长趋势模型。分为两种:”linear”与”logistic”,分别代表线性与非线性的增长,默认值:”linear”.
- Capacity:在增量函数是逻辑回归函数的时候,需要设置的容量值,表示非线性增长趋势中限定的最大值,预测值将在该点达到饱和.
- Change Points:可以通过 n_changepoints 和 changepoint_range 来进行等距的变点设置,也可以通过人工设置的方式来指定时间序列的变点,默认值:“None”.
- n_changepoints:用户指定潜在的”changepoint”的个数,默认值:25。
- changepoint_prior_scale:增长趋势模型的灵活度。调节”changepoint”选择的灵活度,值越大,选择的”changepoint”越多,从而使模型对历史数据的拟合程度变强,然而也增加了过拟合的风险。默认值:0.05。
- seasonality_prior_scale(seasonality模型中的):调节季节性组件的强度。值越大,模型将适应更强的季节性波动,值越小,越抑制季节性波动,默认值:10.0.
- holidays_prior_scale(holidays模型中的):调节节假日模型组件的强度。值越大,该节假日对模型的影响越大,值越小,节假日的影响越小,默认值:10.0。
- freq:数据中时间的统计单位(频率),默认为”D”,按天统计.
- periods:需要预测的未来时间的个数。例如按天统计的数据,想要预测未来一年时间内的情况,则需填写365。
- mcmc_samples:mcmc采样,用于获得预测未来的不确定性。若大于0,将做mcmc样本的全贝叶斯推理,如果为0,将做最大后验估计,默认值:0。
- interval_width:衡量未来时间内趋势改变的程度。表示预测未来时使用的趋势间隔出现的频率和幅度与历史数据的相似度,值越大越相似,默认值:0.80。当mcmc_samples = 0时,该参数仅用于增长趋势模型的改变程度,当mcmc_samples > 0时,该参数也包括了季节性趋势改变的程度。
- uncertainty_samples:用于估计未来时间的增长趋势间隔的仿真绘制数,默认值:1000。
如果不想设置的话,使用 Prophet 默认的参数即可。
Prophet原理:Facebook 时间序列预测算法 Prophet 的研究 - 知乎
Prophet的原理知识:
Prophet的原理知识_lamusique的博客-CSDN博客_prophet原理
Prophet的使用:时间序列模型Prophet使用详细讲解_anshuai_aw1的博客-CSDN博客_prophet
官方链接:
-
论文:《Forecasting at scale》,https://peerj.com/preprints/3190/
案例链接:
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)