突然心血来潮，想到卡尔曼滤波器是否能和深度学习结合。于是从谷歌学术上搜了一下，发现现在这方面的工作还没有太多结合。Top 期刊 TNNLS 2021 有一篇最新工作。ICLR 2020 出现一篇 Kalman Filter Is All You Need 的文章，但目前从开源的审稿意见来看，凶多吉少。其余的，大部分出自于一个 Guy Revach 学者（团队）。

DynaNet: Neural Kalman dynamical model for motion estimation and prediction [TNNLS 2021]

#用于运动估计和预测的神经Kalman动态模型

Abstract:

动力学模型估计和预测物理系统的时间演化。状态空间模型（SSM）尤其代表了具有许多理想特性的系统动力学，例如能够对模型和测量中的不确定性进行建模，以及最优（在贝叶斯意义上）递归公式，例如卡尔曼滤波器。然而，它们需要大量的领域知识来推导参数形式，并需要大量的手动调整来正确设置所有参数。数据驱动技术，如递归神经网络，已成为SSM的有力替代品，在许多具有挑战性的任务中取得了广泛的成功，部分原因是其从丰富的输入中提取相关特征的惊人能力。然而，它们对看不见的条件缺乏可解释性和鲁棒性。因此，数据驱动模型很难应用于安全关键应用，例如自动驾驶车辆。在这项工作中，我们提出了DynaNet，一种混合深度学习和时变SSM，它可以进行端到端的训练。我们的神经卡尔曼动力学模型允许我们利用SSM和深度神经网络的相对优点。我们证明了它在许多物理挑战性任务的估计和预测中的有效性，包括视觉里程计、视觉惯性导航传感器融合和运动预测。此外，我们还展示了DynaNet如何通过研究新息率（Kalman增益）等特性来指示故障。

Kalman Filter Is All You Need: Optimization Works When Noise Estimation Fails [ICLR 2020 Under review]

#卡尔曼滤波器是您所需要的一切：当噪声估计失败时，优化工作正常

确定卡尔曼滤波器（KF）的噪声参数已经研究了几十年。大量的研究集中在各种条件下的噪声估计上，因为精确的噪声估计被认为等同于最小化滤波误差。然而，我们表明，即使很小的违反KF假设，也可以显著修改有效噪声，打破任务之间的等效性，使噪声估计成为一种较差的策略。我们表明，此类违规行为很常见，而且往往不容易处理甚至注意到。因此，我们认为需要一个稳健的解决方案，而不是为每个问题选择一个专用的模型。为此，我们将基于梯度的优化直接应用于滤波误差，这与KF的对称和正定参数的有效参数化有关。在各种状态估计和跟踪问题中，我们证明了优化既提高了KF的准确性，又提高了其对设计决策的鲁棒性。此外，我们还演示了与KF相比，优化后的神经网络模型似乎可以显著减少误差，以及一旦KF得到类似优化，这种减少是如何消失的。这表明，复杂的模型可能被错误地认定为优于KF，而事实上，它们只是得到了更多的优化。

Kalman Filter Is All You Need: Optimization Works When Noise Estimation Fails | OpenReview 

最近的一个open review

研究了过程噪声和观测噪声的协方差未知时线性动力系统的轨迹估计问题。标准的解决方案是从数据中估计这些协方差，本文提出了一种优化程序。他们展示了有希望的实验结果。然而，有两个缺点：在理论保证方面，它们只能显示收敛到局部最优。此外，他们还假设自己能够接触到地面真相隐藏状态。虽然这是早期作品中出现的一个假设，但它似乎限制了适用性。

Kalmannet: Data-Driven Kalman Filtering [ICASSP_2021]

#Kalmannet：数据驱动的卡尔曼滤波//值得一看

卡尔曼滤波器（KF）是一种著名的信号处理算法，它实现了由线性高斯状态空间模型很好地表示的动态系统的最优状态估计。KF是基于模型的，因此依赖于对基础模型的全面和准确的了解。我们介绍了KalmanNet，一种混合数据驱动/基于模型的过滤器，它不需要完全了解底层模型参数。KalmanNet受到经典KF流的启发，并通过集成专用且紧凑的神经网络来实现卡尔曼增益计算。我们提出了一种离线训练方法，并通过数值计算说明KalmanNet可以在不完全了解模型参数的情况下获得最佳性能。我们证明，当面对不准确的参数时，KalmanNet学会了与KF相比显著提高性能。

 

http://people.ee.ethz.ch/~grevach/KalmanNet_ICASSP_2021_Camera_Ready.pdf

KalmanNet: Neural network aided Kalman filtering for partially known dynamics 

#KalmanNet：部分已知动态的神经网络辅助卡尔曼滤波

动态系统的实时状态估计是信号处理和控制中的一项基本任务。对于由完全已知的线性高斯状态空间（SS）模型表示的系统，著名的卡尔曼滤波器（KF）是一种低复杂度的最优解。然而，在实践中，基本SS模型的线性度和对其的准确知识通常都不会遇到。在这里，我们介绍了KalmanNet，一种实时状态估计器，它从数据中学习，在具有部分信息的非线性动力学下执行Kalman滤波。通过将结构SS模型与专用递归神经网络模块结合在KF流中，我们保持了经典算法的数据效率和可解释性，同时隐式地从数据中学习复杂动力学。我们的数值结果表明，KalmanNet克服了非线性和模型失配，优于使用失配和精确领域知识的经典滤波方法。

https://arxiv.org/pdf/2107.10043.pdf 

Data-driven Kalman-based velocity estimation for autonomous racing [ICAS_2021]

实时速度估计是自主驾驶中的一项核心任务，它是基于可用的原始传感器（如车轮里程计和电机电流）进行的。当系统动力学和观测值可以一起建模为完全已知的线性高斯状态空间（SS）模型时，著名的卡尔曼滤波器（KF）是一种低复杂度的最优解。然而，在实践中，基本SS模型的线性度和对其的准确知识通常都不会遇到。这项工作建议使用混合数据驱动（DD）实现非线性系统的KF，即KalmanNet来估计速度。KalmanNet在经典KF流中集成了一个紧凑的递归神经网络，保持了较低的计算复杂度、较高的数据效率和可解释性，同时允许在具有部分信息的非线性SS模型中操作。我们将KalmanNet应用于自动赛车，作为F1学生（FS）无人驾驶比赛的一部分。我们的结果表明，KalmanNet的性能优于使用假设SS模型的KF的最新实现，同时适用于汽车使用的车辆控制单元。

http://people.ee.ethz.ch/~grevach/KalmanNet_ICAS_2021.pdf

Unsupervised Learned Kalman Filtering 

在本文中，我们采用KalmanNet，这是最近提出的一种深度神经网络（DNN）辅助系统，其体系结构遵循基于模型的卡尔曼滤波器（KF）的操作，以无监督的方式学习其映射，即不需要地面真值状态。无监督自适应是通过利用KalmanNet基于模型/数据驱动的混合体系结构实现的，该体系结构可以像KF一样在内部预测下一次观测。然后使用这些内部特征计算系统输出的损失，而不是状态估计。利用KalmanNet的无监督学习能力，不仅可以跟踪隐藏状态，还可以适应状态空间（SS）模型的变化。我们的数值结果表明，当噪声统计未知时，无监督KalmanNet与有监督学习的KalmanNet具有相似的性能。我们还表明，由于无监督的能力，我们可以使预先训练的KalmanNet适应SS模型的变化，而无需提供额外的数据。

https://arxiv.org/pdf/2110.09005.pdf

Uncertainty in Data-Driven Kalman Filtering for Partially Known State-Space Models 

在跟踪动态系统时，在状态估计的同时提供不确定性度量通常是至关重要的。经典的状态估计器，如卡尔曼滤波器（KF），根据基础统计信息提供了一个与时间相关的不确定性度量，然而，基于深度学习的跟踪系统难以可靠地描述不确定性。在本文中，我们研究了KalmanNet（一种最近提出的基于模型的混合深度状态跟踪算法）估计不确定性度量的能力。通过利用KalmanNet的可解释性，我们表明可以根据其内部特征计算误差协方差矩阵，作为不确定性度量。我们证明，当系统动力学已知时，KalmanNet从数据中学习其映射，而无需访问统计数据，可提供类似于KF提供的不确定性；在进化模型不匹配的情况下，KalmanNet提供了更精确的误差估计。

https://arxiv.org/pdf/2110.04738.pdf 

RTSNET: Deep Learning Aided Kalman Smoothing  

平滑任务是许多信号处理应用的核心。它以一次性方式处理从一系列噪声观测中恢复一系列隐藏状态变量的问题。在这项工作中，我们提出了RTSNet，一种高效的基于模型和数据驱动的平滑算法。RTSNet将专用的可训练模型集成到经典的Rauch-Tung-Striebel（RTS）流中，使其更加平滑，并且在模型不匹配和非线性条件下运行时，能够超越RTS，同时保持其效率和可解释性。我们的数值研究表明，虽然RTSNet基于更紧凑的神经网络，这导致更快的训练和推理时间，但在非线性用例中，它优于最先进的数据驱动平滑器。

https://arxiv.org/pdf/2110.04717.pdf 

 

Reference

Kalman Filter 遇到 Deep Learning : 卡尔曼滤波和深度学习有关的论文_Phoenixtree_DongZhao的博客-CSDN博客_卡尔曼滤波 深度学习