10种液态神经网络创新方法+3个实战项目

论文梳理

Liquid Time-constant Networks

https://ojs.aaai.org/index.php/AAAI/article/view/16936

https://github.com/raminmh/liquid_time_constant_networks

方法： 本文介绍了一类新型的时连续递归神经网络模型——液态时间常数网络（Liquid Time-Constant Networks, LTCs）。这些网络通过将线性一阶动态系统与非线性相互连接的门控机制相结合来构建学习系统的动态。LTCs 利用数值微分方程求解器来计算输出，展现出稳定有界的行为，并在神经普通微分方程家族中提供优越的表现力，以及在时间序列预测任务中改进的性能。​

创新点：

1.
液态时间常数：LTCs 通过网络不仅确定隐藏状态的导数，还作为输入依赖的变化时间常数，增强了模型对输入特征的动态系统识别能力。​

2.
反向自动微分：LTCs 实现了可微分的计算图，可以通过反向传播通过时间（Backpropagation Through Time, BPTT）算法进行训练，而不是基于伴随敏感度的方法。​

3.
有界动态 - 稳定性：证明了 LTCs 的状态和时间常数被限定在有限范围内，确保了输出动态的稳定性。​

4.
优越的表现力：通过理论分析和量化比较，证明了 LTCs 与其它时间连续模型相比具有更好的近似能力。​

实现的性能数据：

•
在“Gesture”数据集上，LTCs 达到的准确率为 69.55% ± 1.13，相较于 LSTM 的 64.57% ± 0.59 和 CT-RNN 的 59.01% ± 1.22 显示出提升。​

•
在“Occupancy”数据集上，LTCs 达到的准确率为 94.63% ± 0.17，优于 LSTM 的 93.18% ± 1.66 和 CT-RNN 的 94.54% ± 0.54。​

•
在“Activity recognition”数据集上，LTCs 达到的准确率为 95.67% ± 0.575，与 LSTM 的 95.85% ± 0.29 和 CT-RNN 的 95.73% ± 0.47 相比较。​

•
在“Sequential MNIST”数据集上，LTCs 达到的准确率为 97.57% ± 0.18，略低于 LSTM 的 98.41% ± 0.12 和 CT-RNN 的 96.73% ± 0.19。​

•
在“Traffic”数据集上，LTCs 在平方误差上达到 0.099 ± 0.0095，优于 CT-RNN 的 0.224 ± 0.008 和 Neural ODE 的 1.512 ± 0.179。​

•
在“Power”数据集上，LTCs 在平方误差上达到 0.642 ± 0.021，优于 CT-RNN 的 0.742 ± 0.005 和 Neural ODE 的 1.254 ± 0.149。​

•
在“Ozone”数据集上，LTCs 在 F1-score 上达到 0.302 ± 0.0155，优于 CT-RNN 的 0.236 ± 0.011 和 Neural ODE 的 0.168 ± 0.006。​

这些结果表明，LTCs 在多个时间序列预测任务中相比现有的 RNN 模型有显著的性能提升​

Neural circuit policies enabling auditable autonomy

https://pan.baidu.com/s/1qhmfLYe8xff3JZVJOApIuA?pwd=b8yr

https://github.com/mlech26l/keras-ncp

方法： 本文提出了一种受大脑启发的智能代理（NCP，Neural Circuit Policies），用于从自主车辆的摄像头输入直接学习控制（端到端学习控制）。该智能代理通过结合神经计算原理和可扩展的深度学习架构，设计了一种紧凑的神经控制器，用于自动驾驶系统中特定任务的控制部分。NCP利用了C. elegans线虫神经系统的稀疏连接图和连续时间常微分方程（ODEs）来模拟神经动态，通过19个控制神经元、32个封装输入特征和253个突触连接，学习将高维输入映射到转向命令。​

创新点：

1.
神经网络结构的生物启发设计：NCP的网络结构灵感来源于C. elegans线虫的神经系统，实现了约90%的稀疏连接，这种拓扑结构具有高效的分布式控制和层次化时间动态等计算优势。​

2.
液态时间常数（LTC）网络：NCP基于LTC网络构建，该网络具有非线性时变突触传输机制，提高了模拟时间序列的表达能力。​

3.
端到端学习系统：通过卷积层感知输入，提取图像特征，然后由RNN结构（即NCP）执行控制，实现了从摄像头输入到控制命令的直接映射。​

4.
鲁棒性和解释性：NCP在保持准确性的同时提供了可解释的动态，这对于安全关键的应用如自动驾驶至关重要。​

这些结果表明，NCP在自动驾驶车辆的控制任务中，不仅实现了高保真度的自主性，而且在解释性、鲁棒性和性能上超越了现有的大型黑盒学习系统。​

Closed-form continuous-time neural networks

https://www.nature.com/articles/s42256-022-00556-7

https://github.com/raminmh/CfC

方法： 本文提出了一种新型的闭式连续时间神经网络模型（Closed-form continuous-time neural networks, CfCs），这些模型基于液态时间常数（Liquid Time-Constant, LTC）网络的近似闭式解。CfCs通过显式时间依赖门控机制和由神经网络调制的LTC来实现，从而在保持与基于ODE（Ordinary Differential Equations）的网络相当的表达能力的同时，显著提高了训练和推理的速度。​

创新点：

1.
闭式解的近似：提出了一种近似闭式解，用于高效模拟LTC网络的动态行为，这在以前是难以实现的。​

2.
显式时间依赖：CfC模型在公式中显式地包含时间变量，这使得模型不需要数值ODE求解器即可获得时间展开。​

3.
梯度和表达性问题解决：通过引入时间衰减的sigmoid函数和可学习的网络实例，解决了训练过程中的梯度问题，并提高了模型的灵活性和表达性。​

4.
混合记忆架构：CfCs可以与混合记忆网络结合使用，以处理长期依赖问题，并保持模型的稳定性。​

实现的性能数据：

•
在人类活动识别数据集上，CfC模型（CfC-mmRNN）达到了85.97%的准确率，并且比最佳性能的基于ODE的模型（Latent-ODE-ODE）快了8752%。​

•
在Walker2D数据集上，CfC模型在物理动力学模拟任务中表现优于其他基线模型，甚至比Transformer模型高出18%。​

•
在基于事件的序列图像处理任务（ET-sMNIST）上，CfC变体（CfC-mmRNN和CfC-noGate）在分类不规则采样序列方面达到了98.09%和96.99%的准确率，并且比基于ODE的模型快200-400%。​

•
在不规则采样的比特流XOR数据集上，CfC模型（CfC-mmRNN）在处理非均匀采样数据时表现出色，解决了任务。​

•
在PhysioNet挑战2012数据集上，CfC模型在预测重症监护病房患者死亡率的任务中表现出竞争力，并且在训练时间上比ODE-RNN快160倍。​

•
在IMDB情感分析数据集上，配备混合记忆实例的CfC模型优于其他先进的RNN基准模型。​

•
在自动驾驶实验中，CfC模型在保持车道任务中表现出与LTC网络相当的鲁棒性，并且在参数效率上表现优异。​

这些结果表明，CfC模型在各种序列数据处理任务中，相比现有的基于离散和连续机制的高级算法，具有显著的性能提升和速度优势。​
​

10种液态神经网络创新方法+3个实战项目​

10种液态神经网络创新方法+3个实战项目