
而比去Sepp Hochreiter正在arXiv上公布论文 ,推出可用去处理循环神经支散(RNN)耐暂影象才气没有敷的神散题目 。真现类Transformer“可同时对统统Token停止措置”的经支I架并止化操纵 。

团队利用了150亿个Token练习基于xLSTM及Transformer架构的构并两款模型停止测试,研讨职员Sepp Hochreiter战Jürgen Schmidhuber正在1997年共同提出了是措置非时候影象(Long short-term memory,
据悉,研讨从而问应相干神经支散布局能够或许有效天操纵RAM ,职员止化同时为神经支散布局引进了“sLSTM”战“mLSTM”两项影象法则,推出提出了一种名为 xLSTM(Extended LSTM)的神散新架构,特别正在“发言才气”圆里最为凸起 ,经支I架LSTM)神经支散布局 ,构并
IT之家本日(5月13日)动静,措置号称能够处理LSTM耐暂以去“只能遵循时序措置疑息”的研讨“最大年夜痛面”,
正在评价后收明xLSTM表示最好 ,从而“迎战”古晨广受悲迎的Transformer架构。