ssm 文章 进入ssm技术社区

Transformer、RNN和SSM的相似性探究：揭示看似不相关的LLM架构之间的联系

• 通过探索看似不相关的大语言模型(LLM)架构之间的潜在联系，我们可能为促进不同模型间的思想交流和提高整体效率开辟新的途径。尽管Mamba等线性循环神经网络(RNN)和状态空间模型(SSM)近来备受关注，Transformer架构仍然是LLM的主要支柱。这种格局可能即将发生变化：像Jamba、Samba和Griffin这样的混合架构展现出了巨大的潜力。这些模型在时间和内存效率方面明显优于Transformer，同时在能力上与基于注意力的LLM相比并未显著下降。近期研究揭示了不同架构选择之间的深层联系，包括T
• 关键字： Transformer  RNN  SSM  模型