比Transformer更好的模型架构?Monarch Mixer更低成本取得更优表现
Transformer模型在自然语言处理和计算机视觉领域取得了巨大成功,但它的高成本、复杂性以及依赖于注意力机制和多层感知机等组件使得人们开始寻求替代方案。一篇题为《比Transformer更好,无Attention、MLPs的BERT、GPT反更强了》的文章介绍了一种名为MonarchMixer的全新模型架构,这个架构在序列长度和模型维度上都表现出次二次复杂度的特点,同时在现代硬件加速器上具有出色的�