Mamba-2新架构出世一统江湖!普林斯顿CMU华人再出神作,性能狂飙8倍
【新智元导读】在开源社区引起「海啸」的Mamba架构,再次卷土重来!这次,Mamba-2顺利拿下ICML。通过统一SSM和注意力机制,Transformer和SSM直接成了「一家亲」,Mamba-2这是要一统江湖了?年前,Mamba被顶会ICLR拒稿的消息曾引起轩然大波。是不是可以让SSD利用H100的新特性,让SSM在2-4K序列长度的大规模预训练中,比Transformer还快?推理优化:有许多针对Transformers的优化方法,特别是处理KV缓存。