田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍!
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题,将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法,通过识别和保留重要的tokens,显著减少了内存占用,并在长输入序列的任务中表现良好。这一成果在NeurIPS23上将进行展示,对于大型语言模型的部署和应用具有重要的意义。
AMD 将推出专为人工智能系统设计的最新 MI300 芯片,与英伟达竞争加剧
AMD计划在当地时间周三的「AdvancingAI」活动上揭晓其最新芯片,该芯片旨在推动人工智能系统的发展。此举可能帮助这家芯片制造商与Nvidia在AI热潮中展开竞争。Jefferies分析师指出,随着MI300芯片的发布,AMD成为「首选」,与Nvidia并列,因为该公司对2024年美国AI芯片制造商持「积极看法」。