初创公司Particle.news推出“多视角”新闻阅读体验 解决AI对新闻生态系统的影响
由前Twitter工程师领导的团队正在重新思考如何使用人工智能来帮助人们处理新闻和信息。上周末进入内测的Particle.news是一家新的初创公司,提供个性化、“多视角”的新闻阅读体验,,通过利用人工智能来总结新闻,并以公平的方式呈现新闻内容。该公司认为,人工智能可以帮助人们更有效地发现和理解重要信息。
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍!
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题,将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法,通过识别和保留重要的tokens,显著减少了内存占用,并在长输入序列的任务中表现良好。这一成果在NeurIPS23上将进行展示,对于大型语言模型的部署和应用具有重要的意义。