NVIDIA RTX显卡AI推理提速5倍!RTX PC轻松在本地搞定大模型
正在举行的微软Iginte全球技术大会上,微软发布一系列AI相关的全新优化模型、开发工具资源,帮助开发者更深入地释放硬件性能,拓展AI场景。尤是对于当下在AI领域占据绝对主导地位的NVIDIA来说,微软这次送上了一份大礼包,无论是面向OpenAIChatAPI的TensorRT-LLM封装接口是RTX驱动的性能改进DirectMLforLlama2,以及其他热门大语言模型,都可以在NVIDIA硬件上获得更好的加速和应用。目前已经有400多个合作伙伴发布了支持RTXGPU加速的AI应用、游戏随着模型易用性的不断提高,相信会有越来越多的AIGC功能出现在WindowsPC平台上。