研究称:英特尔Gaudi2技术在大语言模型推理方面媲美英伟达AI加速器
根据Databricks的最新研究,英特尔的Gaudi2技术在大规模语言模型推理方面与业界领先的英伟达AI加速器相媲美。该研究发现,Gaudi2在解码方面的延迟与英伟达H100系统相当,并且优于英伟达A100。我们的总体策略是提供一系列解决方案。