英伟达提出新技术Tied-LoRA 减少模型训练参数
Nvidia的研究人员提出了一种名为Tied-LoRA的新技术,旨在改善低秩适应方法的参数效率。该方法通过将权重绑定和选择性训练结合起来,寻找了在性能和可训练参数之间的最佳平衡。对比其他参数效率方法、讨论局限性并确定未来探索的潜在领域仍然是重要的。
英伟达发布新一代AI处理器H200 性能较H100提高60%至90%
英伟达Nvidia推出了H200,这是一款专为训练和部署生成式人工智能模型的图形处理单元。它基于NVIDIAHopper架构,具有先进的内存和处理能力,可处理海量的数据用于生成式AI和高性能计算工作负载。对于高性能计算应用,内存带宽对于提高数据传输速度、减少处理瓶颈至关重要。