NVIDIA提出 Tied-Lora:提高LoRA方法的参数效率 用13%参数实现性能与标准LoRA方法相媲美
一组来自NVIDIA的研究人员近日提出了一种名为Tied-LoRA的新技术,旨在改善低秩适应方法的参数效率。该方法采用了权重绑定和选择性训练的策略,以寻找性能和可训练参数之间的最佳平衡。讨论与其他参数效率方法的限制和比较对于确定未来探索的潜在领域至关重要。