中山大学等提出ScaleLong扩散模型 scaling操作可以稳定模型训练
扩散模型中,UNet的longskipconnection上的scaling操作被证实能够稳定模型训练。在一些流行的扩散模型中,如Imagen和Score-basedgenerativemodel中,已经观察到设置scaling系数可以有效加速模型的训练过程。最近的一些后续工作也进一步验证了skipconnection上scaling的重要性,为这一领域的发展提供了新的思路和方向。
Lightricks发布LongAnimatediff 解决单次生成视频长度问题
Lightricks公司最近发布了LongAnimatediff项目,这一次主要解决的问题是Animatediff一次只能生成16帧视频的限制。LongAnimatediff则包括两个模型,一个可以最多一次生成64帧的视频,另一个可以生成32帧的视频32帧那个效果更好。目前推荐使用64帧的模型。