字节跳动发布图像模型蒸馏算法Hyper-SD 推理速度更快更完美
字节跳动的Lightning团队发布的新图像模型蒸馏算法Hyper-SD,是一项在图像处理和机器学习领域的重要进展。这项技术通过创新的方法提升了模型在不同推理步骤下的性能,同时保持了模型大小的精简。随着进一步的研究和开发,Hyper-SD及其衍生技术有望在多个领域内推动AI技术的发展和应用。
预测token速度翻番!Transformer新解码算法火了,来自小羊驼团队
小羊驼团队的新研究火了。他们开发了一种新的解码算法,可以让模型预测100个token数的速度提高1.5-2.3倍,进加速LLM推理。其中有两位华人:傅奕超以及张昊,后者博士毕业于CMU,硕士毕业于上交大,现在是加州大学圣地亚哥分校助理教授。