DeepMind指出「Transformer无法超出预训练数据实现泛化」,但有人投来质疑
说起大语言模型所展示的令人印象深刻的能力,其中之一就是通过提供上下文中的样本,要求模型根据最终提供的输入生成一个响应,从实现少样本学习的能力。这一点依靠的是底层机器学习技术「Transformer模型」,并且它们也能在语言以外的领域执行上下文学习任务。更多研究细节,可参考原论文。
谷歌DeepMind研究:Transformer模型无法超越训练数据进行泛化
谷歌DeepMind的研究人员进行了实验,旨在探讨Transformer模型是否能够在超出预训练数据范围之外泛化出新的认知和能力。他们的研究发现,几乎不可能要求模型在超出预训练数据范围之外解决新问题。这对于机器学习和人工智能领域的研究和发展具有重要意义。