清华微软开源全新提示词压缩工具,长度骤降80%,GitHub怒砍3.1K星
清华和微软的研究人员提出了一种全新的方法,能在保证输出质量不变的前提下,将提示词压缩到原始长度的20%!在自然语言处理中,有很多信息其实是重复的。如果能将提示词进行有效地压缩,某种程度上也相当于扩大了模型支持上下文的长度。GPT-4可以有效地重建原始提示,这表明在LLMLingua-2压缩过程中并没有丢失基本信息。