多模态LLM幻觉问题降低30%!业内首个“啄木鸟”免重训方法诞生|中科大
还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”指出周围还有几条。中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构,直接从模型给出的错误文本下手,“倒推”出可能出现“幻觉”之处,然后与图片确定事实,最终直接完成修正。如下图所示,上传图片并输入请求,就可以得到修正前以及修正后的模型