性能大涨20%!中科大「状态序列频域预测」方法:表征学习样本效率max|NeurIPS 2023 Spotlight
【新智元导读】SPF算法是一种基于状态序列频域预测的表征学习方法,利用状态序列的频域分布来显式提取状态序列数据中的趋势性和规律性信息,从辅助表征高效地提取到长期未来信息。马尔科夫决策过程在具体分析两种结构性信息之前,我们先介绍产生状态序列的马尔科夫决策过程的相关定义。,使预测器的输出能逼近真实状态序列的傅里叶变换,从鼓励表征编码器提取�
字节跳动与中科大联手提出多模态文档大模型DocPedia
字节跳动与中国科学技术大学合作研发的多模态文档大模型DocPedia已成功突破了分辨率的极限,达到了2560×2560的高分辨率。这一成果是通过研究团队采用了一种新的方法,解决了现有模型在解析高分辨文档图像方面的不足。该研究为推动多模态文档理解领域的发展提供了有力的支持。
突破分辨率极限,字节联合中科大提出多模态文档大模型
现在连文档都有大模型了是高分辨率、多模态的那种!不仅能准确识别出图像里的信息能结合用户需求调用自己的知识库来回答问题。看到图中马里奥的界面,直接就回答出了这是任天堂公司的作品。由该示例可以看到,进行了感知-理解联合微调的模型,能准确地进行文字识别和语义问答。
中科大联合封神榜团队发布中文医疗领域大模型ChiMed-GPT
中科大和IDEA研究院封神榜团队合作开发了一款名为ChiMed-GPT的中文医疗领域大语言模型。该模型基于封神榜团队的Ziya2-13B模型构建,拥有130亿个参数,并通过全方位的预训练、监督微调和人类反馈强化学习来满足医疗文本处理的需求。该模型不仅能够有效处理医疗文本数据能生成适合回答患者咨询的内容。
多模态LLM幻觉问题降低30%!业内首个“啄木鸟”免重训方法诞生|中科大
还在用指令微调解决多模态大模型的“幻觉”问题吗?比如下图中模型将橙色柯基错认为“红狗”指出周围还有几条。中科大的一项研究想到了一个全新办法:一个免重训、即插即用的通用架构,直接从模型给出的错误文本下手,“倒推”出可能出现“幻觉”之处,然后与图片确定事实,最终直接完成修正。如下图所示,上传图片并输入请求,就可以得到修正前以及修正后的模型