轻松拿捏4K高清图像理解!这个多模态大模型自动分析网页海报内容,打工人简直不要太方便
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简直不要太方便。上海AILab,香港中文大学等研究机构提出的InternLM-XComposer2-4KHD模型让这成为了现实。IXC2-4KHD将多模态大模型支持的分辨率提升到了4K的水平,研究人员表示目前这种通过增加切块个数支持更大图像输入的策略遇到了计算代价和显存的瓶颈,因此他们计划提出更加高效的策略在未来实现�
谷歌推多模态视频模型VLOGGER,自动生成丰富动作视频
谷歌的研究人员最近推出了一款名为VLOGGER的多模态扩散模型,能够自动生成带语音、丰富动作的人物视频。用户只需向VLOGGER输入图像和语音,就可以获得逼真的视频效果。VLOGGER的推出为虚拟数字人的制作提供了更便捷、高效的解决方案,同时也在多模态视频生成领域取得了重要的技术突破。
Design2Code:提供设计图,让多模态LLM自动生成前端代码
生成AI在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务的系统研究。详细的细分指标表明,开源模型在从输入网页中召回视觉元素和生成正确布局设计方面大多落后在文本内容和着色方面则可以通过适当的微调得到显著改进。