代码、模型全开源!贾佳亚团队多模态模型 Mini-Gemini登上热榜
香港中文大学终身教授贾佳亚团队最近推出了一款名为Mini-Gemini的多模态模型,该模型在多模态任务榜单上取得了显著成绩,其性能堪比GPT-4与DALLE3的结合。Mini-Gemini模型以其更精确的图像理解能力、更高质量的训练数据和更强的图像解析推理能力著称。这一成果不仅为开源社区带来了新的活力,也为多模态模型的发展和应用开辟了新的可能性。
Design2Code:提供设计图,让多模态LLM自动生成前端代码
生成AI在多模态理解和代码生成方面取得了显著进展,为前端开发带来了全新的范式。研究人员开展了对视觉设计转换为代码实现任务的系统研究。详细的细分指标表明,开源模型在从输入网页中召回视觉元素和生成正确布局设计方面大多落后在文本内容和着色方面则可以通过适当的微调得到显著改进。