VSP-LLM:可通过观察视频中人的嘴型来识别唇语
VSP-LLM是一种通过观察视频中人的嘴型来理解和翻译说话内容的技术,也就是识别唇语。该技术能够将视频中的唇动转化为文本,并将这些唇动直接翻译成目标语言的文本。为了进一步提升训练的计算效率,VSP-LLM采用了低秩适配器技术,这种优化训练过程的方法能够减少计算资源的需求。
VSP-LLM官网体验入口 视觉语音处理AI模型免费使用下载地址
VSP-LLM是一个结合视觉语音处理与大型语言模型的框架,旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务,通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器,可以高效地进行训练。