华为智驾新专利公布:可识别唇语并报警!
快科技3月24日消息,据天眼查显示,华为技术有限公司近日公开了一项报警方法、装置以及智能驾驶设备”的新专利,可识别唇语并报警。据显示,该专利申请人为华为技术有限公司,申请号为CN202211115088.2,申请日期为2022-09-14。摘要显示,本申请提供了一种报警方法、装置以及智能驾驶设备。智能驾驶设备中的报警装置根据第一唇部图像信息确定用户的第一唇部特征信息,所述第一唇部图像信息是第一相机获取的。所述报警装置将所述第一唇部特征信息输入到唇语报警模型中,得到第一报警信息。所述报警装置根据所述第一报警信息进行报警。通过?
VSP-LLM:可通过观察视频中人的嘴型来识别唇语
VSP-LLM是一种通过观察视频中人的嘴型来理解和翻译说话内容的技术,也就是识别唇语。该技术能够将视频中的唇动转化为文本,并将这些唇动直接翻译成目标语言的文本。为了进一步提升训练的计算效率,VSP-LLM采用了低秩适配器技术,这种优化训练过程的方法能够减少计算资源的需求。