腾讯3D手语数智人“聆语”首秀

未知 2022-05-25 08:28

腾讯3D手语数智人“聆语”首秀 

为助力听障人士了解和融入高速开展的信息化社会,腾讯3D手语数智人“聆语”正走入更多场景,推进无障碍服务晋级。

5月20日,以“数字有新益”为主题的2022我国互联网公益峰会线上开幕,106位来自民政部、社科院、联合国、全球科技企业及顶尖高校的嘉宾展开跨界对话。本次峰会初次启用手语数智人进行说明,由腾讯3D手语数智人“聆语”与著名掌管人杨澜一起掌管,向全球超越100万观众供给了专业、实时、精确的手语说明服务,让处于无声国际中的特殊人群更好地参加公益事业共建。

依托于交互智能技能,3D手语数智人“聆语”在为听障人士说明冰雪赛事后,再次在公益场景供给直播说明服务,经过数字技能助力公益进程持续加快,为听障人士供给无差别参会体会。

(腾讯3D手语数智人聆语与杨澜同台掌管)

12406个手语动作实时说明公益峰会,“聆语”助力听障人士参加公益共建

“今日‘她’将和我伙伴,为线上的听障朋友供给全程手语翻译。”在掌管人杨澜介绍后,“聆语”用标准的手语动作向在线的听障人士进行了礼貌问候。

这是“聆语”初次在公益场景供给直播说明服务。本次峰会聚焦公益数字化,来自公益和互联网领域的代表们就技能公益、公益人才建造、企业社会职责实践等笔直议题在线进行了深入探讨。

随着峰会进程不断推进,各类互联网职业的技能名词不断涌现,“聆语”将这些词实时转换为方便听障人士了解的手语动作,用12406个手语动作,将时长120分钟的峰会主论坛信息精确地传递给听障观众,为听障观众了解公益动态、参加公益共建供给了更便捷的途径。

今年年初,“聆语”作为“央视频AI手语翻译官”,曾为听障观众供给手语直播赛事服务。在本届峰会上,“聆语”与冰雪健儿再次相遇。在我国男人短道速滑队运动员、奥运冠军、短道速滑男人 500 米国际纪录及奥运纪录保持者武大靖的共享中,“聆语”将其拍卖金墩墩捐助大靖冰雪公益计划,为小朋友发明冰雪运动体会的故事,“翻译”传递给听障人士。

 

(武大靖在 2022 我国互联网公益峰会共享公益故事)

腾讯3D手语数智人“聆语”是由腾讯云小微联合腾讯多个技能团队一起打造,整合了多模态交互技能,包括3D数字人建模、机器翻译、语音识别和自然言语了解等技能,也是公益数字化的又一落地实践。

到目前,腾讯3D手语数智人“聆语”词汇和语句掩盖量现已超越160万,此次针对互联网和公益职业完成了词汇定向优化,让“聆语”在翻译峰会内容时的手语可懂度达90%以上,技能水准职业抢先。

从技能创新到产业使用,数智人走入更多场景供给服务

依靠在冰雪赛事播报中的出色体现,聆语不只成功入围了新智元发布的数字虚拟人Top榜单,更入选了我国互联网公益峰会“技能公益”云展馆,让观众可以在线上重温运动健儿和“聆语”的精彩体现。

 

据介绍,针对不同的服务场景,根据《国家通用手语词典》规范,“聆语”会首先经过健听人言语与听障者手语的机器翻译能力,将说明内容低延迟生成高精确率的手语言语表征,再经过腾讯多模态端到端生成模型,进行联合建模及猜测生成高精确率的动作、表情、唇动等序列,完成自然专业、易懂度高的手语作用。

在信息精确率方面,“聆语”可以快速学习时下的新词热词,还可以快速完成各种职业、事务场景和相关知识的学习,提高手语翻译精确性。

在外观上,“聆语”的外观依托腾讯抢先的3D光照扫描还原、面部肌肉驱动、表情肢体手势捕捉等技能,形象高度还原真人发肤,动作也更加自然生动;而为了让“聆语”的手语表达能力挨近真人,腾讯还自主研发了一套可视化动作编辑渠道,为更专业的手语老师供给了友好的东西渠道,让手语老师高效率完成对全量手语动作进行精修。

回顾今年举行的冰雪赛事,“聆语”用了将近2000个手语动作,为超越216万人供给了精确的实时手语说明服务,与很多观众一起见证了我国队九枚金牌的诞生时间,让处于无声国际中的特殊人群感受到冰雪赛事的盛况,在提高听障人士观赛体会的一起,也为推进新闻传媒职业数字化转型供给助力。

随同交互智能技能的不断开展,数智人也加快向智能化、便捷化、精细化、多样化开展,从技能创新走向产业使用,广泛落地于各行各业的事务场景中。

依托于腾讯深沉的NLP、知识图谱、视觉等全栈AI底层能力,以“聆语”为代表的全新数智人矩阵产品,拥有强壮的形象体现力、识别力和感知了解能力,现已在金融、传媒、政务、文旅、公共服务等场景落地使用,承担了坐席客服、审阅面签、理财参谋、资讯播报、会展掌管、导游导览、多语种及手语主播等多种人物,用“听得清、听得懂、会表达”的交互智能服务助力产业完成数字化转型。

此次“聆语”以手语翻译的身份为公益场景供给无障碍服务,不只展现了腾讯云小微在智能交互领域的深沉堆集,也为数智人产品在更多领域供给智能化服务打下坚实基础。未来,腾讯云小微将继续深耕 AI 技能,积极探索前沿技能及使用研究,让交互智能为社会带来更多便当,助力各职业的数字化、智能化转型晋级。

 

标签