根据全国第二次残疾人抽样调查数据，中国有超过2700万名残疾性听力障碍人士，他们也期待及时了解北京冬奥会的比赛资讯。2月5日开始，采用我国首个超大规模智能信息模型和虚拟数字人技术，为听障人士打造的“冬奥手语播报数字人”每天亮相北京卫视的“冬奥赛事集锦”和“一起看冬奥”两档节目，帮助听障人士感受奥运盛会的精彩，用科技为残疾人平等参与社会生活创造无障碍环境。
“冬奥手语播报数字人”是在北京市科委、中关村管委会支持下，由智谱ai、凌云光和北京广播电视台联合打造的，清华大学贾珈教授团队和中科院计算所陈益强研究员团队也参与了关键技术的研发。这一系统以超大规模预训练模型为核心技术，自主搭建多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现冬奥期间赛事新闻的专业手语翻译播报。
“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度。由于当前国内缺少较完善的手语语料数据，研发人员在北京市残联及其聋人协会的支持下，邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导，并进行大范围的听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。
为了构建能够理解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行手语播报驱动。
为了实现高精度、高自然度的人物形象和手语动作姿态，研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染，实现对文本内容的手语播报。其中，通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。“冬奥手语播报数字人的应用展现了我们‘让机器像人一样思考’的愿景，不仅使听障人士能快捷获取冬奥资讯，还将无障碍环境的理念传递到数亿人群，让科技更有温度。”智谱ai的首席技术官张鹏说。
根据全国第二次残疾人抽样调查数据，中国有超过2700万名残疾性听力障碍人士，他们也期待及时了解北京冬奥会的比赛资讯。2月5日开始，采用我国首个超大规模智能信息模型和虚拟数字人技术，为听障人士打造的“冬奥手语播报数字人”每天亮相北京卫视的“冬奥赛事集锦”和“一起看冬奥”两档节目，帮助听障人士感受奥运盛会的精彩，用科技为残疾人平等参与社会生活创造无障碍环境。
“冬奥手语播报数字人”是在北京市科委、中关村管委会支持下，由智谱ai、凌云光和北京广播电视台联合打造的，清华大学贾珈教授团队和中科院计算所陈益强研究员团队也参与了关键技术的研发。这一系统以超大规模预训练模型为核心技术，自主搭建多模态肢体动作、表情、手指同步采集系统，运用跨模态拟人生成算法、超高精度写实数字人等行业领先技术，实现冬奥期间赛事新闻的专业手语翻译播报。
“冬奥手语播报数字人”系统完成了《国家通用手语词典》收录的8214条通用手语的采集和录制，并且语法都以听障群体习惯打法为准，以确保手语播报成果的准确性和专业度。由于当前国内缺少较完善的手语语料数据，研发人员在北京市残联及其聋人协会的支持下，邀请超过40余位聋人老师及手语专家进行手语文本转写和技术指导，并进行大范围的听障群体评测，最终构建了符合国家通用手语规范的国内最大规模多模态手语语料库，词汇及语句总规模超10万。
为了构建能够理解、翻译语音和手语的智能数字大脑，“冬奥手语播报数字人”系统以超大规模预训练模型为核心技术，通过语义蒸馏及手语翻译快编模型，实现新闻播报语音蒸馏成语义高度接近的手语文字，并翻译成符合手语习惯的语序。最终，手语数字脑可以通过计算机模仿听障人士的大脑，进行手语播报驱动。
为了实现高精度、高自然度的人物形象和手语动作姿态，研发团队还自主搭建了多模态肢体动作、表情、手指同步采集系统。通过采集多模态动作捕捉数据，运用跨模态拟人生成算法对超写实数字人进行自然、流畅的驱动和渲染，实现对文本内容的手语播报。其中，通过肌肉绑定技术驱动实现面部采集，结合业内领先的语音识别及高清视频合成等技术，呈现给听障人群亲切自然的冬奥手语播报服务。“冬奥手语播报数字人的应用展现了我们‘让机器像人一样思考’的愿景，不仅使听障人士能快捷获取冬奥资讯，还将无障碍环境的理念传递到数亿人群，让科技更有温度。”智谱ai的首席技术官张鹏说。