“AI手语主播的语料库, 我们做的! ”──天津理工大学聋人工学院无障碍智能科技研发团队助力冬奥直播

日前，北京冬奥会开幕，央视新闻AI手语主播正式“上岗”，在央视新闻冬奥直播特别节目等为听障人士提供实时手语翻译。为这名手语主播搭建手语资料库的，是天津理工大学聋人工学院无障碍智能科技研发团队的师生们。

“我们从6年前就开始研发这套‘复杂场景下中国手语实时翻译系统’，目前已累计20多万条语料，可以实时把手语动作转化为文字。”该团队负责人、天津理工大学聋人工学院副院长袁甜甜教授介绍，就像现在成熟的语音翻译软件一样，这套系统能将输入的手语动作和表情经由计算机视觉技术识别后翻译成文字或语音，帮助聋人实现其信息向听者方面传输，“这样既能提高沟通效率，也让沟通体现人文关怀。有了双向实时翻译，项目才算真正落地。”

用手语“说话”的语序和健听人习惯的汉语语序是不一样的，有一套相对独立的语法体系，而且手语的表达方式丰富，要“说”出一个意思完整的句子，除了手势，也要配合相应的表情甚至肢体动作。所以，想让人工智能成为合格的手语翻译，需要把手势、表情、大肢体动作从视频转化为数据，再“教”给计算机学习。此外，为了让手语主播在新闻场景下的手语实时生成能跟上新闻播报的速度，团队还要“教”计算机“学会”自己提取主干信息，同时完善与体育、新闻相关的专业语料，并按照听障人士的语言顺序不断调整手语速度、停顿间隙等，让手语含义得到准确表达。

“能为冬奥会服务，我们感到很光荣、很自豪。”袁甜甜说，研发团队已对百万级日常使用的对译文本、十万级冬奥会专有对译文本及冬奥会专有手语动作进行了多轮打磨，努力为手语主播提供尽可能丰富的语料支撑，使其能为听障人士提供专业、准确的手语解说，“此次冬奥会是实现手语识别落地的第一步，我们致力于实现手语识别项目在多个场景下的落地，助力听障人群和健听人群无障碍交流，并将这项技术推广到环境感知、微表情分析等众多领域。”（记者 姜凝）