（全球TMT2022年6月29日讯）近日，千博信息、中国科学院自动化研究所、华为基于“紫东太初”三模态大模型、昇腾AI基础软硬件平台打造出手语多模态模型及手语教考一体机，辅助听障人士更好地理解和学习手语。

研发人员让“紫东太初”三模态大模型学习了1.2万个手语词汇、50多万语法、70多万语料，基于昇思MindSpore AI框架，开发手语多模态模型，开创性地实现手语动作与视频、图片示意和文字说明的联动，让初学者对手语语义理解更加深刻。而后，基于手语多模态模型，利用昇腾AI基础软硬件平台开发出手语教考一体机。手语教考一体机可以实现文本到图像的自动生成，具备实时手语手势识别、表情及唇语识别等能力，并且还可实现新事物词汇的及时学习与更新，适用于特殊教育学校、开设手语教学师资培养的大专院校、通用手语推广教学点和全国残联基层培训点等。