ASC22超算竞赛进入预赛,大学生从零打造AI大模型

(全球TMT2022年2月17日讯)2022 ASC世界大学生超级计算机竞赛(ASC22)已进入预赛阶段。来自全球各地的300多支参赛队伍正在挑战一道人工智能难题 -- AI语言大模型。组委会提供了100GB高质量中文数据集,要求参赛队基于此数据集实现一个47亿参数的“源”AI语言大模型,以此激发参赛大学生对自然语言处理的兴趣与创造力,激励他们向这一人工智能“皇冠上的明珠”发起冲击。

ASC22组委会提供了100GB高质量中文数据集,要求参赛队基于这一数据集实现一个47亿参数的“源”AI语言大模型。但是,组委会并未提供大模型设计的参考代码。这就意味着参赛队需要从零开始,自行完成模型结构构建和全部训练过程,并合理设计模型训练策略,以期得到最佳的计算性能。因此,这道赛题也变得更具挑战性:在追求极致性能的同时,还要满足精度约束,这也是在实际大模型研发中,行业人士经常会面临的关键问题。