报告时间：2022年5月26日（周四）10：00 – 12：00

报告地点：线上腾讯会议，会议ID（869 871 951）

报告题目：基于国产超算的百万亿参数超大预训练模型训练方法

报告简介：大规模预训练模型已经在一系列重要应用中显示出其先进性。随着预训练模型规模的急剧增长，训练此类模型需要海量的计算和存储能力。为此，我们在国产新一代高性能计算机上训练了一个174万亿参数的超大规模预训练模型，模型参数与人脑中的突触数量相媲美。本报告中，介绍我们在加速这一模型中遇到的挑战以及相应的解决方法。

报告人介绍：翟季冬，清华大学计算机系长聘副教授，博士生导师。现为清华大学计算机系高性能所副所长，ACM中国高性能计算专家委员会秘书长、北京智源青年科学家。2015-2016在斯坦福大学计算机系任访问助理教授。主要研究方向包括高性能计算、性能评测和编译优化等。研究成果发表在相关领域顶级学术会议和期刊——SC、ICS、PPOPP、ASPLOS、MICRO、OSDI、ATC、IEEE TC、IEEE TPDS等。研究成果获ACM ICS 2021最佳学生论文奖、SC 2014 Best Paper Finalist、ICDCS 2020 Best Paper Honorable Mention奖。担任NPC 2018程序委员会主席、IEEE Cluster 2021领域主席、SC 2022领域副主席，SC、ICS、PPOPP、PACT等国际学术会议程序委员会委员。目前担任《IEEE Transactions on Computers》、《IEEE Transactions on Parallel and Distributed Systems》、《IEEE Transactions on Cloud Computing》等多个国际学术期刊编委。担任清华大学学生超算团队教练，指导的团队十二次获得世界冠军。在2015年和2018年包揽了SC、ISC、ASC三大国际超算竞赛的总冠军，实现“大满贯”。其中，SC15冠军是大陆高校在该项赛事中首次获奖。获教育部科技进步一等奖、中国电子学会科学技术一等奖、中国计算机学会优秀博士学位论文奖、IEEE TPDS杰出编委奖 (Editorial Excellence Award)、国家自然科学基金优秀青年科学基金、CCF-IEEE CS青年科学家奖。