报告时间：2022年6月13日（周一）14:30-17:30
报告地点：线上腾讯会议569-883-5662
报告题目：分布式深度学习算法并行训练架构
报告简介：大规模复杂深度学习算法的训练耗时问题是阻碍其发展的重要因素，本报告将探讨如何采用分布式计算技术对深度学习模型的训练过程进行加速。将介绍一种基于异构分布式计算的卷积神经网络双层并行训练框架，分别从数据并行和任务并行角度对训练过程进行优化。为了解决负载均衡问题，提出一种数据增量迁移策略，根据各个异构计算节点的实时计算能力，动态分配训练数据和训练任务，实现分布式弹性训练。最后，采用异步更新策略实现分布式模型之间的参数共享和更新，最小化其更新等待时间，从而提高模型整体训练性能。
报告人介绍：陈建国，中山大学软件工程学院副教授，硕士生导师，入选中山大学百人计划。主要从事基于分布式并行计算的人工智能算法优化及其应用研究。主持国家自然科学基金青年项目1项、博士后国际交流计划派出项目1项、湖南省自然科学基金青年项目1项。目前在IEEE-TII、IEEE-TITS、IEEE-TPDS、IEEE-TKDE、IEEE/ACM-TCBB、ACM-TIST、ACM-TCPS等国际著名期刊和会议上发表学术论文30余篇。担任Information Sciences和Neural Computing and Applications期刊客座编辑。
