11月9日下午，香港中文大学（深圳）张寅教授应邀来我系做了题为“Why ‘classic’ transformers are shallow and how to make them deep”的精彩报告，这是数学系第十五场综合报告，由数学系系主任喻良教授主持。

在报告中，张寅教授首先介绍了transformer架构及其在人工智能领域的革新，并指出其关键创新在于自注意力机制。但是，在实际应用中，这样的设计很难运用到更深的模型。张寅教授接着分析了根本原因，是由一种被称为“token uniformity escalation”的现象导致的。最后，张寅教授介绍了他提出的一种简单的修正方法。与大部分现有的方法不同，这种方法仅仅移除了自注意力机制的超出部分，而不是将其整体边缘化。

报告结束后, 张寅教授回答了我系师生提出的问题，与我系师生进行了交流互动。

张寅，香港中文大学(深圳)数据科学学院讲座教授，莱斯大学荣休教授。研究领域为优化算法、软件和应用，对内点法和软件、信号和图像处理算法、稀疏优化的发展做出了重要贡献。他是SIAM Fellow,曾担任SIAM J.Optim.，Math. Prog. Comput.等多个优化和计算数学领域重要期刊的编委,曾获国际数学优化学会颁发的连续优化Tseng Memorial Lectureship奖。