2023年8月19-20日，由中国人工智能学会主办，中国人工智能学会会士之家（杭州站）承办，浙江杭州未来科技城管委会协办的第3期人工智能创新技术讲习班“多模态大模型技术前沿与应用”以线上线下结合的方式成功举办，线上累计观看人次超16万。

本期讲习班围绕热点话题“多模态大模型”展开，旨在促进学术交流，推动技术创新。来自复旦大学的邱锡鹏教授和来自清华大学的徐枫副教授共同担任本期讲习班的学术主任。宋睿华副教授、代季峰副教授、孙天祥博士、王炳宁先生、赵俊博研究员、严明先生等6位在多模态大模型及相关领域具有重要影响力的专家学者也受邀加入讲师团，为听众们带来了一场精彩纷呈的学术盛宴。讲习班开课期间，听众热情高涨，积极参与互动。浓厚的学术氛围也一直延续到课后，各位讲师们在结束授课后仍一一为线上线下的观众们答疑解惑，现场氛围十分热烈。

徐枫副教授

在8月19日—20日的两天时间里，各位讲师从严谨缜密到妙趣横生，从理论研究到落地应用，为线上线下的学员和观众带来了6场“知识盛宴”。

授课一：《多模态理解与人工智能创作》宋睿华

8月19日上午，宋睿华副教授为大家带来了第一堂课——《多模态理解与人工智能创作》。在正式授课前，宋睿华副教授先深入浅出地解释了“多模态”的概念、其与多媒体的关系以及其为何突然火爆出圈等问题。在介绍完“多模态”相关的基本信息后，宋睿华副教授开始对文澜模型1.0-3.0展开介绍，并分享了“多模态与文本预训练模型的文本嵌入差异研究”的整个过程及其成果。在生动授课的最后，宋睿华副教授对多模态理解与创作的趋势做了总结，并鼓励听众在未来能朝着更艰险处攻关。

宋睿华副教授

授课二：《视觉基础大模型》代季峰

讲习班的第二堂课《视觉基础大模型》由代季峰副教授主讲。他在课堂上指出，通用大模型正在引领人工智能的发展。围绕“超大规模视觉模型”及相关技术路线，代季峰副教授在接下来的授课中展开了精彩的讲述，他不仅对LLM（大规模语言模型）其强大的功能进行了描述，亦称赞其是通用人工智能发展道路上的一个里程碑。

代季峰副教授

授课三：《对话式大型语言模型》孙天祥

8月19日下午，孙天祥博士给大家带来了题为《对话式大型语言模型》的第三堂课。授课内容主要分为四个部分，分别是预训练数据、自然语言基座模型、对话语言模型和OpenLMLab。

孙天祥博士

授课四：《大语言模型的训练和优化方法》王炳宁

8月19日下午，王炳宁老师带来了本期讲习班的第四堂课——《大语言模型的训练和优化方法》。他首先对语言模型的发展历程做了系统的梳理，并指出近几年语言模型的发展是超线性的，发布的频率在不断加速。在接下来的授课中，他对大语言模型的基础框架及优化方法进行了阐述，并在最后乐观地表达了对大语言模型的憧憬和为中文互联网大语言模型做贡献的决心。

王炳宁老师

授课五：《TableGPT——大模型的漫长落地之路初探》赵俊博

8月20日上午，赵俊博研究员带来了第五节课——《TableGPT——大模型的漫长落地之路初探》。在授课前，风趣地解释了他为授课题目加上了“渡劫”二字的原因，做相关研究过程非常漫长，也充满了各种挫折和挑战，他也希望借此激励台下同处于研究瓶颈期的研究者们。赵俊博研究员随后简单介绍了自己的团队成员和研究背景，并解释了他们做刚性LLM而最终选择了“TableGPT”等一系列问题。赵研究员在后续授课过程中介绍了“TableGPT”的功能、落地过程及方案等，并在最后无不幽默地总结道，从一个通用LLM到领域LLM就好比从一个文科生到理科生转变，堪比“渡劫”。

赵俊博研究员

授课六：《达摩院通义mPLUG多模态大模型技术与应用》严明

8月20日下午，严明老师带来了本次讲习班的最后一堂课，《达摩院通义mPLUG多模态大模型技术与应用》。他先对多模态大模型技术发展历程做了简单的归纳，随后重点介绍了他的团队研究多模态的两条路径，一条是mPLUG：模块化多模态预训练大模型技术系列，另外一条则是大小模型协同的Agent系统。最后，严明老师对“ModelScope”实战应用相关话题展开了详细的讲解与阐述。

严明老师

至此，第3期人工智能创新技术讲习班“多模态大模型技术前沿与应用”的6节课程全部结束。邱锡鹏教授在线上为此次讲习班做了结业总结，他回顾了6位专家学者精彩的授课内容，指出从学术介绍到从应用落地，这些研究最前沿的成果让听众耳目一新。此外，邱锡鹏教授还表示，多模态大模型的发展处于起步阶段，在未来发展的过程中既充满了机遇，也难免会遇到挑战，而本次讲习班为各位研究者构建了一个交流互动的平台，帮助各位学者不论在学术研究还是落地应用层面，都能共同探索、学习和进步。

邱锡鹏教授

（图文/中国人工智能学会）