随着大模型在自动驾驶、航空航天、智能物联网等领域的逐步推广，如何将其高效部署在资源受限的边缘侧设备上已成为当前学术界和工业界共同关注的焦点。边缘侧大模型不仅需要具备多模态整合和轻量化推理的能力，还需要充分优化算力资源、提升服务效率、降低推理成本，并适合部署在异构计算硬件平台上。为满足这些需求，需要在云端大模型训练、大模型蒸馏量化为小模型、云边协同、面向AI应用的硬件架构、和国产软硬件等方面提升生态协同效率，并在“性能优先”和“成本优先”之间灵活权衡。以车载系统为例，由于其计算、存储、能耗等方面的严格限制，实现低延迟、高可靠、高能效的大模型推理成为一项极具挑战性的任务。

组织形式为：公开征集相关论文，经过专家的评审，由筛选出论文作者在论坛进行汇报、交流。投稿论文经大会两轮评审择优推荐给《计算机学报》。除了专刊论文汇报，本论坛还邀请在学术界和工业界本领域资深学者和专家进行交流。

01

论坛组织委员会

孙毓忠（中科院计算所 ）

宋莹（北京信息科技大学）

戚正伟（上海交通大学）

李建欣（北京航空航天大学）

02

论坛议程

03

论坛报告嘉宾简介

吴帆

报告题目：大小模型端云协同智能计算

报告摘要：

人工智能的快速发展与广泛应用已成为经济社会发展的强大引擎。大小模型端云协同进化作为人工智能关键前沿技术，可有效克服云侧集中式学习范式在可扩展性、实时性、个性化、负载成本、隐私安全等方面的不足，已成为产学研的焦点，并被Gartner和阿里巴巴达摩院等国内外知名机构预测为革新智能计算范式的科技趋势。本报告将会追寻端云协同智能技术的发展脉络，分享我们团队在端侧智能推理、大规模联合学习以及端云协同分布式智能支撑系统等方面的研究进展。

报告人简介：

吴帆博士，现为上海交通大学计算机科学与工程系特聘教授、博导、系主任，2020年国家自然科学基金杰出青年科学基金获得者。在大小模型协同智能、分布式智能系统、大数据管理、智能博弈等领域取得了一系列科研成果，已发表学术论文200余篇，论文发表在JSAC、TON、TMC、TPDS、TOC、TKDE等国际著名期刊，以及MOBICOM、OSDI、INFOCOM、ICDE、VLDB、KDD等重要国际会议，并出版英文专著一部。先后担任IEEE Transactions on Mobile Computing、ACM Transactions on Sensor Networks、IEEE Transactions on Network Science and Engineering、Elsevier Computer Networks编委，以及Journal of Computer Science and Technology青年编委和中国计算机学会通讯专题编委。曾获国家级教学成果奖二等奖、教育部自然科学奖一等奖、上海市科技进步奖一等奖、CCF科技进步奖一等奖、ACM中国新星奖、CCF-IEEE青年科学家奖、仲英青年学者、CCF-腾讯犀牛鸟卓越奖、CCF-Intel青年学者提升计划、上海市浦江人才，以及包括IEEE/ACM IWQoS 2020在内的7次国际学术会议论文奖。先后担任ACM中国理事会副主席、CCF上海分部秘书长、CCF YOCSEF上海主席等。作为项目负责人承担科技创新2030“新一代人工智能”重大项目、国家自然科学基金、上海市科委项目20余项。

高明晋

报告题目：面向AI应用的RISC-V扩展指令集

报告摘要：

近年来，RISC-V 在 AI 领域的应用快速增长，使用RISC-V 进行 AI 指令集扩展已成为业界共识。RISC-V AI 指令集扩展主要面向 AI 数据的不同抽象层次进行定义，包括向量（Vector）、矩阵（Matrix）和张量（Tensor）等。目前除向量已经形成统一的标准（RVV1.0 指令集标准）外，矩阵和张量标准尚未达成统一。中国科学院计算技术研究所、北京开源芯片研究院（开芯院）、北京大学、清华大学等高校科研院所以及近 20 余家 AI 算力科技领军企业，共同发起成立 RISC-V+AI 算力生态（RACE）委员会。RACE 通过加快制定和完善 RISC-V AI 扩展指令集等方面的行业和国际标准，确保不同算力芯片之间的兼容性和互操作性。自成立以来，RACE 委员会已在推动指令集标准、国际化合作方面取得了较多进展。并在 Matrix、Tensor 等 RISC-V 扩展指令集方面形成初版技术标准。本次报告首先对 RACE 进行简要介绍，进而介绍 RISC-V AI 扩展指令集制定的最新进展。

报告人简介：

高明晋，中科院计算所副研究员、硕士生导师、中科院青促会会员。主要研究方向为开源处理器微架构、处理器敏捷设计、无线信号处理等。主持工信部工业互联网创新发展工程项目（子课题）、北京市科技计划、中科院人才类项目，作为核心骨干参与国家科技重大专项、国家科技支撑计划课题等多项课题。相关成果及方法在 IEEE Transactions on Services Computing、IEEE Transactions on Mobile Computing、IEEE Communications Magazine 等国内外重要学术期刊和国际会议上发表相关论文 10 余篇，申请国家发明专利 30 余项。成果亮相国家“十二五”科技创新成果展、2018 全国科技周等。

李志

报告题目：国产GPU如何解决大模型算力难题

报告摘要：

以ChatGPT为代表的大模型技术引发了新一轮的科技革命，国内外呈现了百模争艳的状态，并且已经开始了广泛的应用落地。大模型的训练和落地带来了巨大的算力需求，以LLaMA3 千亿参数为例，Meta建设了18000个H100的集群来满足训练需求。目前国内存在着较大的算力供应瓶颈，这也给国产AI芯片带来了巨大机遇，国产千卡集群在逐步落地应用。大模型训练是一个系统工程，需要软硬件协同，算法与工程协同，对计算机体系结构如计算、存储、通信都带来了巨大挑战，另外千卡集群对并行扩展、稳定可靠、弹性伸缩提出了更高的要求，同时不同异构GPU集群形成了算力孤岛，如何实现异构GPU协同训练通过算力聚合共同训练大模型非常关键。针对上述挑战，壁仞科技基于其高性能国产GPU打造了软硬一体、全栈优化、异构协同、开源开放的大模型整体解决方案。本次演讲将从硬件集群算力、软件有效算力、异构聚合算力三个维度分享壁仞科技如何系统性的解决大模型算力难题。

报告人简介：

李志，现任壁仞科技框架架构师，主要负责AI分布式框架架构优化和大模型集群的优化工作，最近重点在负责异构GPU协同训练工作，解决大模型异构算力孤岛问题。

郑炜

报告题目：基于边缘任务类别信息的定制化模型剪枝算法

报告摘要：

在图像分类领域，卷积神经网络（CNNs）已成为主流技术，然而其复杂结构和庞大参数量限制了在资源受限的边缘设备上的高效部署。现有的剪枝方法虽能减少计算量，但忽略了边缘任务的特性，导致模型冗余问题依然存在，无法满足边缘设备对小型化和高效性的要求。针对这一问题，如何结合边缘任务的特定需求对模型进行精简优化成为关键挑战。基于此，本次报告将聚焦于CNNs在边缘设备部署中的挑战，进而介绍一种面向特定任务的剪枝方法TSP。该方法将任务类别信息融入剪枝过程，并以特征图的秩作为衡量卷积核重要性的指标，通过计算卷积核在不同类别图像下生成的特征图秩值，评估其与目标任务的相关性，进而移除与目标任务无关的卷积核，完成定制化剪枝。实验结果表明，该方法在减少模型尺寸的同时，保持了分类任务的准确性，并显著提升了推理速度，为边缘设备上的高效模型部署提供了有效解决方案。

报告人简介：

郑炜：西北工业大学软件学院，博士(博士后)，副教授，博士生导师，发表学术论文80余篇，包括TSE,TOSEM,ICES,FSE,TR,KBS,IST,JSS，软件学报等高水平期刊和会议30余篇，其中高被引论文5篇，热点论文2篇；主持、参与国自然重大仪器项目，国自然重点基金，国家重点研发计划，国家预研项目，陕西省重点研发计划等项目10项；主持12项研究所横向课题（合作研究所航空615所，航空114所，航天504所、航空601所，中电20所、航空618所、兵器203所），申请专利20余项，3项专利已经成功转化，主要涉及民机适航验证，军机智能安全评估平台，自动化测试平台，智能软件评估，国产软件漏洞检测平台等。主持发布适航验证相关标准1项。主要研究领域为民机适航认证，智能化软件测试、软件安全、大数据分析、模型压缩等。编写教材，专著11部，其中软件测试教材获得工信部十四五规划教材，陕西省优秀教材，销售超过2万册，被超过50所学校选为教材。主讲课程在爱课程，学堂在线平台上线，选课总人数超过5万，获批陕西省精品在线课程。获得国家教学成果奖二等奖1项。

袁晓铭

报告题目：基于深度强化学习的数字孪生医疗物联网计算卸载算法

报告摘要：

数字孪生（Digital Twin, DT）驱动的移动边缘计算（Mobile Edge Computing, MEC）正在推动大模型赋能的医疗物联网（Internet of Medical Things, IoMT）的智能化与数字化进程。然而，海量医疗数据的异构性和高动态网络的不可预测性，使得边缘设备有限的算力资源难以满足基于大模型推理的医疗任务对高效且可靠服务质量（Quality of Service, QoS）的需求。因此，本文提出了一种基于生成对抗网络（Generative Adversarial Network, GAN）增强的多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）计算卸载算法，以实现DT驱动的大模型赋能IoMT系统中异构资源的动态负载均衡，提升整体计算资源的利用率，确保医疗推理任务的高效性与可靠性。首先，本文分别分析了DT驱动的IoMT的物理网络层和孪生网络层，构建了一个系统成本最小化问题以联合优化推理任务的处理时延和能耗。然后，在DT架构下采用GAN算法对海量异构数据进行分布式处理、生成与优化，进一步将生成的数据用于MADRL算法中以减少集中式训练过程中数据通信。该算法充分利用有限的系统资源，以确保推理任务的高效性，并提升医疗服务的QoS。最后，仿真结果表明，该算法在动态复杂的IoMT环境中能够有效降低医疗推理任务的时延和能耗。

报告人简介：

袁晓铭：东北大学计算机与通信工程学院，博士，副教授，博士生导师，南洋理工大学Dusit Niyato博士后，深圳大学Victor C.M. Leung院士、于非院士团队访问学者，加拿大滑铁卢大学Xuemin (Sherman) Shen院士团队博士联培，共发表学术论文50余篇，包括Engineering，IEEE TII/TITS/TWC/IoT/TNSE等高水平期刊和IEEE顶会INFOCOM Wksp、旗舰会议ICC/GLOBECOM等一类会议多篇，其中高被引论文2篇；主持国家自然科学基金面上项目、河北省自然科学基金面上项目、国家自然科学基金青年科学基金项目等项目10余项，申请专利10余项，已授权6项，1项专利已经成功转化，主要涉及资源调度，移动性管理，用户特征刻画和服务质量评价等。主要研究领域为5G/6G关键技术、人工智能、云/边缘计算等。获得2022年ACM秦皇岛分会“新星奖”。

鲁飞鸿

报告题目：基于不确定性校准的云边协同推理框架

报告摘要：

近年来，预训练模型在各种任务中展现出卓越的性能，但其参数规模也呈指数级增长。该趋势给计算资源受限的边侧设备带来了巨大挑战，使得直接部署大规模预训练模型变得不切实际。为解决这一问题，本文提出了一种基于不确定性校准的云边协同推理框架。该框架在边侧设备上部署轻量化模型，在云侧维护全量高性能模型，同时边侧模型和云侧模型通过证据学习方法可获得推理置信度评估能力。当遇到低置信度样本时，边侧模型会自动向云侧模型发起请求，以获得更准确的预测结果。这种协同机制不仅充分利用了边侧计算的实时性和云计算的高性能优势，还通过智能决策最小化了通信开销。实验结果表明，我们的方法在不增加边侧推理开销的情况下，精度有了明显的提升，为资源受限环境下的智能应用提供了一种高性能可行的解决方案。

报告人简介：

鲁飞鸿：北京航空航天大学计算机学院，博士生，发表学术论文4篇，包括MM,TOMM,COLING；主要研究方向为云边协同、多模态认知智能和不确定性量化。

张贵鹏

报告题目：大模型并行训练策略的相关讨论

报告摘要：

深度学习模型随着规模的不断增大，对计算资源的需求急剧增加。传统的单节点训练方式已难以满足大规模模型的训练需求，并行训练因此成为了关键解决方案。本文聚焦于Transformer等大模型的并行训练，提出了一种新的基于拆分的并行策略抽象，涵盖了数据并行、模型并行、张量并行和流水线并行等多种并行策略。同时，本文重新定义了混合并行的数学表示，为现有并行策略提供了更加灵活和统一的理论框架。基于这一数学定义，本文提出了自动并行搜索的新范式，拓展了并行策略的解空间，提升了其在复杂训练环境中的适用性。此外，本文还深入分析了现有自动并行方案的局限性，包括通信开销、负载均衡等问题，并讨论了这些因素对训练效率的影响。最后，本文展望了未来的研究方向，特别是在异构计算环境下的自动混合并行策略优化，旨在为大规模模型的高效训练提供更多可能性。

报告人简介：

张贵鹏，中国科学院计算技术研究所，博士二年级在读，主要研究方向为云计算、大模型训练、异构计算、云游戏等。

黄知柏

报告题目：DMAtrace：面向边缘智能的高性能外设流量追踪器

报告摘要：

随着大规模语言模型在多个领域取得进展，传统的云端部署面临隐私、实时性和网络带宽的挑战，业界逐渐探索边缘设备部署的可行性。边缘部署在隐私保护和实时性等方面具有优势，但受限于计算资源和功耗。因此，需对软硬件系统进行优化，特别是主机与外设的交互性能。现有工具难以在端侧大模型负载下有效捕捉这些交互行为，阻碍了优化。为解决这一问题，本文设计了 DMAtrace 追踪工具，采用分层设计和灵活接口，简化了内核追踪操作，减少了内存占用和 CPU 开销。在模拟端侧大模型部署的测试中， DMAtrace 相较于传统开源追踪器减少了 128 倍的内存占用，同时额外的 CPU 开销降低了约 10 倍。实验结果表明，DMAtrace 显著降低了内存占用和 CPU 开销，为端侧智能应用性能优化提供了支持。

报告人简介：

黄知柏，上海交通大学博士研究生。主要研究方向为IO虚拟化，软硬件协同开发，可信计算。

04

论坛组织委员会简介

论坛主席：孙毓忠

个人简介：

计算机体系结构国家重点实验室，中国科学院计算技术研究所，研究员、博士生导师，中国科学院“百人计划”获得者，共发表论文和专利100篇以上，论文它引400次。长期从事数据中心高效能和高安全性系统软件与运行时系统软件的设计与分析方法的研究，特别是在数据中心虚拟化技术和高效能调度技术的研究方面，课题组获得了上海市科技进步一等奖和国家科技进步二等奖。在云操作系统设计理论和方法方面形成了研究特色，体现在课题组承担的基金委重点课题“基于虚拟机架构的可信计算环境与可信软件设计”和“云数据中心基于应用共存特性的混合调度研究”等基金委基础研究课题，参与了李国杰院士牵头的基金委创新群体课题“超并行高效能计算机体系结构与设计方法研究”等其它基础研究课题方面；课题组也在高效能云操作系统关键使能技术方面通过承担的863课题“基于虚拟技术的新型网络服务器的研究”和“分布式I/O资源虚拟化技术研究”等在工程和关键技术方面验证了前述的基础理论研究。

论坛主席：宋莹

个人简介：

博士，副教授，硕导，北京信息科技大学计算机学院副院长。2009年毕业于中国科学院计算技术研究所，获博士学位。现担任国际刊物《IEEE Transactions on Parallel and Distributed Systems》和《IEEE Transactions on Services Computing》、国内重要刊物《软件学报》等的评阅人。研究领域与方向：分布式计算、云计算、大数据计算平台。作为项目负责人多次承担国家自然科学基金项目及其他多项课题；参与国家863计划、中国科学院创新计划等10余项项目。目前的研究重点是大数据存储优化及恢复关键技术、大数据分析等。共发表学术论文50余篇，其中被SCI收录的论文有10余篇，单篇最高他引190余次（采用Google学术搜索检索），授权国内发明专利20余项。所在团队获2015年上海市科技进步一等奖和2016年国家科技进步二等奖。2018年获北京信息科技大学第十一届青年教师教学基本功比赛一等奖。2019年获北京市第十一届青年教师教学基本功比赛三等奖、最受学生欢迎奖。

论坛主席：戚正伟

个人简介：

上海交通大学长聘教授，CCF系统软件专委会执行委员，CCF杰出会员、微软亚洲研究院访问教师、美国CMU大学访问学者，入选教育部新世纪优秀人才计划。主要研究方向为虚拟化与云计算，代表工作有GPU/FPGA虚拟化、新型“多虚一”GiantVM、openCoDA等，论文发表于S&P、ASPLOS、ATC、PPoPP、HPDC、VEE、DAC等会议和期刊，出版专著《NewBluePill：深入理解硬件虚拟机》、译著《UNIX高级环境编程》（第二、三版）、和专著《深入浅出系统虚拟化：原理与实践》（获得2021教育部-华为智能基座突出贡献奖），曾获得全国“挑战杯”特等奖优秀指导老师、AOSA Most Influential Paper Award以及4项国家或省部级奖励。

论坛主席：李建欣

个人简介：

北京航空航天大学教授/博导、计算机学院党委书记，国家杰青。现任国家数据标委会委员，国家信标委人工智能分委科学智算工作组长，中国计算机学会青工委副主任、中国人工智能学会组织工委副主任等，研究方向：大数据计算、人工智能等。发表论文100余篇，获AAAI 2021、IWQoS 2023、CCF Bigdata 2024等最佳论文奖等，授权专利30余项。曾获多项国家科技奖和省部级科技一等奖、首届人工智能前沿创新奖“祖冲之奖”2024年度突出成果奖、北京市教学成果一等奖等，入选教育部青年长江学者和新世纪优秀人才，北京市科技新星、微软学者和微软亚洲研究院铸星计划，教育部-华为智能基座优秀教师、中国电子学会优秀科技工作者（十佳）、全国科技系统抗疫先进个人等称号。