由大模型训推算法革新展望智算集群服务发展未来”线上主题沙…

文章正文

发布时间：2025-02-21 22:09

2025年2月20日，由中国信息通信研究院（以下简称“中国信通院”）云计算开源产业联盟万卡智算集群服务推进方阵（ICCPA）主办的智算集群服务系列主题沙龙活动第一期“从暴力堆卡到效率革命-由大模型训推算法革新展望智算集群服务发展未来”成功召开。

步入2025年初，基于MoE推理导向的开源大语言模型架构凭借动态稀疏训练与混合精度量化技术，在保持相同算力水平的前提下，显著提升了模型训练与推理的效率。这一创新直接挑战了传统上依赖增加GPU数量来提升性能的模式，在有限计算资源下实现了更快捷的训练与推理，标志着从“暴力堆卡”向“效率革命”的重大转变。

在此背景下，特别是在人工智能领域迎来前所未有的发展机遇之时，中国信息通信研究院万卡智算集群服务推进方阵（ICCPA）于2月20日举办以“从暴力堆卡到效率革命—由大模型训推算法革新展望智算集群服务发展未来”为主题的第一期沙龙活动。本次活动旨在深度挖掘智算领域的广泛应用前景与未来趋势，特邀清华大学研究员张琪、斯坦福大学研究员张康宁、中国电信集团云算力资深专家崔娜妮、联通数科云事业部智算高级总监周冠霖、清程极智联合创始人兼产品副总裁师天麾、阿里云专有云高网技术负责人杨裕斌、之江实验室高效能计算系统研究中心主任助理杨非、天数研究院大模型研究资深科学家朱帅等多位顶尖专家莅临，围绕MoE推理导向的开源大语言模型架构技术的最新研究成果、行业应用实例、面临的挑战与应对策略、未来智算集群建设方向是大规模还是效能密度等话题展开深入对话与研讨。旨在通过此次沙龙，助力各方精准把握技术演进脉络，携手推动智算产业稳健、快速发展。

主题分享

会上，斯坦福大学研究员张康宁发表了《DeepSeek：架构、推理能力与应用场景》主题演讲，重点阐述了DeepSeek的算法体现在降低训练成本的同时保证了高准确度，其降低了技术门槛和部署成本。同时其营造的开源生态也推动了AI产业从“中心化”到“分布式”的生态重构。

议题讨论

议题1--大模型训练范式革新：算法优化如何重构算力需求？

之江实验室高效能计算系统研究中心主任助理杨非指出DeepSeek通过优化模型架构、数据质量和系统设计，大幅减少算力需求，实现了高效训练。

中国电信集团云算力资深专家崔娜妮指出DeepSeek突破了“大模型训练=暴力堆卡”的局限，通过开源、算法优化和高效的软硬件协同，降低了算力需求，并通过MoE、MLA、GPRO等技术提高了训练效率和降低成本。其V3和R1架构提供了更开放、更高效、更普惠的解决方案。

天数研究院大模型研究资深科学家朱帅指出DeepSeek通过创新Transformer架构（如MLA、细粒度专家）和工程化优化，显著降低了训练和推理的算力需求。

联通数科云事业部智算高级总监周冠霖指出DeepSeek通过算法优化与软硬件协同设计，重构了算力需求逻辑，从硬件堆砌转向效率驱动的精细化利用，降低了技术门槛，推动了推理算力、边缘场景和开源生态的发展。

议题2--超大规模集群的瓶颈与未来：未来智算集群建设将有哪些转变和新的方向，如何定义下一代智算集群建设标准？

围绕本次沙龙的核心议题，线上专家立足智算集群未来发展思考，依次发表针对性见解，探讨智算集群服务发展的方向是大规模算力堆叠还是效能提升优先。

之江实验室高效能计算系统研究中心主任助理杨非指出智算集群建设需综合考虑能耗、算力效率和软硬件适配，避免只在特定负载下优化，确保全面评估与长期适配。

中国电信集团云算力资深专家崔娜妮指出超大规模集群面临算力、数据传输、能耗等瓶颈。未来集群建设将转向架构创新和智能化自动化，强调高带宽、低延迟网络和动态调度。

联通数科云事业部智算高级总监周冠霖指出未来智算集群建设将转向架构创新、性能提升、智能化自动化和绿色低碳，标准应涵盖算力、存储、网络、可靠性、安全性和能效等，以满足大规模智能计算的需求，实现高效、稳定和可持续发展。

清程极智联合创始人兼产品副总裁师天麾指出大规模集群适用于大规模训练和推理，但需考虑网络拓扑和通信延迟。小集群适用于小规模训练和推理，但扩展性和算力不足，而软件协同优化和算法改进是提升效能的关键。

阿里云专有云高网技术负责人杨裕斌指出随着DeepSeek的出现，AI将在行业知识重构和垂直行业渗透上进入新阶段。未来集群建设将不再单纯追求规模，而是转向架构重构和技术融合，重点将从“堆算力”转向“全栈协同”和智能自治，同时继续聚焦性能和稳定性等核心问题。

清华大学研究员张琪指出Deepseek通过模型蒸馏和强化学习技术，提升了大模型效果，推动了产业落地，未来计算集群建设需注重效能密度和去中心化趋势，关注一体机的发展，综合评估能效比、性价比和用户体验。

天数研究院大模型研究资深科学家朱帅指出超大规模集群的瓶颈主要在于算力调度和互联效率。DeepSeek通过智能算力调度和动态冗余负载策略，优化了异构资源的调度；同时，极致的系统优化确保了低互联资源情况下的高效训练，证明了高带宽低延迟互联在超大规模训练中的重要性。

中国信通院将持续与产学研各界专家共同开展相关工作，强化大规模智算集群服务有序高效规范建设，构建专业完善高质量的智算集群服务标准体系，服务好大规模智算集群服务的发展。

此外，中国信通院也观察到目前市场上出现诸多面向DeepSeek私有化部署的智算一体机。为了确保用户能够精准识别并选用到高性能、高可靠性的智算一体机，促进整个行业的健康发展，中国信通院将联合清华大学，共同制定并发布智算一体化解决方案的性能测试benchmark。这一合作是对未来技术标准化、规范化发展的深远布局。通过科学严谨的测试标准，对当前市场的智算一体机设立一道“金线”，帮助用户识别真正符合高标准、高质量要求的产品。同时，这也将激励厂商不断提升技术水平，通过测评推动整个产业链向更高层次迈进。

议题3--当下现状对于泛AI应用、端侧AI、国产芯片生态等将带来何种影响，如何积极迎接机遇和挑战。

中国电信集团云算力资深专家崔娜妮指出DeepSeek大幅降低了大模型算力成本，推动了AI技术的广泛应用，促进了国产芯片和云边端协同计算的发展。其开源策略推动了AI产业的普及，尤其在端侧AI和行业应用领域。中国电信通过天翼云与DeepSeek深度适配，提供了全栈国产化推理服务，满足了企业的大模型应用需求。

阿里云专有云高网技术负责人杨裕斌指出Deepseek带来了新的市场导向，之后会带动更多的大模型开源，推动AI产业的继续发展。

天数研究院大模型研究资深科学家朱帅指出DeepSeek提升了模型性能并降低了成本，推动了AI应用的商业落地。R1蒸馏的小模型有助于端侧AI的快速发展。国产芯片厂商将受益于DeepSeek高性能与高性价比的模型。DeepSeek将从软件和硬件方向适配模型，同时创新硬件设计和集群管理，进一步提升服务性能。

覆盖三大议题、历时三个多小时的线上分享中，各位专家讨论热烈，直播间一千余名观众与专家线上互动提问，不仅让我们深入了解了DeepSeek技术的最新进展和行业应用实例，还为智算集群服务未来发展趋势和应对策略提供了重要参考。

后续，中国信通院万卡智算集群服务推进方阵（ICCPA）将持续推出系列线上、线下主题沙龙，邀请产学研用各方专家共同分享和探讨技术发展新趋势、行业发展新业态。

直播预告

万卡智算集群服务推进方阵系列线上主题沙龙第二期——《极致效能优化：如何把“大模型”塞到“小算力”？》即将举行，共同探讨4090如何满血部署DeepSeek，国内自研芯片部署DeepSeek最强效能花落谁家？敬请期待！