来源:
澎湃新闻
在国庆节前夕,DeepSeek 和智谱先后宣布推出新一代大模型。与此同时,国产芯片厂商都在第一时间宣布适配,这标志着国产 GPU 已具备与前沿大模型协同迭代的能力,加速构建自主可控的 AI 技术生态。
9 月 29 日,DeepSeek 宣布开源 DeepSeek-V3.2-Exp 实验版模型,该模型首次引入了 Attention 稀疏注意力架构,并在几乎不影响模型输出效果的前提下,大幅度提升了长文本训练和推理效率,被 DeepSeek 定义为 「迈向新一代架构的中间步骤」。
华为、寒武纪、海光已经完成适配 DeepSeek-V3.2-Exp 实验版模型
在 DeepSeek 宣布后,算力芯片厂商华为、寒武纪 (688256)、海光信息(688041) 等 AI 芯片厂商已经宣布适配 DeepSeek-V3.2-Exp。
「华为计算」 公众号发文宣布,昇腾已快速基于 vLLM/SGLang 等推理框架完成适配部署,实现 DeepSeek-V3.2-Exp Day 0(第零天) 支持,并面向开发者开源所有推理代码和算子实现。DeepSeek-V3.2-Exp 在昇腾设备上 128K 长序列输出,能够保持 TTFT(首 token 输出耗时) 低于 2 秒、TPOT(每 token 输出耗时) 低于 30 毫秒的推理生成速度。
在 DeepSeek-V3.2-Exp 模型宣布开源几分钟内,寒武纪也发文称其已同步实现对该模型的 Day 0 适配,并开源大模型推理引擎 vLLM-MLU 源代码。
寒武纪称,公司一直高度重视大模型软件生态建设,支持以 DeepSeek 为代表的所有主流开源大模型。借助于长期活跃的生态建设和技术积累,寒武纪得以快速实现对 DeepSeek-V3.2-Exp 这一全新实验性模型架构的 day 0 适配和优化。
寒武纪强调,一直重视芯片和算法的联合创新,致力于以软硬件协同的方式,优化大模型部署性能,降低部署成本。此前,寒武纪对 DeepSeek 系列模型进行了深入的软硬件协同性能优化,达成了业界领先的算力利用率水平。
针对本次的 DeepSeek-V3.2-Exp 新模型架构,寒武纪通过 Triton 算子开发实现了快速适配,利用 BangC 融合算子开发实现了极致性能优化,并基于计算与通信的并行策略,再次达成了业界领先的计算效率水平。依托 DeepSeek-V3.2-Exp 带来的全新 DeepSeek Sparse Attention 机制,叠加寒武纪的极致计算效率,可大幅降低长序列场景下的训推成本,共同为客户提供极具竞争力的软硬件解决方案。
海光信息也宣布其 DCU 实现无缝适配+深度调优,做到大模型算力 「零等待」 部署。
海光信息表示,在 「深算智能」 战略引领下,海光信息始终致力于 AI 软件栈生态建设,全面支持以 DeepSeek 为主流的全球主流开源大模型。得益于长期、活跃的技术积累,海光 DCU 得以快速对 DeepSeek-V3.2-Exp 完成 「Day0」 级高效适配与优化。
基于 GPGPU 架构强大的生态优势,与编程开发软件栈 DIK 的特性,DeepSeek-V3.2-Exp 在海光 DCU 上展现出优异的性能,充分验证海光 DCU 高通用性、高生态兼容度及自主可控的技术优势,已成为支撑 AI 大模型训练与推理的关键基础设施。
DeepSeek 表示,得益于新模型服务成本的大幅降低,官方 API 价格也相应下调,开发者调用 DeepSeek API 的成本将降低 50% 以上。从价格来看,输入缓存命中从 0.5 元降至 0.2 元/百万 tokens,缓存未命中从 4 元降至 2 元/百万 tokens,输出由 12 元降至 3 元/百万 tokens。
寒武纪和摩尔线程宣布适配智谱新一代大模型 GLM-4.6
9 月 30 日,智谱正式发布并开源新一代大模型 GLM-4.6,在 Agentic Coding 等核心能力上实现大幅跃升。这是继 DeepSeek-V3.2-Exp 与 Claude Sonnet 4.5 之后,国庆节前业界的又一重大技术发布。
智谱表示,在公开基准测试和真实编程任务中,GLM-4.6 的代码生成能力已全面对齐 Claude Sonnet 4,成为目前国内最强的 Coding 模型。同时,模型在长上下文处理、推理能力、信息检索、文本生成及智能体应用等方面均实现全面升级,整体性能超越 DeepSeek-V3.2-Exp。作为开源模型,GLM-4.6 目前是全球开源生态中性能最强的通用大模型之一,进一步提升了国产大模型在全球竞争格局中的地位。
智谱官方宣布,GLM-4.6 已在寒武纪领先的国产 AI 芯片上实现 FP8+Int4 混合量化推理部署,这也是首次在国产芯片上投产的 FP8+Int4 模型-芯片一体化解决方案。在保持模型精度不变的前提下,该方案大幅降低了推理成本,为国产芯片本地化运行大模型提供了可行路径和示范意义。
与此同时,摩尔线程基于 vLLM 推理框架完成了对 GLM-4.6 的适配,新一代 GPU 可在原生 FP8 精度下稳定运行模型,充分验证了 MUSA 架构及全功能 GPU 在生态兼容性和快速适配能力方面的优势。
华为、寒武纪、摩尔线程等芯片厂商完成对新一代前沿大模型的适配,这标志着国产 GPU 已具备与前沿大模型协同迭代的能力,加速构建自主可控的 AI 技术生态。
智谱表示,未来,国产原创的 GLM 系列大模型与国产芯片的深度协同,将在模型训练和推理环节持续推动性能与效率的双重优化,构建更加开放、可控、高效的人工智能基础设施。
截至 30 日收盘,寒武纪报收 1325 元,微涨 0.11%;海光信息报收 252.6 元,跌 1.27%。
(澎湃新闻)
文章转载自东方财富