1. 首页 > 科技动态 > 正文

摩尔线程完成 Kimi-K3.1 Pro Day-0 适配:3 万亿参数模型上国产卡,部署前要看什么

摩尔线程在 2026 年 11 月 6 日宣布,基于 MTT S5000 智算卡和 MUSA 软件栈完成 Kimi-K3.1 Pro 的 Day-0 适配,打通模型加载、服务启动以及文本与图片基础推理链路。对关注国产算力部署开源大模型的团队来说,这条消息的价值不在“又多了一个适配新闻”,而在于评估国产卡跑超大模型时,可以从“能不能跑”推进到“跑起来要哪些条件、值不值得”。

摩尔线程完成 Kimi-K3.1 Pro Day-0 适配:3 万亿参数模型上国产卡,部署前要看什么

这次适配具体完成了什么

按摩尔线程官方经 IT之家转述的说法,本次适配覆盖三个层面:

  • 模型侧:完成 Kimi-K3.1 Pro 的加载与服务启动,文本、图片基础推理链路可走通。
  • 框架侧:基于 SGLang-MUSA 承接上游模型实现,用 MATE 算子库、Triton-MUSA、TileLang-MUSA 和 MTCC 编译器把社区模型代码迁移到 MTT S5000 上。
  • 计算路径侧:针对模型的稀疏注意力 DSA 完成索引选择、KV 缓存布局以及 Prefill、Decode 路径适配;针对 MXFP4 专家权重,采用在线转换并跨层复用 FP8 工作区的方式执行专家计算,不要求预先生成完整离线 FP8 权重。

需要区分“适配完成”和“生产可用”。官方声明说明的是模型能在该卡型上稳定运行、基础链路打通,并不等于已经给出吞吐、首 token 延迟、并发上限或长时间压测结论。原文没有披露这些数据,本文也不替它补。

3 万亿参数与 100 万上下文意味着什么

据 IT之家报道,Kimi K3.1 Pro 是 K3.1 系列首款模型,支持 100 万上下文,报道口径为 3 万亿级参数;同一页面的相关文章标题又出现“2.8 万亿级 MoE”的表述。参数口径应以月之暗面官方模型卡为准,本文不强行统一。对部署方来说,真正影响决策的是下面几件事:

  • 显存总量:参数量越大,权重占用越高,单卡放不下就必须多卡切分,卡数直接决定成本。
  • 卡间互联:多卡推理时通信开销会吃掉一部分算力,互联带宽和组网方式比单卡峰值更影响实际体验。
  • 量化精度:MXFP4 专家权重、FP8 工作区这类设计会影响显存占用和精度取舍,部署前要确认所用软件版本支持哪些格式。
  • 长上下文:100 万上下文对 KV 缓存压力很大,并发数、上下文长度和显存之间需要做明确取舍。

原文没有给出 MTT S5000 的单卡显存、互联带宽和多卡组网方案,因此无法据此推算跑满该模型需要多少张卡、成本是多少。任何精确卡数结论都需要厂商配置文档或实际验证支撑。

适配难点:DSA 与 MXFP4 专家权重

稀疏注意力 DSA 和 MXFP4 专家权重是这次适配里技术含量较高的两块。DSA 涉及索引选择、KV 缓存布局以及 Prefill、Decode 两条路径,任何一环没接好,模型可能能加载但推理结果不对或性能异常。MXFP4 专家权重则关系到超大模型能否在不预生成完整 FP8 权重的前提下完成部署,官方说法是通过在线转换和跨层复用 FP8 工作区实现,这有利于缩短首次部署的准备时间。

对使用者的含义是:这类适配高度依赖软件栈版本和算子覆盖度。拿到环境后,先验证输出正确性,再谈性能,顺序不能反。

开发者与团队的选型参考

是否考虑国产卡跑这类超大模型,可以先按使用场景分一分:

  • 个人站长与小型团队:3 万亿级参数模型自建不现实,更合理的是通过 API 或托管服务调用;本地部署应关注中小参数模型,显存和运维成本可控。
  • 有合规或数据不出域要求的企业:国产卡适配进展值得跟踪,但应先做小规模文本推理验证,确认软件版本、量化格式和稳定性,再评估图片推理。
  • 已有通用 GPU 集群的团队:在缺少公开吞吐与延迟对比数据前,不宜直接替换现有方案;可把国产卡作为并行验证环境,用同一批输入比对输出质量和响应表现。

这里没有价格和性能对比表,因为来源未提供 MTT S5000 的售价、供货状态和推理性能数据。缺少这些依据时给出“更划算”的结论是不负责任的。

部署前应向厂商确认的问题

如果准备推进验证,下面这些问题比看新闻标题更有用:

  • 该模型在 MTT S5000 上的最小可运行配置是多少张卡,显存要求如何?
  • 支持的量化格式有哪些,MXFP4 与 FP8 路径分别适用于什么场景?
  • 适配所用的 MUSA、SGLang-MUSA、驱动和编译器版本号是什么,是否有可复现的部署文档?
  • 多卡组网需要什么互联方式和交换机配置?
  • 是否提供文本与图片推理的参考输出或正确性校验方法?
  • 供货周期、商务获取方式和售后支持范围如何?

操作提醒

超大模型部署涉及大容量存储、长时间下载和可能的驱动、固件变更。动手前备份现有环境和配置,确认变更可回滚;多卡环境下的驱动与编译器升级可能影响其他在跑任务,建议在独立环境验证后再推广。涉及生产集群时,先做灰度,不要一次性全量切换。

常见问题

Day-0 适配是否意味着现在就能直接商用?

不等于。适配说明基础推理链路打通,商用还需要吞吐、延迟、稳定性和运维支持等维度的验证,这些数据官方本次声明中未披露。

3 万亿参数模型普通 VPS 能跑吗?

不能。这个量级的模型需要多卡智算环境,普通 VPS 的显存和算力都不在一个量级,个人用户更现实的选择是调用 API。

这次适配支持图片推理,是否等于多模态能力完整可用?

官方表述是打通文本、图片基础推理链路,具体能力边界要以模型自身说明和实际验证为准,不能从“链路打通”推出全部多模态功能可用。

国产卡和通用 GPU 现在该怎么选?

缺少同场景公开对比数据时,建议按合规要求、现有技术栈、软件生态熟悉度和验证成本来定,先小规模跑通再决定是否扩大投入。

这次适配更值得记下的信号是:新开源大模型在国产算力上的可用时间窗口在缩短。对部署团队来说,下一步不是追新闻,而是把验证清单列清楚——卡数、量化格式、软件版本、正确性校验和回滚方案,逐项确认后再谈规模化。

转载请注明出处:https://www.zhujixuan.com/kejidongtai/100332.html 商家投稿邮箱:zhujixuanblog@qq.com