龙猫发布 LongCat-2.5 面向智能体任务的原生多模态模型

原创龙猫LongCat 2026-11-02 09:00 北京

LongCat-2.5：面向智能体任务的原生多模态模型

今天，我们正式发布 LongCat-2.5，这是一个面向长程智能体任务的原生多模态模型。模型总参数量为 1.6 万亿，每个 token 激活约 480 亿参数，在 LongCat-2.0 的基础上进一步强化了原生视觉理解与智能体编程能力。

新模型在长程智能体任务中有明显效果提升，这源于我们在长序列训练中加入了更多长程轨迹数据，并通过大规模长程强化学习，提升模型在复杂代码库开发、完整项目构建等任务中的端到端工程能力。围绕数据合成、环境构建与跨 Harness 混合训练，我们持续扩展这条训练链路。此外，我们也将真实 Agent 的失败轨迹转化为可复现、可验证的训练任务，针对模型能力短板持续补充训练数据。

与此同时，LongCat-2.5 具备原生视觉理解能力，可将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入在 Visual Coding 上表现出色，并支持创意设计和 3D 等任务。

这些升级背后，是持续演进的基础设施：我们优化了国产算力上的长上下文训练与 W4A4 推理，并通过训推数值一致性和长上下文 rollout 优化，支撑大规模长程 RL 的高效运行。

为直观呈现 LongCat-2.5 当前的能力水平，我们在下图中选取 GPT-5.5、GPT-5.6-Sol、Claude-Opus-4.8 和 Claude-Opus-5 进行对比。涵盖更多模型的详细评测结果见后文表格。

LongCat-2.5 将视觉信号表示为多层级离散 token，使主干模型以统一的 token 形式处理视觉与文本输入。这一设计融合了原生分辨率视觉离散化、离线视觉预处理，以及与主干模型联合学习的视觉 embedding，既能支持原生多模态融合，也简化了训练中的视觉计算与负载管理。

离散原生分辨率视觉 Transformer：为使视觉基元建模具备与语言建模类似的 token 级抽象，我们将视觉信号表示为多层级词表 token。沿用LongCat-Next ^[1]的方法，对语义对齐编码器（Semantic-and-Aligned Encoder，SAE）产生的原生分辨率特征应用残差向量量化（Residual Vector Quantization，RVQ），解决视觉离散化的信息瓶颈。

图 1：原生分辨率视觉离散化：将不同分辨率的图像编码为离散 token 序列，并通过视觉解码器重建图像。

离线视觉token预处理：为减少在线视觉计算和工作负载异构性，固定的 tokenizer 允许我们离线预计算并缓存视觉 token ID。主干模型因此直接处理预先分词的序列，简化长序列打包与切分，并改善分布式训练的负载均衡。

原生视觉表示：视觉码本 embedding 与主干模型联合学习。在平均激活参数约为 3B 的较小规模 MoE 模型上，初步验证显示，视觉与文本 embedding 在 t-SNE 可视化中呈交织分布，表明两者在共享语义空间中的融合。

图 2：视觉与文本 embedding 的 t-SNE 对比。右图为平均激活参数约 3B 的 MoE 模型上的验证结果。

RL scaling 是提升模型智能的关键步骤。我们为 LongCat-2.5 搭建了全面的 Agentic RL 训练链路，从数据、环境、算法和 Harness 等方面对长程任务进行大规模扩展。

图 3：面向长程任务的 agentic RL 训练链路，涵盖数据与环境、异步训练、奖励设计和混合训练。

大规模数据合成与环境构建：我们构建可扩展的数据合成流水线，自动化生成训练任务、可交互环境和可验证的测试用例，数据来源涵盖 GitHub 公开仓库和内部真实场景的代码任务。对于筛选后的 PR 和关联 issue，利用 Agent 自动打标、合成环境，并进行 fail-to-pass（F2P）和 pass-to-pass（P2P）测试校验。在 RL 训练中，实时 rollout 的轨迹和通过率辅助我们进行二次数据打标和筛选，并基于假阴、假阳分析持续修正和扩充 F2P 测试用例，提高对任务功能描述的覆盖率，和验证信号的准确性。

异步强化学习与稳定性优化：我们采用 partial rollout 异步训练策略缓解长尾效率问题：每个 RL step 保持一定过采样率，凑齐批次后中断、保存未完成轨迹，并在下一采样阶段恢复。过采样率基于任务通过率调整，并过滤全对或全错的零梯度样本组，以保证有效梯度。Partial rollout 中，同一轨迹的 token 可能来自不同历史 checkpoint，带来样本陈旧性。为保证训练稳定性，我们裁剪采样时与当前训练时 logprob 的差异，并基于历史累计差异调整每个 token 的梯度贡献，限制陈旧性带来的梯度偏置；此外，从 infra 视角提供了训推一致性的优化方案。

Reward hacking 与输出行为优化：我们通过在任务环境中断网、清除 git 历史和文件缓存，并引入 LLM judge 监督轨迹，以限制模型的投机行为。在输出行为优化上，我们对重复思考和重复工具调用施加额外惩罚；对过度思考和长度增长过快的问题，则通过重新分配正样本中的 Reward 加以抑制。

混合训练与泛化：模型在 RL 中可自主学习和适配近似任务和 Harness。前置冷启阶段仅需覆盖少量适配 scaffold 用例，在 RL 阶段，通过跨多任务和跨 scaffold 的混合训练可显著提高模型泛化能力，并促进不同任务上的性能提升。

为将各领域能力融入主线模型，我们沿用 LongCat-2.0 的专家组机制，分别优化 Agent 能力、推理能力和交互体验，涵盖多轮任务执行、单轮推理、细粒度指令遵循，以及不牺牲有用性的安全防御。在 MOPD 中，学生模型在各领域任务中在线采样，领域专家通过采样结果上的全词表 KL 散度 ^[2]训练学生。

样本既要反映学生的实际任务行为，也要让教师给出可信的学习信号。为限制分布偏移，先前工作将教师在 SFT 或 RL 阶段见过的轨迹拆为 per-turn prefix，作为学生采样的上下文。我们进一步将每轮教师回复按固定长度拆为 per-cut prefix，并将学生自采样的最大长度限制为该值，以处理单轮长回复中的分布偏移。

图 4：用于学生在线采样的 per-cut prefix。

为控制计算与存储成本，同一教师轨迹的 prefix 被分为一组，送至同一推理引擎，共享 prefill 计算与 KV cache。训练时，以教师轨迹为树干、学生采样为分支构建树，结合 Tree Attention^[3]，通过单次前传与反传完成同组所有样本的 OPD 训练，避免教师轨迹上的冗余计算与存储。

LongCat-2.5 在中训练和监督微调阶段均采用长序列训练。针对国产算力单卡显存不足 80 GB 的限制，训练系统重点优化显存开销，并围绕超节点架构设计并行策略。

LongCat-2.5 根据超节点拓扑配置并行组，FSDP 和 EP 并行度均与单个超节点的卡数一致，CP 并行度不超过该卡数，使参数 AllGather、专家 token AllToAll 和 KV AllGather 均在超节点内的高带宽互联域中完成。

混合词表并行在 DP 和 CP 联合并行域内对基础词嵌入层、LM head 和 N-gram 嵌入层进行分片，进一步降低显存占用。

针对大规模专家并行中的负载不均衡问题，LongCat-2.5 基于 MoonEP 引入阈值触发的动态专家复制机制。仅当 EP 负载不均衡程度达到预设阈值时才启用复制，以避免额外通信开销超过负载均衡收益，并防止路由 token 引发接收端显存溢出、通信操作引发发送端显存溢出。

提前图像 token 生成使训练计算图不再包含视觉编码器，简化了并行实现。利用已知的图像 token 数量，系统可以在数据打包和打散时预估各模态的负载比例，使各数据并行 rank 上的模态占比接近。

LongCat-2.5 引入双重分片 FSDP，模型参数在超节点内的 FSDP 域中分片，FP32 主权重和优化器状态则通过 HSDP 副本进一步跨 FSDP 域分片，在保持参数通信效率的同时，降低常驻显存。

参数、梯度和优化器状态统一组织为连续的扁平化缓冲区，支持非均匀分片和 Muon 优化器分片。同时，通过直接写入权重梯度、复用临时缓冲区，减少中间拷贝，降低峰值显存占用。

系统采用零拷贝 AllGather/ReduceScatter，消除默认通信算法引入的中间拷贝。EP 将 token 与路由概率打包传输，并采用基于 AIV 的通信实现，缓解 AICPU 任务展开瓶颈。参数预取使 AllGather 与计算重叠执行，同时控制与 CP 的资源竞争；ScMoE 则使 EP 通信与稠密分支计算重叠执行。

系统通过批量执行梯度操作、合并指标归约、CPU 绑核和 NUMA 感知调度，降低主机侧开销。

综合上述优化，该 FSDP 配置在长序列 SFT 任务中的单卡吞吐量较 DDP基线提升 86%。

图 5：国产 AI 加速器上的长上下文训练。

基于 IsoExec ^[4]、GLM-5^[5]和 XoRL ^[6] 的工作，我们构建了生产级训推一致性方案，使训练、Prefill 和 Decode 可独立选择并行配置，在性能接近无损的同时，保持逐 token logprob 的 bitwise 一致。训推两端统一采用高效的 batch-invariant 算子并对齐框架计算逻辑，补齐 backward 支持。该方案已在实验和生产任务中默认启用，为算子与框架迭代提供统一的数值回归基准。针对因为不同并行方式导致的训推无法对齐的问题，我们在社区的方案上进一步扩展 TP 和 DCP 的训推一致性支持。

TP：以完整 K 维计算替代分段求和，性能接近无损。训练侧保留权重分片，通过权重 All-Gather 和输入 AlltoAll，独立完成完整 K 维 GEMM，无需对局部结果进行 Reduce-Scatter 求和。Prefill 沿用该方案；Decode 则将 o_proj/fc2 改为 column-parallel，通过输入 All-Gather、完整 K 维 GEMM 和输出 AlltoAll 完成计算，既避免每步聚合完整权重，也避免跨卡数值求和。

DCP：在训练与 Prefill 中复现 Decode 的累加路径。我们在训练 forward 和推理 Prefill 中接入配套的 sparse attention 算子，复现指定 DCP 配置下 Decode 的 KV 分块与归约顺序，对齐了三者的计算精度。

针对负载可控的长上下文多轮 rollout，我们采用 PD 分离，为 Prefill 和 Decode 分别选择合适的并行策略，并从缓存存储、跨层卸载和请求调度三个方面协同优化：

扩大有效缓存容量：Prefill 采用 QCP 按 token 分配计算、KVP 按页分散存储，避免 MLA 下 TP 切分带来的 KV 冗余。HiCache 在 KV 回迁显存后，释放无其他读取引用的主存副本，减少两级缓存重复占用；同时基于 Mooncake 重构权重管理与 Actor offload方案，为 HiCache 释放更多内存。

通过跨层预取隐藏搬运开销：利用LSA ^[7]奇数层复用前一偶数层 top-k 索引的特点，将奇数层完整 KV 卸载至主存，显存仅保留小容量工作缓存。偶数层产生索引后，提前加载下一奇数层所需 KV，并与当前层后续计算重叠，在 TPOT 无损的情况下使 Decode KV 缓存容量接近翻倍。
通过容量感知调度避免重算雪崩：Router 根据 L1+L2 缓存容量和请求 token 总量控制请求放行，并优先推进完成度较高的 Group，尽早凑齐训练批次、释放缓存，避免多条长轨迹交替推进时反复淘汰彼此前缀，引发大规模重算。

图 6：所测长上下文负载的 Prefill/Decode 配置；在该场景下，P/D 实例配比 3:2 性能最优。

针对 1.6T 级 MoE 模型，我们结合模型结构与国产 AI 加速器的硬件特性，围绕量化精度、底层算子与推理流水开展协同优化，构建 W4A4 高效推理方案。

该方案将专家权重与激活同时量化至 4 bit，并通过原生 INT4 矩阵乘法单元执行相应的矩阵计算。

在精度方面，我们以 FlatQuant 的可学习等价变换为基础，进一步优化 MoE 模型的量化精度，在已评测的各项下游任务上保持与量化前模型相当的表现。

在算子与数据路径方面，通过专家共享的输入变换，在 token 复制与分发前完成量化，使同一份 INT4 表示贯穿专家通信与计算。将变换、尺度计算、量化和打包融合到专用算子，并结合权重布局与转置访问优化，减少数据搬运和转换开销。

在系统层面，针对 prefill 与 decode 的执行特点，依据模型的数据依赖和硬件资源约束，优化计算与通信的流水重叠。

在线上压测中，相对 W8A8 INT8 基线，prefill 和 decode 吞吐分别提升 43.3% 和 42.77%，TTFT 和 TPOT 分别降低 15.91% 和 19.72%。在算子层面，GMM 相对 W8A8 实现平均 1.73× 加速。

以下案例均为 LongCat-2.5 端到端生成的真实演示，覆盖软件开发与专业办公两大场景 —— 从实时流体模拟、3D 数字展览、城市沙盘，到经营分析、反馈报告与活动运营。点击任意案例查看完整演示视频。

使用 LongCat-2.5 开发实时流体模拟与视觉特效生成工具，生成包含实时流体动态模拟的高帧率动态交互网页，帮助开发者、设计师与科普创作者完成复杂物理现象的交互式可视化与美学展示。

整合多渠道经营数据、厘清数据口径、算清真实利润；结合业务目标拆解经营表现与投入产出，识别关键驱动因素，转化为营销、供货、库存与预算配置建议。

使用 LongCat-2.5 开发 3D 文物交互式展示页面生成工具，结合 WebGL 渲染与前端交互技术，生成包含 3D 模型（如三星堆青铜神树）、交互控制（支持拖拽旋转、滚轮缩放、双击聚焦、线框模式切换）以及历史文化信息面板的动态网页，可用于线上 3D 数字展览与文化科普页面的制作。

分析客户反馈，识别重复信息与后续更新，按问题严重程度、紧迫性和业务目标给出处理优先级；生成可交互 HTML 报告，支持点击查看原始反馈。

使用 LongCat-2.5 构建城市沙盘，构建错综复杂的道路网格与错落有致的建筑群落，整合等距视角下的 3D 视口交互以及全局统一且干净利落的低多边形光影氛围。

使用 LongCat-2.5 开发传统中国风色彩与美学动态演示网页，生成内容包含主题图形色卡组件及科普文案，打通从色彩灵感提取到内容排版与视觉呈现的工作流，帮助设计师与文化创作者完成色彩科普与美学展示的页面制作。

使用 LongCat-2.5 生成微缩场景展示网页，还原旋转木马的复杂多层结构与多重复元素，展现低多边形风格下的跨材质表现与全局光影氛围。结合 3D 视口的交互，展示模型在生成游戏级 3D 资产与场景时的稳定性和可用性。

可复用的活动邀请工具：上传场地照片、输入自然语言需求，结合照片色彩与氛围生成邀请及报名网页，打通真实报名、名单查看与表格导出全流程。

除特别说明外，LongCat-2.5 的全部结果均在 enable_thinking=on、temperature = 1.0、top_p = 0.95 下取得；对比模型中带 * 的分数取自公开的技术报告、博客或官方榜单，未标 * 的为我们自测，仅供参考。详情参见官网技术博客：https://longcat.ai/blog/longcat-2.5。

引用：

[1] LongCat-Next 方法：https://arxiv.org/abs/2603.27538

[2]全词表KL散度：https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf

[3] Tree Attention：https://arxiv.org/pdf/1909.07606

[4] IsoExec：https://vllm.ai/blog/2026-08-21-isoexec

[5] GLM-5：https://github.com/THUDM/slime/pull/2262

[6] XoRL：https://kiddyboots216.github.io/mismatch/

[7] LSA：https://arxiv.org/abs/2608.01662

欢迎体验LongCat-2.5：

注册认证即赠千万token，老用户加赠五百万token，新模型限时福利已上线！