Qwen4-27B 架构线索现身 GitHub：27B 延续 Dense 路线并引入四路残差与稀疏注意力
Qwen4推理内核代码现身GitHub：27B架构细节引热议，新一代模型路线浮出水面？
一份已合并的 Intel GPU 推理内核 PR（编号 #22）标题中出现了未发布的 Qwen4-27B，llama.cpp 社区据此还原其架构：延续 Qwen3.8-27B 的 Dense 稠密架构，隐藏层维度 5120，新增四路 Hyper-Connections、Sigmoid 输出门控和 QSA 稀疏注意力。
原创 四月 2026-10-26 12:50 北京
四路残差、稀疏注意力、INT4 量化，下一代千问有了新线索？
作者 | 四月
Qwen4 尚未发布，但一份已合并的开源推理内核代码 Pull Request（PR），却率先“透露”了架构线索。
这份 PR 来自阿里云重要芯片供应商英特尔 GPU（XPU）推理加速仓库 analytics-zoo/vllm-xpu-kernels，主要涉及英特尔 GPU（XPU）的底层推理算子开发与优化。
在这条名为“Enable Qwen3.8-flash-next 8 cards fp8 & int4 and optimize qwen4-27b”的 PR 里，开发者 hzjane 不仅将“qwen4-27b”直接挂在了标题上，还公开了与模型张量尺寸、注意力计算、残差结构、量化精度及推理解码相关的具体实现。
这里有一个背景需要补充，芯片与底层算子适配是模型发布前的必经环节。硬件厂商为了让自家 XPU 或 GPU 在新模型发布当天提供算力支持，通常会提前数月拿到模型结构甚至早期权重进行 kernel 开发。理论上，这些工程细节即使没有模型权重，也可能成为外界反推架构的依据。
但比较蹊跷的是，这次新模型的工程协同痕迹被未经脱敏地推到了公开分支。
随后，llama.cpp 开源社区的开发者顺着这些线索展开逆向分析，更进一步还原出 Qwen4 这一档位模型的更多架构技术细节：Qwen4-27B 延续了上一代 Qwen3.8-27B 模型的 Dense 稠密架构，同时引入了 Qwen3.8-Flash-Next 四路残差流、稀疏注意力等新一代设计。社区还从代码中推断，其前馈网络的中间维度可能有所缩减。
Qwen3.8-Flash-Next 于今年 8 月发布、被官方定义为 Qwen4 架构预览，是一款 125B 参数、每 Token 激活约 6B 参数的 MoE 稀疏模型。
可以推测，阿里正在把下一代模型的架构创新，同时应用于大型 MoE 和中等规模 Dense 模型，而非单纯依靠增加参数提升能力。距离阿里在云栖大会上透露 Qwen4 已进入训练阶段，仅过去一个多月。这次意外浮出水面的代码，究竟提前暴露了下一代千问的哪些技术底牌？
Qwen4 意外现身单设备即可部署
在开发者 hzjane 在面向英特尔 GPU（xPU） 推理加速的 vLLM XPU Kernels 开源项目分支中，提交了一份原本用于优化 Qwen3.8-Flash-Next 的代码更新，却在标题中直接写出了尚未发布的 Qwen4-27B。
目前，这份编号为 #22 的 PR 已被代码仓正式合并，包含 10 次代码提交、56 个文件变更。
该 PR 明确了 Qwen4-27B 的底层推理适配方案。开发者在说明中直接列出，针对 Qwen4-27B Dense，提供 TP2 FP8、TP1/TP2 INT4 的 SYCL/SYCL-TLA 内核。
这意味着相关开发工作已经覆盖双设备 FP8 推理，以及单设备、双设备 INT4 量化计算路径。其中，FP8 主要用于降低计算与存储开销，INT4 则通过进一步压缩权重精度，减少模型运行时对显存的需求。
在评论区，网友也迅速把关注点转向显存需求。对于一款 270 亿参数的稠密模型而言，按照每个参数 4 bit 粗略计算，仅模型权重理论上约需 13.5GB 存储空间，但这还不包括 KV Cache、中间激活和运行时开销。
INT4 的适配至少说明，社区已经在为 Qwen4-27B 的超低显存部署做准备，以实现更低精度、较少设备资源运行。不过，这次面向的是 SYCL/SYCL-TLA 内核，主要用于开发 GPU 高性能计算，还不意味着 Qwen4 已经在普通消费级显卡上运行成功。
此外，PR 里还出现 Qwen4-27B 的部分推理性能测试记录。在 8 张 Intel B70 加速卡环境下开展的测试。其中，一轮历史候选结果显示，Qwen4 TP2 FP8 配置下，32K 输入的首 Token 延迟从约 37.41 秒缩短至 21.84 秒，降幅约 42%；INT4 配置也有接近幅度的改善。
这意味着新模型可能在引入额外结构的同时，通过压缩部分传统计算模块，平衡新增的计算与内存成本。
该份还明确注明，目前没有提供 Qwen4 的 QSA 权重，因此尚未完成基于真实模型权重的完整端到端验证，QSA 与 MTP 的组合也未启用。
换句话说，目前 Qwen4-27B 或已进入具体的推理算子适配和优化阶段，但尚不知最终模型权重是否已经准备就绪。
27B 保留稠密路线四路残差成关键变化
在开源推理项目 llama.cpp 的 GitHub 仓库里，开发者 adambenhassen 顺着线索，将 Qwen4-27B 与此前的 Qwen3.8-27B 进行了逐项比较。
Qwen4-27B 并未明显改变上一代模型的基础规模，而是将升级重点放在内部架构上。
两代模型均采用 27B Dense 稠密路线，隐藏层维度同为 5120，部分 GDN 和注意力配置也基本一致。但 Qwen4 相关实现中，又出现了 四路 Hyper-Connections（HC）、Sigmoid 输出门控和 QSA 稀疏注意力等设计。
其中，四路残差是最值得关注的变化之一。它将传统 Transformer 的单路残差信息传递扩展为四路，通过门控改善不同网络层之间的信息流动。GDN 则利用固定大小状态高效压缩历史信息，QSA 通过筛选重要上下文，减少不必要的注意力计算。
这些技术此前已在 Qwen3.8-Flash-Next 中作为 Qwen4 架构预览公开，如今又出现了针对 27B 稠密模型的适配线索。
如果相关配置得到证实，Qwen4-27B 的升级重点不在扩大参数规模，而是通过改善信息传递与长上下文计算效率，争取更高的模型能力和推理效率。
这也与阿里此前公布的下一代模型技术方向相呼应。
云栖大会上，阿里巴巴集团 CEO 吴泳铭描绘的各类 Agent 协同。对于需要持续读取代码、调用工具、处理长文档的 Agent 而言，模型不仅需要更强的推理能力，还必须控制长期运行中的计算与存储成本。GDN 与 QSA 的混合设计，正是为缓解长上下文计算和历史信息访问开销提供的一种技术路线。
新架构甚至可能影响现有推理框架的兼容性。
llama.cpp 开发者指出，由于四路残差改变了模型内部的信息传递结构，现有针对qwen3_5的推理实现已无法直接加载 Qwen4-27B，需要适配新的模型代码。部分基于上一代模型训练的推测解码辅助模型，也可能需要重新训练。
结语
当然，社区这些分析主要建立在推理内核代码之上。没有正式模型配置和权重，仍无法判断 Qwen4-27B 的最终完整架构。一位接近千问团队的知情人士向我们透露，按照以往的产品发布节奏，27B 规模的模型通常属于较晚发布的批次。
在一个月前的云栖大会上，阿里巴巴 CEO 吴泳铭介绍了集团面向机器智能时代的算力与基础设施规划。新任 Qwen LLM 项目负责人刘大一恒也首次在云栖大会主论坛亮相，介绍千问下一阶段的发展方向。
其中最重要的一条信息是：基于新一代架构的 Qwen4 已经进入训练阶段，后续 Qwen4.5、Qwen5 等系列还计划向 5 万亿至 10 万亿参数规模扩展。
这也意味着，阿里已经明确将 Qwen4 定位为下一阶段模型架构升级的重要节点。从行业技术演进来看，越来越复杂的 Agent 工作负载，正在推动模型厂商同时改进网络架构、注意力计算和推理部署效率。此次 GitHub 代码中出现的 HC、GDN、QSA 等技术，也与这条发展路线存在明显关联。
声明：本文为AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。
今日荐文
字节Seed招聘具身岗位起薪55K；高通被曝11 月启动全球绩效裁员；Claude Code一天内痛失两员核心开发者｜AI周报
17岁Kimi前研究员陈广宇被曝投奔Jeff Dean创业团队，新公司正寻求500亿美元估值
上市前夕估值被砍5000亿美元！Anthropic最新招股书曝上半年巨亏807亿，大模型暴利神话还能撑多久？
你也「在看」吗？👇
来源：AI前线 · 微信公众号 · mp.weixin.qq.com