今天,一项发外于 GitHub 与 arXiv 的探讨激发业界热议:华为推出的盘古大模子(Pangu Pro MoE)被创造与阿里巴巴达摩院发外的通义千问 Qwen-2.5 14B 模子正在参数构造上“惊人相仿”。
该探讨利用最新的“LLM 指纹”工夫,指出两者之间正在谨慎力权重输出空间的近似性高达0.927,远高于其他主流模子组合。
作家提出了一种黑盒大模子指纹识别工夫,即使无法拜访模子权重,也能通过 API 输出(如 logits 或 top-k 概率)判决模子之间是否存正在归属或接受相合。
“盘古 Pangu Pro MoE 与 Qwen-2.5 14B 模子正在谨慎力模块中显露 极高近似性 ,而这正在其他模子对照中从未展现。”
该结果意味着,Pangu 很大概正在 Qwen 的根基进取行演练或删改,而非“从零自助研发”。
QKV 谬误说明显示,盘古模子和 Qwen2.5-14B 正在三种投影类型(Q、K、V)上均涌现出惊人的近似性。
鉴于 QKV 谬误是 Qwen 1代至2.5代的一个明显打算特性,而大大批开源模子(搜罗 Qwen3)放弃了这种举措,这一点尤为要紧。