外媒发现不对劲:中国用短短一个下午,就干掉了美国AI的领先优势

在架构层面,Kimi K3基于Kimi Delta Attention混合线性注意力机制和注意力残差技术构建;在混合专家层面,模型从896个专家中激活16个。

这些改进使得K3相比K2的整体扩展效率提升了约2.5倍。

值得一提的是,这些技术都是月之暗面公司自主研发的。

在训练Kimi K3新一代基座大模型的过程中,该公司使用了自主研发的底层模型架构,并形成了一套科学的模型训练方法。

文章配图-1

我想对那些动辄声称“中国AI靠抄袭、靠蒸馏”的人说,环球网已经明确指出,Kimi K3取得突破的关键在于自主研发的底层模型架构和科学的训练方法,绝不是简单复制西方模型就能实现的;而且西方模型同样大量使用了包括中国内容在内的全球公开数据。

实际上,先进AI的竞争壁垒并非仅仅局限于芯片和算力,在算法和工程实现上的巧妙创新,同样能够让我们迎头赶上,甚至实现反超。

Kimi K3的功能也得到了大幅提升。

与前代256K的上下文处理能力相比,K3提升至100万token,能够一次性处理相当于《三体》三部曲体量的文本,并且原生支持图像和视频理解,可以将截图、界面录屏与代码、工具调用放在同一个会话中处理。

无论是前端开发、游戏制作还是科研计算,它都能胜任。