英伟达推出归一化Transformer，革命性提升LLM训练速度

英伟达团队近日在AI领域投下了一枚震撼弹，英伟他们提出了一种全新的达推神经网络架构——归一化Transformer(nGPT)。这一创新架构基于超球面(hypersphere)进行表示学习，出归为AI领域带来了新的革命突破。

相较于传统的性提训练Transformer架构，nGPT在保持原有精度的升L速度同时，直接将大型语言模型(LLM)的英伟训练速度提升了高达20倍。这一显著的达推性能提升，无疑将极大地推动AI技术的出归发展和应用。

在nGPT中，革命所有的性提训练向量(包括嵌入向量、多层感知机(MLP)向量、升L速度注意力矩阵向量以及隐藏状态向量)都被归一化为单位范数(unit norm)。英伟这一设计不仅简化了模型训练过程，达推还提高了模型的出归稳定性和泛化能力。

英伟达团队的这一创新成果，无疑为AI领域注入了新的活力。nGPT架构的提出，不仅将推动AI技术的进一步发展，还将为各种应用场景提供更加高效、准确的解决方案。