Llama1

之前人们发现，大模型和小模型相比，一开始小模型Loss下降的快，但随着训练继续进行，小模型趋于饱和，而大模型则可以获得更低的Loss，也就是说，比较大的训练预算下，大模型是比较划算的。

但是Meta不这么认为，Meta认为训练只会训练一次，而推理则会进行无数次，推理低价应该比训练代价更重要，相同的计算预算下，增加训练数据比扩大模型参数更有效，Llama1总共使用了1.4T token，训练时的上下文长度为2048，使用了2048个A100 80G GPU，总训练用时21天。

Llama1模型采用的是Transformer Decoder架构，做了以下修改：

昇腾大模型|结构组件-1——Layer Norm、RMS Norm、Deep Norm

一般认为，Post-Norm在残差之后做归一化，对参数正则化的效果更强，进而模型的收敛性也会更好；而Pre-Norm有一部分参数直接加在了后面，没有对这部分参数进行正则化，可以在反向时防止梯度爆炸或者梯度消失，大模型的训练难度大，因而使用Pre-Norm较多。