GPT 采用了 Transformer 的解码器（Decoder）结构，但是去掉了编码器 - 解码器的注意力（Encoder-Decoder Attention）部分，使其成为一个纯自回归模型。

En confiant les attributs de l’architecture des LLM à BERT, Answer.ai et LightOn espèrent prouver que ModernBERT a toute sa ...