近年大規模言語モデルのパラメータ数が莫大に増え続け、さらに大きな規模のモデルの開発が進んでいます。スケーリング則によるとパラメータ数の上昇はモデルの性能の向上につながります。

　言語モデルは 2017年のTransformer の登場をきっかけに大規模化がされるようになり、大規模化がおこなわれ、大規模言語モデル(LLM)が登場するようになりました 。その後2020年にGPT-3が登場するまでは100 billion(1000億)程度のモデルが作られてきましたが、GPT-3登場後、急激に開発されるモデルのパラメータの数が上昇していきます。

　しかし、モデルのパラメータを増やすことで計算コストが大きくなっていくという問題もあります。この問題に対して、いくつかの解決の方針が検討されていますが、代表的な解決方針として

• Attention機構の工夫
• Attentionを用いないアーキテクチャの開発
• 計算コストを変えずにパラメータを増やす

などがあります。

　まず、1つ目と2つ目に関して、大規模言語モデルはTransformerを元に作られているという前提があります。その中の Attention という機構が重要なのですが、この機構を工夫し変える、または、Attentionを用いない手法を用います。Attentionを工夫したものとして Sparse Transformer やFlashAttentionなどがあります。Attentionを用いない手法としてAttention Free Transformer などがあります。

　最後の、計算コストを変えずにパラメータを増やす手法の例として、混合エキスパート(MOE)などがあります。