スケーリング則(Scaling Laws)とは、モデルをスケール(大規模化)させることで性能が向上する関係を表したものです。

　具体的な関係性はパラメータ数、データセットのサイズ、計算資源と誤差との関係を表しており、パラメータ数、データセットのサイズ、計算資源(PF-days)の対数と誤差がの比例関係があります。モデル性能を表す指数であるlossが冪乗則に従い減少していきます。

　この法則に基づくと、AIを大規模にしていくほど性能が向上していくため、より大規模なモデルの構築が進んでいますが、同時にハード部分やデータ量で限界があるため、効率よく性能をあげる手法が模索されています。

※PF-days とはAIの計算量を評価するときの単位です。