近年、大規模言語モデルのさらなる大規模化がスケーリング則に基づき、進められています。スケーリング則によると、データセットのサイズを増加させることがモデルの性能向上に繋がります。そのため、より多くのデータを集めることが重要になってきます。

　学習に使われるデータはデジタルのデータである必要があります。そのため、多くはwedデータを用いて行われます。しかし、wedデータの増加より学習データの増加の方が早く、データが枯渇することが見込まれています。

　一方、日本語のモデルを作る場合、データの量が圧倒的に英語のデータに比べ少ないため、大規模なモデルを作る際に、データのサイズの観点から性能を向上させるのが難しいです。