データセットのサイズ
近年、大規模言語モデルのさらなる大規模化がスケーリング則に基づき、進められています。スケーリング則によると、データセットのサイズを増加させることがモデルの性能向上に繋がります。そのため、より多くのデータを集めることが重要になってきます。
学習に使われるデータはデジタルのデータである必要があります。そのため、多くはwedデータを用いて行われます。しかし、wedデータの増加より学習データの増加の方が早く、データが枯渇することが見込まれています。
一方、日本語のモデルを作る場合、データの量が圧倒的に英語のデータに比べ少ないため、大規模なモデルを作る際に、データのサイズの観点から性能を向上させるのが難しいです。
![](https://resources.zero2one.jp/2024/04/5f5275465058d3f139b14b9712bbb6fd-1024x576.jpeg)
👉より体系的に学びたい方は「人工知能基礎」(東京大学松尾豊先生監修)へ
データセットのサイズの説明として正しいものを選べ
人工知能基礎講座を提供中
人工知能の第一人者である東京大学の松尾豊教授が監修した人工知能基礎講座を受講してみませんか?
人工知能の歴史から自然言語処理、機械学習、深層学習といった最先端のトピックやAIに関わる法律問題まで網羅しているので全てのビジネスパーソン・AIの初学者におすすめです。
サンプル動画
AI初学者・ビジネスパーソン向けのG検定対策講座
zero to oneの「E資格」向け認定プログラム
日本ディープラーニング協会の実施するE資格の受験ならzero to oneの「E資格」向け認定プログラム (税込165,000円) をおすすめします。当講座は、東京大学大学院工学系研究科の松尾豊教授と東北大学大学院情報科学研究科の岡谷貴之教授が監修する実践的なプログラムとなっています。
厚生労働省の教育訓練給付制度対象のE資格認定プログラムの中では最安値※となり、実質負担額49,500円~(支給割合70%の場合)で受講可能です。※2023年弊社調べ
![zero to one E資格 jdla](https://resources.zero2one.jp/2023/02/e_shikaku-jdla_zero2one_v1.jpg)